新基准测试证实AI模型在视觉感知方面仍表现不佳

Moonshot AI发布了PerceptionBench，这是一个新的基准测试，揭示了领先的多模态AI模型在基本视觉感知方面仍然存在困难。没有前沿模型达到60%的准确率，其中GPT-5.6 Sol以仅59.7%的准确率领先。该基准将视觉与推理和外部知识分离，以揭示基本的感知缺陷。

与传统测试不同，PerceptionBench将视觉分解为十项原子子技能，包括视觉关系、计数、属性、深度与3D、定位、比较、细粒度识别、上下文整合、OCR和幻觉。作者通过分析42个开源基准测试中的真实错误构建了这一分类体系，将每个失败追溯到其最早的错误步骤。每个问题都可以仅通过查看图像来回答，无需进行逻辑推理。

该数据集包含从超过17,000个经过验证的问题中选出的3,000项任务。其中60%来自归因于模型的错误，40%使用增强图像。这些任务看起来简单得令人迷惑：在钟面上定位一个符号，数出红色盒子里的花朵，或者区分一个灰粉色笔筒和一个带有卡通图案的纯粉色笔筒。

在接受测试的16个前沿模型中，GPT-5.6 Sol以59.7%的总体准确率位居第一，其次是Kimi K3（58.5%）、Claude Fable 5（57.2%）和Gemini 3.1 Pro（56.2%）。GPT-5.5得分为55.8%。开源模型明显落后，Qwen3.5-397B-A17B为47.5%，GLM-4.6V仅为32.5%。

类别层面的结果显示出更明显的差异。所有模型中最弱的技能是幻觉，在正确答案为“零”的情况下，模型会凭空捏造对象。GPT-5.6 Sol在此子测试中仅获得26.9%的准确率，尽管总体排名第一，而较弱的Gemini 3.5 Flash却达到了50.6%。

作者认为，许多归因于推理的失败实际上源于感知。当一个mo

把任意网站变成干净 JSON

现成爬虫与 AI 智能体

试用 Apify