这项由约翰斯·霍普金斯大学、清华大学与StepFun（阶跃星辰）联合完成的研究，发表于2026年第43届国际机器学习大会（ICML 2026），会议地点为韩国首尔，论文收录于PMLR第306卷。感兴趣的读者可通过论文编号arXiv:2606.28322查阅完整原文。

**当成绩单已经失去意义**

假设你是一位老师，手里握着两份学生作文。第一份通篇流畅优美，但把文章主角的名字写错了；第二份行文略显生硬，却把每个细节都描述得无比准确。你会给哪份作文更高的分数？大多数认真负责的老师会倾向于第二份——毕竟，一篇记错了主角名字的文章，不管文笔多好，都是一篇失败的作文。

然而，今天大多数用于评估AI视觉能力的考试，却更像是那位只看文采、不管事实的偷懒老师。它们会因为AI的回答"整体上听起来差不多"就给出高分，却对AI悄悄搞错的细节睁一只眼闭一只眼。结果是，各大AI模型的"成绩单"上分数越来越接近、越来越高，但实际使用时，这些模型仍然会犯下把滑板运动员认成轮滑运动员、把4个人数成3个人这样的低级错误。

这便是这篇论文想要解决的核心问题：现有的评估体系，已经无法真实反映AI的视觉感知能力了。为此，研究团队设计了一套名为**PerceptionRubrics**的全新评估框架，用一种更严格、更接近人类判断方式的标准，重新审视AI究竟"看懂"了多少。

---

一、AI考试的成绩单为什么越来越不可信

要理解为什么需要PerceptionRubrics，首先得弄清楚现有评估体系的问题出在哪里。

现有的AI视觉评估，通常分为两种思路。一种是出选择题——给AI看一张图，让它从A、B、C、D四个选项里挑一个正确答案。这种方式简单高效，但有个致命缺陷：即便AI不认真"看"图，只要它对语言规律足够熟悉，就能靠猜测和语言直觉蒙对答案。正如一个没读过题目的学生，凭考试经验也能蒙中部分选择题一样。

另一种思路是让AI自由描述图片，再用一个综合分数衡量它描述得有多准确。这听起来更公平，但问题在于打分方式。主流的打分方法，本质上是把AI的回答和标准答案做"整体相似度"比较——如果两段文字的词汇、语义大体接近，就给高分。于是，一个把图里的红色头盔描述成蓝色头盔的AI，只要它其他部分说得不错，整体相似度依然可能很高，依然能得到一个看起来不错的分数。

研究团队把这个问题叫做"评分信号失准"——分数传递的信息，和真实能力之间存在巨大鸿沟。打个比方，这就像用一把只能量到大致重量的弹簧秤，去评判珠宝商的称重精度。弹簧秤不够精确，但它给出的读数看起来也不差，于是所有珠宝商的"成绩"都集中在同一个区间，真正手艺高超的和滥竽充数的，在这把秤上显得别无二致。

更糟糕的是，随着AI技术的快速发展，越来越多的顶尖模型在这些评估中已经接近"满分"状态——研究者把这个现象叫做"排行榜饱和"。当所有人的成绩都挤在90分以上时，这张成绩单就彻底失去了区分优劣的功能。

---

二、重新设计考试：像侦探一样逐条核查

PerceptionRubrics的核心思路，是把对AI的评估从"整体印象打分"变成"逐条事实核查"。

可以用侦探办案来理解这套框架的逻辑。一个好侦探不会因为嫌疑人的总体形象不错就宣布案件结案，他会逐一核对每一条证据：案发时间你在哪里？有没有不在场证明？监控录像是否与你的陈述吻合？每一条都必须过关，才能确认清白。PerceptionRubrics对AI的评估，就像这位严谨的侦探——它把对一张图片的理解分解成一条条具体的、可以明确判断对错的"事实核查项"，而不是给出一个模糊的综合印象分。

这套框架的构建分为三个主要阶段，每个阶段都有精心设计的机制。

**构建基础：挑选最难的图片**

首先，研究团队精心筛选了1038张图片。这些图片不是随便找的风景照或者卡通图，而是特意选取那些信息密度极高的图像。什么叫信息密度高？就是一张图里塞了大量需要仔细辨认的细节：密密麻麻的文字、复杂的图表曲线、拥挤的界面截图、精细的科学示意图等等。

为什么要选这些难图？因为简单的图片太容易"蒙混过关"了。一张蓝天白云的照片，AI只要说出"蓝天"和"云"就能得到不错的分数。但面对一张包含四个子图、每个子图都有不同颜色和样式数据线的学术图表，AI必须真正"看懂"才能描述准确。

图片覆盖了七大类场景：日常自然场景（复杂的真实环境）、文档与文字识别（密集文字的文件和表格）、数字界面（网页、手机APP截图）、结构化数据（图表和数据可视化）、科学与专业领域（科学图示、医学图像）、逻辑与谜题（视觉谜语和空间推理）以及创意与文化（艺术作品和文化场景）。

筛选过程本身也用到了AI辅助。研究团队用一个叫Step3-VL-10B的先进模型担任"图片质检员"，对每张候选图片从视觉复杂度和信息丰富度两个维度打分，只有同时通过两项考核的图片才能入选。

**炼制标准答案：多个AI联合"陪审团"**

有了图片之后，下一个问题是：标准答案从哪里来？

传统做法是让人类志愿者写描述，但这样成本极高，而且不同人的描述风格差异很大，很难保证统一的质量。研究团队设计了一套更聪明的方案——让多个顶尖AI组成"陪审团"，互相批评、互相完善，最终在人类专家的监督下达成共识。

具体来说，研究团队选了三个来自不同公司的顶级AI（包括GPT-5.2、Gemini-3-Pro和Seed-1.8），让它们先各自独立描述同一张图片，产生三份候选描述。然后，这三个AI互相"阅卷"——比较三份描述的差异，判断哪份更准确，并综合各方长处重新写一份更好的描述。这个互相批评、重写改进的过程会循环最多两轮，直到三方达成共识，认可同一份描述为止。

如果三个AI在两轮之后依然无法就哪份描述最准确达成一致，这张图片就会被直接淘汰——研究团队宁可少收录一些图片，也不要在存有争议的图片上建立标准。只有当AI陪审团一致同意后，人类专家才介入做最后的核实和微调，确认这份描述准确无误，形成最终的"黄金标准描述"（Golden Caption）。

这套流程产出的1038份黄金标准描述，平均每份有770个词，最长的超过3400词，远比现有其他评估数据集的描述详尽得多（对比之下，同类数据集DOCCI的平均描述只有约136词，DetailCaps约为122词）。

**锻造评判标准：两类"核查清单"**

有了黄金标准描述，接下来就是把它转化成具体的核查条目——也就是"规则清单"（Rubrics）。研究团队使用Gemini-3-Pro来完成这项转化工作，并将所有核查条目分成两个类别。

第一类叫做"必须答对题"（Must-Right Rubrics）。这些是图片中最核心、最基础的事实，任何对这张图片的描述都必须提到。以一张展示拉斯维加斯街景的图片为例，必须答对题可能包括：回答必须提到这是一条街道或商业街区；回答必须提到有包含"LAS VEGAS"文字的标牌或拱门。这些是无论如何不能错、不能漏的基本事实。

第二类叫做"容易答错题"（Easy-Wrong Rubrics）。这些针对的是AI最容易犯的那些细节性错误。研究团队的方法很聪明：他们把多个不同AI模型的实际回答收集起来，和黄金标准描述对照比较，找出AI们最频繁犯错的地方——比如经常把某种颜色说错、经常漏掉某个关键元素，或者经常凭空"想象"出图中根本不存在的东西。把这些高频错误整理成核查条目，就构成了"容易答错题"。

最终，1038张图片共生成了10718条核查条目，其中4053条是"必须答对题"，6665条是"容易答错题"，平均每张图片对应约10条条目。

---

三、打分方式：一票否决的铁律

光有核查条目还不够，打分方式同样至关重要。这正是PerceptionRubrics最有创意的地方之一——它设计了一套"闸门式打分机制"。

这套机制的逻辑可以用银行金库来理解。要进入金库，你必须先通过外门的安全验证（掌纹识别）。如果掌纹不对，不管你后续的密码输得多准确，金库门永远不会打开。"必须答对题"就像这道外门——如果AI的描述中有任何一条"必须答对题"没有通过，不管其他方面描述得多么细致，最终得分直接归零。

用数学公式来表达：先计算一个"闸门状态"G，只有当所有必须答对题全部通过时，G才等于1；否则G等于0。然后，最终分数S = G乘以"容易答错题"的平均通过率。这意味着一旦G为0，S就必然为0，无论容易答错题得了多高的分。

这种设计背后的哲学，正是对人类认知方式的模拟。当我们阅读一段对图片的描述时，我们对某些错误的容忍度是极低的——如果一段描述把图里骑自行车的人说成在游泳，不管这段描述其他部分有多精彩，我们都会认为它是一段根本性的失败描述。现有的平均分机制掩盖了这种不容忍，而闸门机制则将其明确化。

在闸门之后，"容易答错题"的通过率才决定最终分数的高低，用来区分那些"基本事实全对"的高质量模型之间的细微能力差距。

---

四、谁强谁弱：25个顶尖AI的真实实力大比拼

用这套体系评估了25个当前最先进的AI视觉模型后，研究团队得到了几个很有意思的发现。

**整体排名：闭源AI仍然领先一大截**

在整体排名上，ByteDance旗下的Seed-2.0-Lite以70.07%的综合得分排名第一，紧随其后的是Gemini-3.5-Flash（69.88%）和Gemini-3.1-Pro（69.02%）。相比之下，许多人熟知的GPT-4o（2024年5月版本）只得到了12.59%的综合分，是所有被测试的商业闭源模型中表现最差的。

在开源模型中，表现最好的是阿里云的Qwen3.5-397B，得分为61.61%——与最顶尖的闭源模型相比，差距超过8个百分点。这个发现颇为有趣：在纯文字推理类任务上，开源模型近年来已经基本追上了闭源模型；但在精细视觉感知这个维度上，两类模型之间依然存在相当明显的能力鸿沟。

**最难搞的领域：图形界面难倒几乎所有人**

从不同类型图片的得分来看，几乎所有模型在自然场景（普通照片）上表现最好，最顶尖的模型在这类图片上能达到接近80%的得分。而几乎所有模型都在"数字界面"（GUI，也就是网页和APP截图）这个类别上表现最差——最弱的开源小模型Qwen2.5-VL-7B在这类图片上只有5.13%的得分，即便是最强的模型也只能达到约59%。

这个结果指向一个重要现实：当前的AI视觉模型对于充满细密文字、复杂布局、精确空间关系的界面图像，理解能力依然十分有限。而随着AI助手越来越多地被用于操控电脑界面（帮用户点击、填表、导航），这个弱点将成为非常实际的障碍。

**令人担忧的"可靠性鸿沟"**

研究团队还发现了一个让人警惕的现象，他们把它叫做"可靠性鸿沟"（Reliability Gap）。

如果把每一条核查条目单独来看，大多数AI的通过率其实相当高——整体在85%到95%之间。换句话说，如果你单独问AI"图里有没有一辆红色的车"，它通常能给出正确答案。但一旦要求AI同时答对一张图片上所有的必须答对题，通过率就会大幅下跌。

以具体数字为例，Seed-2.0-Lite在单条必须答对题上的准确率高达95.59%，但它的"闸门通过率"（也就是某张图片上所有必须答对题全部通过的比例）只有82.85%。对于表现较弱的模型，这个落差更大——Qwen2.5-VL-7B的单条准确率是64.99%，但闸门通过率只有26.20%。

这说明什么问题？AI对单个孤立的事实判断还算可靠，但当需要同时把握一幅图像中的多个关键事实时，它的可靠性会显著下降。就像一个人能单独回答"北京是中国首都吗"和"上海在北京南边吗"，但让他同时回答关于中国地理的十个问题时，犯错的概率就会叠加上升。对于需要综合理解复杂场景的实际应用来说，这是一个相当严峻的问题。

**基础认知与细节辨认之间高度相关**

研究团队还发现了另一个规律：一个AI在"必须答对题"上的通过率，与它在"容易答错题"上的准确率之间，存在接近完美的线性关系（统计学上用R?≈0.98来衡量这种相关性，数值越接近1表示相关性越强）。

简单说，就是一个AI连基本事实都搞不清楚，它在精细细节上也必然表现糟糕；反过来，一个能准确把握基础事实的AI，通常也能在细节辨认上表现出色。这证明了视觉感知能力是一个整体——你不能期待一个AI"宏观上看不懂图，但细节上却很敏锐"。

---

五、这把尺子靠谱吗？四重验证

一套新的评估体系，自身也需要经过验证才能被信任。研究团队对PerceptionRubrics进行了四个方面的检验。

**与人类偏好的一致性**

最直接的验证方式，是检查PerceptionRubrics给出的模型排名，是否与真实用户的主观偏好一致。研究团队参考了"Vision Arena"排行榜——这是一个收集了大量真实用户对不同AI回答的偏好投票的平台，可以理解为AI视觉能力的"大众口碑榜"。

对比结果显示，PerceptionRubrics的排名与这份"大众口碑榜"之间，皮尔森相关系数达到0.916，斯皮尔曼等级相关系数更是达到完美的1.000——意味着两者的排名顺序完全一致。而现有的竞争评估体系，如DOCCI和DetailCaps，与真实用户偏好的相关性则明显更弱，DOCCI甚至会把用户口碑差异悬殊的模型打出几乎相同的分数。

**抗"水字数"干扰**

还有一个实际担忧：如果AI的描述写得越长，是不是更容易通过更多的核查条目，从而得到更高的分数？这会导致AI通过"疯狂堆砌文字"来刷分。

研究团队专门检验了回答字数和得分之间的相关性。结果发现，对于Gemini-3.1-Pro，回答字数与得分之间几乎没有统计上显著的相关性（相关系数r = -0.079）；对于Kimi-K2.6，虽然有微弱的正相关（r = 0.172），但相关性很低，而且这种微弱相关本身也可能只是因为"描述越详细的图通常内容越丰富，AI自然写得更多也更准确"这个合理原因导致的。总体来看，PerceptionRubrics并不会奖励无意义的"水字数"行为。

**换一个评判AI，结论会变吗？**

PerceptionRubrics使用GPT-OSS-120B作为自动判断每条核查条目是否通过的"裁判AI"。那么，如果换用不同的裁判AI，结论会不会截然不同？研究团队用GPT-5.5替换GPT-OSS-120B重新跑了一遍评估。结果发现，两位裁判给出的绝对分数存在约6%的系统性差异（GPT-OSS-120B打分更严格），但模型之间的排名顺序完全相同。这说明评估结论是稳健的，不会因为换了裁判而发生根本性变化。

**核查条目数量够吗？**

最后，研究团队还验证了核查条目的数量是否足够。他们随机抽取20%、40%、60%和80%的核查条目来做评估，观察结果的稳定性。实验结果表明，随着使用的核查条目比例提升，评估结果的波动性（标准差）单调下降——使用的条目越多，结论越稳定。以平均每张图约10条的规模来看，PerceptionRubrics已经达到了相当好的评估稳定性。

---

六、幕后的人类专家：真正难倒人的是什么

为了确保黄金标准描述的质量，人类专家参与了最后的核实和修改环节。这些专家分享了他们在工作中遇到的棘手问题，颇有参考价值。

专家们反映，AI生成的初稿质量已经相当高，不需要大规模的结构性重写，主要工作是处理精细的事实对齐问题。他们遇到最多的三类"疑难杂症"是：物质边界辨认问题（比如赛车扬起的尘土，AI容易把它误认成车身的一部分）、细微的空间关系错误（比如一头猪站在猪圈"门口"，AI可能描述成站在猪圈"外面"）以及低可见度区域的幻觉（在图像的阴影或模糊区域，AI容易凭空捏造一些不存在的细节来"填充"这部分描述）。

专家们采用了"确定性优先于模糊性"的标注原则：如果一个区域的内容无法确认，宁可删掉对该区域的描述，也不保留任何猜测性内容。这种严格的去噪操作，保证了黄金标准描述的高可信度。

---

说到底，PerceptionRubrics做的这件事，在直觉上其实非常朴素：如果你要评判一个人是否真正读懂了一篇文章，你不会只问他"这篇文章讲的是什么感觉"，而是会问他一系列具体的问题，比如"主角叫什么名字"、"第三段里提到了哪个城市"、"结局是怎样的"——并且任何一个问题答错，都意味着他没有真正读懂。这种逐条核查、关键事实一票否决的思路，就是PerceptionRubrics背后最核心的哲学。

实验结果揭示了一个让人清醒的现实：闭源的顶尖AI模型与开源模型之间，在视觉精细感知上依然存在可观的差距；几乎所有AI面对数字界面图像时都显得力不从心；而那个"可靠性鸿沟"——单条事实答对率高，但整体同时答对率低——揭示了当前AI视觉理解在深度和连贯性上的根本性局限。

对于普通用户来说，这意味着当你让AI描述一张复杂的图片或截图时，它的某一两个细节答对了，并不代表它真的"看懂"了整张图。而对于AI开发者来说，这套框架提供了一个更诚实的镜子——让他们看清自己的模型究竟在哪个维度、哪种场景下还有多大的提升空间。

如果你对这项研究的完整细节感兴趣，可以通过arXiv:2606.28322查阅原始论文，或者直接搜索论文标题"PerceptionRubrics: Calibrating Multimodal Evaluation to Human Perception"获取完整版本。

---

Q&A

Q1：PerceptionRubrics的"必须答对题"和"容易答错题"有什么区别？

A：必须答对题是图片中最基础、最核心的事实，任何描述都不能漏答或答错，只要有一条没通过，整体得分直接清零。容易答错题则是专门从AI模型实际犯过的错误中提炼出来的细节性核查项，用于区分那些已经通过基础考核的高水平模型之间的细微差距。两者配合使用，既保证了底线严格性，又保留了对高水平模型的区分能力。

Q2：为什么数字界面（APP截图）类的图片最难让AI正确描述？

A：数字界面图片通常包含大量密集的文字、精确的图标排列、复杂的层级结构和严格的空间关系，任何一处细节的误读都会导致对界面功能的错误理解。当前AI视觉模型在处理这类需要同时追踪大量精细元素的图像时，整体感知的连贯性和准确性明显不足，而这类场景恰恰是未来AI操控电脑界面、完成自动化任务的核心应用场景。

Q3：开源AI模型和闭源AI模型在视觉理解上的差距有多大？

A：根据PerceptionRubrics的测试结果，目前表现最好的开源模型（Qwen3.5-397B，得分61.61%）与顶尖闭源模型（Seed-2.0-Lite，得分70.07%）之间，差距超过8个百分点。这与文字推理任务上两者已基本拉平的趋势形成鲜明对比，说明精细视觉感知依然是开源模型需要重点突破的能力短板。