这项由庆应义塾大学（含人工智能研究中心与医学部）联合英伟达公司开展的研究，以预印本形式发布于2026年7月2日，论文编号为arXiv:2607.02269。有兴趣深入了解的读者可以通过该编号在arXiv数据库中查阅完整论文。

以下这件事可能会让你感到意外：如今最先进的AI视觉模型，在看一段普通老鼠挠脸的视频时，往往既说不清楚老鼠在哪个时间段挠了脸，也框不准它的位置——即便这个任务对受过专业训练的兽医来说只是家常便饭。这不是个别模型的偶发失误，而是研究人员用一套精心设计的考题，让当前15个顶级AI模型——包括GPT-5.1、Gemini-3.1-Pro等业界最强选手——集体暴露出来的系统性短板。

这套考题就是庆应义塾大学团队发布的"AnyGroundBench"，一个专门针对视频理解中"时空定位"能力的专业领域基准测试。说得直白些，它要求AI模型回答两个问题：目标物体在视频里的哪个时间段出现？出现的时候，它在画面的哪个位置？这两个问题合在一起，就是所谓的"时空视频定位"任务，英文缩写为STVG。

研究团队的核心关切在于：现有的AI评估体系几乎全部建立在日常生活场景上——人们走路、吃饭、开车——而真实世界对AI的需求远不止于此。外科医生需要AI识别腹腔镜手术中某把镊子的运动轨迹；神经科学家需要AI追踪实验室小鼠挠脸的精确时刻；工厂质检员需要AI在流水线视频里找到某只螺丝刀被拿起的那一帧。这些场景里的视觉内容，与网络上的日常视频有着本质差异，AI在通用场景里练就的本事，能否迁移到这些陌生领域，是一个几乎从未被系统检验过的问题。

为此，研究团队构建了一套横跨五个专业领域的测试集，总计包含2040个视频、3522个问答对，每个视频都配有精细的时间标注和逐帧空间边界框。测试题的设计充分考虑了专业领域的真实复杂性，既有团队新拍摄的医学级小鼠行为视频和美式橄榄球战术视频，也有来自手术室、工业车间、公共安全监控等已有数据集的重新标注内容，统一整合进同一套评估格式。更重要的是，每个领域都附带了专属的训练子集，用于测试AI的快速适应能力——不仅看你的底子，还要看你能不能在见了几个例子之后迅速上手。

---

一、考试的规则：什么叫"时空定位"，为什么它这么难

要理解这场考试的难度，不妨用一个生活场景来类比。假设你在看一部两小时的足球比赛录像，朋友让你找出"右边前锋在禁区内停球并转身射门"的那段画面，并且在那段画面的每一帧上，用方框标出这名球员。你需要同时做到三件事：认出"这个动作是停球转身射门"，判断"从第67分32秒到第67分38秒这段时间是这个动作发生的时间"，以及"在每一帧画面里准确画出这名球员的轮廓框"。任何一步出错，整个答案都不算对。

这就是STVG任务的本质。研究团队把这个大任务进一步拆解成两个子任务，以便精确找到AI失败的位置。第一个子任务叫"时间视频定位"（TVG），只问时间：这件事从哪里开始、到哪里结束？第二个子任务叫"空间视频定位"（SVG），把时间段直接告诉模型，只问空间：在这段时间里，目标在画面哪个位置？完整的STVG则需要同时解决两者。

研究团队为每个任务设计了专属的系统提示词，通过改变指令来让同一个AI模型分别完成三种任务，而不是训练三个不同的模型。这样设计的好处是可以公平地比较同一个模型在不同子任务上的表现差异，进而确定瓶颈究竟出在哪里。

评分标准也有讲究。空间部分用"空间交并比"（sIoU）衡量，通俗理解就是：AI画的框与标准答案的框有多少面积重叠？两个框完全重合得满分，毫无重叠得零分，超过0.3的重叠度才算基本合格。时间部分用"时间交并比"（tIoU）衡量，逻辑相同——AI预测的时间段与真实时间段的重叠比例。完整的时空定位则综合考量两者（vIoU），要求空间和时间都必须准确。评测报告了0.3和0.5两个门槛下的通过率，0.5门槛更严格，更接近实际应用要求。

---

二、五个专业领域：每个都是一道不同类型的难题

动物领域的测试内容来自两个来源，彼此构成鲜明对比。第一个来源是"动物王国"数据集，覆盖850个物种，内容丰富多样，从蜘蛛跳舞到鳄鱼捕猎都有涉及。研究团队在原有的时间标注基础上，补充了逐帧的空间边界框，把它改造成了可以测试时空定位能力的格式。

第二个来源则是团队在庆应义塾大学医学院全新拍摄的"小鼠挠痒"数据集，由两位整形外科医学专家亲自参与标注。这个数据集的挑战性远超前者：摄像机从前方、侧方、俯视四个角度同步拍摄，记录的是实验室小鼠在特定皮肤病实验中的精细行为。标注的逻辑极其细腻——研究者需要区分"用前爪梳理脸部"和"用后爪挠脸部"，区分"单次挠"和"反复挠"，区分"挠身体"和"挠脸部"，共形成九种不同的查询类型。背景是白色的笼子和垫料，画面清晰但主体极小，加上有时存在运动模糊和雾气，对AI的空间定位能力是极大考验。

工业领域使用了两个以第一视角拍摄的专业数据集。MECCANO数据集记录的是人员组装摩托车模型的过程，原始标注包括人与物体的交互时间段和活跃物体的位置框，研究团队直接沿用了这些标注。ENIGMA-51数据集则记录了专业技术人员修复电路板的过程，使用了电动螺丝刀、示波器等专业工具。这个数据集的原始标注只在少数关键帧提供了位置框，研究团队补充了完整的逐帧标注，并为每个交互动作设计了自然语言查询，例如"电动螺丝刀被拿起"。

体育领域的测试内容以多人高速运动场景为主。MultiSports数据集覆盖篮球、排球、足球和艺术体操四个项目，原有的逐帧标注质量很高，研究团队直接采用。配套的则是团队新拍摄的美式橄榄球数据集，内容来自大学级别的业余比赛，共123段多视角战术视频。五种核心战术动作——传球接球跑动、传球跑位、长踢战术、射门得分、开球——需要经验丰富的球员才能准确识别动作的开始和结束时刻。画面中球员密集、碰撞激烈、视角多变，对任何视觉模型都是严峻考验。

手术领域汇集了两种手术类型的视频。EgoSurgery数据集是开放性手术的第一视角录像，手术者头戴摄像设备，记录了15类手术工具以及手的精确位置，研究团队在原有标注基础上为工具和手术阶段的组合设计了自然语言查询，如"缝合阶段中的持针器"。CholecTrack20数据集则是腹腔镜手术的内镜视角录像，所有操作都通过器械完成，原有标注包含密集的空间轨迹，研究团队补充了将器械与手术阶段联系起来的自然语言查询，如"胆囊分离阶段中的双极电凝"。

公共安全领域包含两个视角迥异的数据集。UCA数据集是城市监控的外置摄像头视角，记录异常事件并配有精细的语言描述，研究团队补充了异常主体的空间位置标注，查询语句如"打碎玻璃并打包物品的黑衣男子"。DoTA数据集则是行车记录仪的第一视角，记录4677个交通事故片段，涵盖18种异常类型，原有"何时何处"标注可以直接使用，查询语句如"一辆失控离开路面的异常卡车"。

---

三、适应能力测试：让AI在考试前先看几道例题

AnyGroundBench的设计中，每个专业领域都包含一个训练子集，专门用来测试模型的"快速适应"能力。这个设计的出发点来自一个现实：没有任何AI能在训练阶段就接触过所有可能的专业领域，因此关键不在于它在某个领域的固有知识有多丰富，而在于当它看到该领域的少量示例之后，能否迅速学会如何在那里工作。

研究团队选择了"上下文学习"（In-Context Learning，ICL）作为衡量适应能力的主要方法。ICL的工作方式非常直观：在向模型提问之前，先给它看几个问题与正确答案的配对示例，让模型"感受一下"这个领域的风格。在正式测试中，研究团队每次给模型看两个示例（2-shot ICL），示例的选取基于与当前问题的文本相似度和视觉相似度的加权组合，权重各占一半，使用专门的文本编码器和视频编码器来计算相似度。

ICL的最大优势在于它不需要重新训练模型，因此适用于所有类型的模型，包括只能通过API调用的闭源商业模型（如GPT和Gemini系列）。这使得实验结果具有相当强的通用性。

---

四、考试结果：15个模型，五个领域，没有人能拿到满意的成绩

主要实验结果汇总在一张大型对比表格中，横轴是五个专业领域，纵轴是15个模型，每个单元格同时报告STVG、TVG和SVG三个任务的得分。数字越高越好，满分理论上是100。

整体来看，这些数字触目惊心地低。在最完整的STVG任务上，即便是表现最好的模型Gemini-3.1-Pro，在公共安全领域的得分也只有22.8，在动物领域只有16.5，在体育领域则只有1.22。开源通用模型的表现更为惨淡——InternVL3-8B在手术领域的STVG得分是0，在公共安全领域也是0；Eagle2.5-8B在所有领域的STVG得分全部为0。这些模型并非无名之辈，而是当前学术界和工业界公认的主流视觉语言模型。

专门为时空定位任务设计和训练的LLaVA-ST模型，在动物领域的STVG得分为12.1，在其他领域则普遍不超过1。这说明即使是专门优化过这项能力的模型，在面对陌生专业领域时也会严重失灵。

加入两个示例之后（ICL），整体表现没有稳定提升，而是呈现出极为混乱的状态。有的模型在某个领域因为看了示例而表现大幅改善——例如Gemini-3-Flash在公共安全领域的STVG从10.7升至30.8，提升非常显著。但另一些模型则因为看了示例而变得更差——Gemini-3.1-Pro在动物领域的STVG从16.5降至12.7，GPT-4o在工业领域的STVG从2.95降至1.25。这种随机性意味着ICL对于时空定位任务而言是一个不可靠的适应工具。

---

五、拆解失败：时间比空间更容易，但空间才是致命弱点

把STVG任务拆成TVG和SVG分别来看，可以发现一个清晰的模式，这个发现是本研究最重要的诊断结论之一。

时间定位（TVG）的得分普遍远高于完整时空定位（STVG）。以Gemini-3.1-Pro为例，在动物领域，STVG得分是16.5，而TVG得分是37.5，相差超过一倍。在公共安全领域，STVG是22.8，TVG是69.4，相差三倍。这说明模型在"猜时间段"这件事上表现相对较好，至少能大致说出事情发生的时间范围。

空间定位（SVG）的情况则两极分化。一方面，在时间段已知的前提下，SVG得分比STVG高很多——Gemini-3.1-Pro在动物领域的SVG达到70.7，远高于其STVG的16.5。这说明如果告诉模型"在这段时间里找目标"，它在空间定位上还能有所作为。但另一方面，开源通用模型的SVG得分几乎全部为0——Qwen3-VL-8B的SVG在所有五个领域都是0，InternVL3系列也类似。这意味着这些模型根本就没有产生有意义的空间坐标输出，它们连画框这件事本身都做不到。

更关键的是：即便是SVG相对较好的模型，当它需要同时处理时间和空间两个维度时（STVG），表现也会急剧恶化。这说明时空联合定位不是两个独立任务的简单相加，而是存在额外的复杂性，现有模型在面对这种复杂性时会崩溃。

ICL对TVG的帮助总体上比对SVG更一致。多数模型在见了示例之后，时间定位会有所改善；但空间定位在加入示例后往往不升反降。这种反差说明模型可以从示例中学到"什么时候"的感觉，但很难从示例中学到"在哪里"的精度。

---

六、更多细节：示例数量、选取方式与难度分层

为了进一步拆解ICL的效果，研究团队做了几组追加实验，使用Gemini-3.1-Pro作为测试主体。

第一组实验改变示例数量，从0个（零样本）到4个，观察性能变化。结果显示，增加示例数量主要帮助的是TVG，随着示例增加，时间定位的准确率总体呈上升趋势。但SVG的得分从零样本到4个示例的过程中，平均值持续下降。STVG的整体提升非常有限，从零样本的10.5升至2个示例时的11.6，4个示例时的11.5，几乎没有实质进步。简单地堆砌示例不能解决问题。

第二组实验改变示例的选取方式，对比随机选取、仅用文本相似度、仅用视频相似度、以及文本与视频相似度组合四种策略。结果显示，没有哪种策略在所有任务和领域上都占优势。文本与视频组合的策略在TVG和STVG上平均表现最好，但随机选取在SVG上反而得分最高。这说明如何选示例是个需要根据具体任务调整的复杂问题，没有统一的最优解。

第三组实验分析难度来源。研究团队把测试样本按事件时长（短于1秒、1到3秒、3秒以上）和目标大小（小、中、大）各分成三组，观察不同难度下的性能变化。

在时长维度上，短事件（不足1秒）的TVG得分仅有6.82，而长事件（超过3秒）的TVG得分达到34.0，差距极大。与此同时，STVG在短事件上的得分是0.74，长事件上是3.36，虽然绝对值都很低，但趋势一致。这说明时间定位的困难是STVG在短事件上失败的重要原因，但不是唯一原因——即便事件较长、时间定位相对容易，STVG的绝对得分依然很低，说明空间定位的错误也在独立地拖累最终结果。

在目标大小维度上，SVG在小目标上的得分仅有2.61，在大目标上升至18.8，差距显著。同期STVG从0.43升至4.43。这说明目标越小，AI越难在画面中找到并框出它，而专业领域视频中（如腹腔镜手术器械、实验室小鼠）的目标往往都很小，平均相对框面积只有10.63%，本身就构成了先天的挑战。

---

七、技术细节：各个模型是怎么被测试的

研究团队在测试时为不同的模型系列设计了不同格式的提示词，因为各家模型接受输入和产生输出的格式并不统一。Gemini系列使用时间戳格式（分：秒）和归一化到0-1000的坐标系，边界框坐标顺序是上左下右（yxyx）。GPT系列使用帧编号和归一化到0-1的坐标，边界框顺序是左上右下（xyxy）。开源通用模型统一使用秒级时间戳和0-1000坐标系，边界框顺序为xyxy。LLaVA-ST有自己的专属时序标记系统，坐标范围在0-99之间。

所有模型的输出经过解析后统一转换成标准格式再进行评分。视频预处理方面，大多数模型采用每秒1帧的采样频率，最多截取120帧；LLaVA-ST固定取100帧。帧的长边分辨率限制在512像素。对于闭源的Gemini和GPT模型，直接使用官方API；对于开源模型，在配有NVIDIA RTX 5090（32GB）、RTX PRO 5000 Blackwell（48GB）和A100（80GB）的GPU服务器上本地运行。

研究团队还专门分析了Gemini-3.1-Pro在边界框坐标顺序上的表现。无论提示词要求的是xyxy还是yxyx格式，只要实际评分时按yxyx来解析Gemini的输出，空间定位分数都会大幅提高（mvIoU约为9.7-9.8）；如果按xyxy解析，分数则大幅下降（约3.3）。这说明Gemini有根深蒂固的输出习惯，倾向于使用自己的yxyx格式，即便提示词明确要求了不同的格式，它也不会完全遵从。时间定位分数在两种解析方式下完全相同，因为坐标顺序对时间的预测没有影响。

Qwen3.5系列在测试中关闭了"思考模式"，因为预实验显示该模式下模型会把大量输出空间用于自由生成的推理文字，导致无法按照要求输出时间戳和边界框。Eagle2.5系列因为默认设置下频繁不遵循输出格式要求，改用了非贪婪采样（top_p=0.95，温度0.8）来提升指令遵循的稳定性。

---

八、数据集的注释是怎么做到精准的

由于AnyGroundBench的核心价值在于高质量的时空标注，研究团队对注释流程设计了严格的质控体系。注释员的构成本身就是专业性的体现：日常计算机视觉数据集的注释工作由计算机视觉专业的研究生完成，而小鼠行为数据集由两位医学专家负责，美式橄榄球数据集由有多年实战经验的球员负责。

空间边界框的标注采用了"检测-追踪"的流水线策略。对于自动化程度较高的数据，先用Grounding DINO（一个能理解文字描述并找到对应物体的视觉模型）在第一帧检测目标位置，再用SAM2（Meta的视频追踪模型）从第一帧追踪到最后一帧，自动生成整个时间段内的位置序列。对于自动追踪效果不好的情况，则由注释员手动标注第一帧，再启动追踪。对于追踪高度不稳定的情况（如橄榄球运球拦截场景），则完全逐帧手动标注。

全部自动和半自动生成的标注都经过人工逐一检查，发现错误立即修正。修正完成后，所有样本还要经过至少一位额外注释员的独立复核，确认无误才算通过质控。这套流程虽然耗费大量人工，但保证了标注的可靠性。

---

说到底，AnyGroundBench这项研究揭示的是AI领域一个颇为尴尬的现实：那些在通用视频理解排行榜上名列前茅的模型，在遇到专业领域的视频时，表现退步到了几乎不可用的程度。更关键的是，仅靠展示几个示例来引导它们（ICL），并不能稳定地弥补这种差距——有时候有效，有时候反而帮了倒忙，规律难以捉摸。

时间定位和空间定位的分裂式失败模式尤为值得关注。模型或多或少能猜出"什么时候"，但在"准确在哪里"这件事上往往一败涂地。对于需要AI在手术视频中追踪手术器械、在安防录像中锁定异常人员的实际应用场景来说，"大概对"远远不够，必须精准。

这项研究的意义在于，它给未来的AI视觉模型研究者提供了一张明确的失败地图：在哪些专业领域失败得最惨，失败的具体原因是时间还是空间，以及常见的快速适应方法为何不起作用。研究团队已经将完整的数据集（包括新拍摄的小鼠行为和美式橄榄球数据集）以CC BY-NC-SA 4.0协议公开发布，供研究者自由使用。其余来自已有数据集的部分，则需要研究者向各原始数据集的发布方分别申请获取。

对于普通读者而言，这项研究提出了一个值得思考的问题：当AI助手被应用于医疗诊断、工业质检或安防监控这些高风险领域时，我们凭什么相信它已经准备好了？目前来看，至少在"看视频、找目标"这个最基础的能力上，答案还是"没有准备好"。

---

Q&A

Q1：AnyGroundBench测试的是什么能力，和普通视频理解测试有什么不同？

A：AnyGroundBench专门测试的是"时空视频定位"能力，也就是让AI模型同时回答"目标物体在视频的哪个时间段出现"和"出现时在画面的哪个位置"这两个问题。与普通视频理解测试的最大区别在于，AnyGroundBench的测试场景全部来自手术、工业、动物行为、体育战术和公共安全五个专业领域，而不是日常生活场景；同时它为每个领域提供了训练子集，专门用来测试模型能否在见过少量示例后快速适应陌生领域，而不仅仅测试静态的零样本能力。

Q2：测试中GPT-5.1和Gemini-3.1-Pro这样的顶级模型为什么得分这么低？

A：这两个模型的低分主要源于专业领域视频与日常训练数据之间的巨大分布差距。手术器械、实验室小鼠的细微行为、橄榄球战术动作等内容在这些模型的训练数据中极为罕见，模型没有机会学习这些场景下的视觉特征和时空规律。此外，空间定位本身对精度要求极高，目标占画面面积平均仅约10.6%，进一步加大了难度。即便模型能正确判断时间段，准确框出目标位置依然非常困难，导致完整时空定位任务的整体得分大幅下降。

Q3：上下文学习（ICL）为什么有时候会让模型表现变差？

A：ICL让表现变差的原因目前尚无定论，但实验数据揭示了一些规律。示例的加入会改变模型处理任务的方式，当示例与当前查询在视觉或语义上的相似度不够精准时，可能会引导模型产生错误的预期，反而干扰了它原本的判断逻辑。特别是在空间定位方面，模型似乎很难从有限的示例中学到精确的坐标输出规律，而且不同领域和不同模型对示例的敏感程度差异极大，没有统一的响应模式。这种不稳定性本身就说明ICL不是专业领域时空定位任务的可靠适应工具。