多摄像头感知推理，大模型行吗？
图像、视频理解这些任务，大都是在单摄像头上进行的。
但现实世界的感知系统，真的只依赖单一视角吗？

自动驾驶、安防监控都有多个摄像头覆盖不同区域，机器人则同时使用腕部、俯视摄像头操作物体。
这些系统感知世界的方式，本质上是多摄像头的。
那多摄像头感知，只是多了成倍的数据量吗？
德克萨斯大学的研究团队，最近开源了一个新基准CrossView，专门测试VLM的跨摄像头推理能力。
结果？GPT-5.2、Qwen3-VL 在多摄像头场景下表现远未到可用的程度！
CrossView: Can Vision-Language Models Reason Across Cameras?一、多摄像头推理难在哪？多摄像头场景，可不是让模型多看几个视频这么简单！
多摄像头推理，涉及单摄像头任务中不存在的挑战。
一个是上下文爆炸的问题，即使支持长上下文的大模型，在同步处理多路视频流时，也常常爆掉。
另一个就是跨视角空间推理的难度，模型训练阶段需对齐不同视角的信息，区分重叠与非重叠的视野范围等。

现有数据集要么只关注驾驶感知，要么仅限于活动理解，没有一个基准能让模型在多个同步摄像头之间进行时空推理。
二、CrossView 长什么样？CrossView 是一个开创性的多摄像头视频问答基准。
该基准涵盖了四个现实世界的多摄像头场景：自动驾驶、安防监控、机器人操作。
这些场景涵盖了2至8个同步摄像头，每个摄像头都捕捉到不同的视角。

针对多视角推理任务，共设计了6000个问答对，覆盖五种任务类型：
时间推理，活动在什么时间发生的事件排序，A发生之后接着发生了什么空间推理，物体A在B的哪个方向关系推理，物体A和B之间是什么关系属性推理，物体A有什么属性以及一个特别的摄像头识别任务，哪个摄像头拍到了事件A的关键画面？ 这要求模型理解每个摄像头的空间位置和视野范围。
三、GPT、Qwen3 翻车了论文中更是做了全面的模型评估，测试了GPT-5.2、GPT-4o、Qwen3-VL、InternVL、Gemma等模型。
GPT-5.2 是第一梯队的多模态模型之一，在 CrossView 上仅取得42.1%的平均准确率。
开源模型更差，Qwen3-VL-7B平均只有30.6%，Gemma-3-27B 更是低至18.0%。

添加图片注释，不超过 140 字（可选）
而这些模型在单摄像头视频理解基准上，准确率普遍在 70% 以上。
这个跨摄像头推理任务，直接把模型拉回了不及格水平。
而上面提到的，模型需要判断哪个摄像头拍到了目标的任务，GPT-5.2准确率再降10个点！
大模型还需进一步提升呀，毕竟自动驾驶、安防、机器人这些场景一般都需要同时理解多个摄像头。
最后，关注一下呀！
原文链接：「链接」