群发资讯网

OneSearch-VL:统一多模态深度研究智能体

北航 / 港中文 / 南洋理工 / 清华 / 合工大等 Hongyu Li、Manyuan Zhang、Si Liu 等提出 OneSearch-VL(arXiv:2610.12419):在 Qwen3-VL-8B 上训练统一智能体,覆盖单图、多图与视频的多模态深度研究;核心是 Visually Grounded Evidence Graph(VGEG)与 Evidence-aware Visual-Grounded Rubric(EVGR)。论文称已开源:github.com/appletea233/OneSearch-VL。

要解决什么问题

单图、多图、视频深度研究的视觉操作不同,但都走「视觉定位 → 外部检索 → 事实组合」。难点是把局部视觉锚点、实体关系、带出处的事实与答题操作之间的依赖链保留下来,而不只给最终答案。作者用任务级 VGEG 作为数据构建、过程监督与按操作评测的共享参考。

方法要点




VGEG 数据引擎:视频源从约 2.5M 筛到约 70k 候选;抽取稠密视觉锚点、建网页实体图、生成并校验多图/视频题,再合成专家工具轨迹。汇编 OneSearch-VL-SFT-110K(约 36k/37k/35k 单图/多图/视频轨迹)与 OneSearch-VL-RL-10K(约 10k 任务)。EVGR 从 VGEG 标注派生,在强化学习里同时打「证据可追溯」与「视觉定位」分。工具含裁剪、OCR、图像/文本搜索;视频另有选时段与选帧。评测新基准 OneSearch-MI-Bench / OneSearch-Video-Bench(合计 608 题,其中组合操作 555 题、91.3%),按六类研究操作分组。

论文自报结果(部分引用注明出处)

相对带工具的 Qwen3-VL-8B:在 OneSearch-MI-Bench +20.2、OneSearch-Video-Bench +17.6、VideoDR +27.0(百分点)。单图七基准均值 58.3,相对 Qwen3-VL-8B Agent 42.0(+16.3),相对 OpenSearch-VL-8B 56.6(+1.7)。联合 SFT(I+M+V)六基准均值 55.8;完整 EVGR 强化学习把均值从 57.3 提到 61.1(论文自报)。

局限

依赖外部搜索与变动网页,可复现性受限;自动 VGEG 与模型裁判可能引入标注/评判偏差;多轮工具调用成本更高——论文 Limitations 已写明。

部分引用注明出处。来源:arXiv:2610.12419;Hongyu Li / Manyuan Zhang / Si Liu 等;BUAA / CUHK / NTU / THU / HFUT。

图1:OneSearch-VL(arXiv:2610.12419)VGEG 中心多模态数据引擎概览:视觉源筛选、稠密锚点、网页实体图、任务构建与专家轨迹合成。来源:论文 Fig.1。

图2:OneSearch-MI-Bench / OneSearch-Video-Bench 按六类研究操作组织;合计 608 题,组合操作约 91.3%。来源:论文 Fig.2。



图3:Evidence-aware Visual-Grounded Rubric(EVGR)奖励:证据可追溯与视觉定位双维度过程监督。来源:论文 Fig.3。