群发资讯网

斯坦福 HybridAgent:模型混合推理的新路线

斯坦福大学、Together AI 联合发表新论文《Hybrid Reasoning Agents》,提出一套新Agent推理架构:HybridAgent。
回答一个有意思的问题:为什么 AI 的思考过程,一定要用人类语言表达出来?

现在的推理模型,无论是解决数学题,还是调用工具完成复杂任务,基本都依赖 Chain-of-Thought(思维链),一个 Token 接着一个 Token 地生成推理内容。

但我们人类思考的时候不总是在脑海里逐字说话,有时候是一种直觉、模糊的概念,甚至是一种难以用语言描述的判断。
AI 有没有可能也这样?

它让 AI 在潜在空间(Latent Space)中进行内部推理,需要与外部世界交互时,再切换到自然语言。
Agent可以先在潜在空间中思考需要什么信息,然后切换到文本模式调用搜索工具。拿到搜索结果后,再回到潜在空间继续分析,如果需要计算,就切换到文本模式调用 Python。
整个过程就像人在脑海里思考,只有需要查资料、使用工具或者回答问题的时候,才把想法表达出来。

传统大模型通过LM Head将隐藏状态转换成 Token,论文的 HybridLink 增加另一条路径,让隐藏状态经过映射后,直接作为下一步Transformer计算的输入。
研究人员还设计了Continuous Working Memory,通过KV Cache保留文本、潜在推理和工具反馈的上下文,让模型能够跨工具调用延续内部状态。
训练上,则通过HybridSFT和HybridRL,让模型学习什么时候进行潜在推理,什么时候切换到文本模式与外部交互。

实验效果基于Qwen3-Base模型平均性能相对提升10.4%,Token使用量减少35.5%~54.7%,推理速度达到原来1.8~2.6倍,估算解码计算成本降低2.7~3.7倍

今天讨论Thinking Token有多少、思维链有多长,但更多的 Token 并不意味着思考更有效。
未来的Agent,或许可以把更多计算留在内部,只在需要与人类和外部环境交互的时候,才转换成我们能够理解的语言。
语言可能只是 AI 与世界交互的一种接口,而不必成为所有内部推理的载体。

#人工智能 #Agent #HybridAgent #LatentReasoning #ChainOfThought #强化学习 #AI技术前沿 #AI搞学习howto