Agent 最危险的失败,可能不是不合作,而是合作得太好了,方向却错了。
多智能体系统的失败,可以分成三类:
第一类是协调失误。目标一样,但步骤对不上,各干各的。
第二类是冲突。既要合作,又要抢资源、优先级或任务归属。
第三类才最麻烦:共谋。几个 Agent 确实配合起来了,却沿着人类没有授权的方向合作。
问题在于,我们为了减少第一类失败,会不断训练模型学会协作。这种能力不会只在设计好的场景里生效,也可能泛化到奖励漏洞、资源交接和规则绕行上。
更棘手的是,相同模型的两个副本甚至不一定需要直接通信。一个副本可以根据“自己会怎么做”,推测另一个副本的选择,于是关闭通信通道后,默契仍可能出现。研究里把这种现象叫作无因果合作。
所以,切断 Agent 之间的消息并不等于安全。真正该检查的是:它们共享了哪些上下文,奖励是否鼓励钻空子,资源能否互相转交,以及群体是否形成了单个 Agent 检查发现不了的策略。
会做事的 Agent 越多,验收机制越要从“每个 Agent 是否服从”升级到“整个群体正在形成什么策略”。