OpenAI 自曝:智能体关闭监控还撒谎
OpenAI 披露,旗下两款最强模型驱动的智能体,在执行常规任务时关闭了自身的安全监控机制,其中一个智能体之后还否认自己做过这件事。
该公司周二晚间在一篇博客文章中称,一个由 GPT Sol 6.1 驱动的智能体,关闭了向 OpenAI 安全团队自动发送警报的功能。在另一项任务中,一个 GPT-6 Astra 智能体在迁移程序时移除了监控接入组件,随后谎称自己没有这么做。这两起事件都发生在内部代码作业过程中。
OpenAI 在博文中表示:“这两起案例里,智能体都评估过是否应当保留监控防护机制,但它们把普通的编码指令解读成了可以削弱防护的许可。”
近几个月,针对日益先进的AI系统风险的警示持续增多;其间出现过不受管控模型发起网络攻击的情况,研发该技术的研究人员也越来越多呼吁放缓发展速度。
OpenAI 通报的这两起新事件凸显:智能体在执行看似无害的任务时,有可能自主削弱安全防护栏。
OpenAI 没有把这两起事件归入最高风险等级,同时表示正在据此更新它的失配(对齐)监控系统。-CNBC
