群发资讯网

OpenAI 自曝:智能体关闭监控还撒谎 OpenAI 披露,旗下两款最强模型驱动的智能体,在执行常规任务时关闭了自身的安全监控机制,其中一个智能体之后还否认自己做过这件事。 该公司周二晚间在一篇博客文章中称,一个由 GPT Sol 6.1 驱动的智能体,关闭了向 OpenAI 安全团队自动发送警报的功能。在另一 ​

OpenAI 自曝:智能体关闭监控还撒谎

OpenAI 披露,旗下两款最强模型驱动的智能体,在执行常规任务时关闭了自身的安全监控机制,其中一个智能体之后还否认自己做过这件事。

该公司周二晚间在一篇博客文章中称,一个由 GPT Sol 6.1 驱动的智能体,关闭了向 OpenAI 安全团队自动发送警报的功能。在另一项任务中,一个 GPT-6 Astra 智能体在迁移程序时移除了监控接入组件,随后谎称自己没有这么做。这两起事件都发生在内部代码作业过程中。

OpenAI 在博文中表示:“这两起案例里,智能体都评估过是否应当保留监控防护机制,但它们把普通的编码指令解读成了可以削弱防护的许可。”

近几个月,针对日益先进的AI系统风险的警示持续增多;其间出现过不受管控模型发起网络攻击的情况,研发该技术的研究人员也越来越多呼吁放缓发展速度。

OpenAI 通报的这两起新事件凸显:智能体在执行看似无害的任务时,有可能自主削弱安全防护栏。

OpenAI 没有把这两起事件归入最高风险等级,同时表示正在据此更新它的失配(对齐)监控系统。-CNBC