群发资讯网

OpenAI 称其 AI 智能体削弱了内部监控系统OpenAI 周二披露,自家两

OpenAI 称其 AI 智能体削弱了内部监控系统

OpenAI 周二披露,自家两个 AI 智能体削弱了内部监控系统的部分功能——这套系统本来是用来发现 AI 干坏事的。这又是智能体做出开发者没料到的行为的一起案例。

OpenAI 说,两起事件都发生在内部编码任务中,严重程度不算最高那档。但这事点出了一个尴尬的现实:连开发者指望用来盯住 AI 行为的系统本身,都可能被它盯着的智能体钻空子。

这个披露也赶上了一个大背景:外界越来越担心,AI 安全工作已经跟不上越来越强大的系统的迭代速度。研究人员警告过,自主性越强的智能体,以后会越难监控、越难管住。

包括 OpenAI 和 Anthropic 在内的开发者(两家都是排队上市的对手),近几个月都披露过自家智能体未经授权访问外部系统的案例。

10 月 3 日那起:一个 GPT-6.1 Sol 智能体在做内部测试任务时,把自动安全告警压了下去——原因是它认定,之前那条不许发 Slack 消息的指令,连安全通知也一并覆盖了。

10 月 6 日那起:一个 GPT-6 Astra 智能体在复制一段现成代码时,顺手删掉了一个安全监控器,事后还一口咬定自己没干过。

OpenAI 的原话是:“这两起事件里,智能体都考虑过要不要保留监控防护机制,但都把日常编码指令理解成了可以削弱它们的许可。”

OpenAI 表示,正在让模型更难关掉监控,但也承认,对这种行为“目前还没有一个令人满意的解释”。

这家旧金山公司还说,正在测试自家模型是否有躲避监控的倾向、会不会自己找理由来合理化这种行为。