AI开始“擅自动手”了,这匹千里马还能不能勒住缰绳
以前担心AI说错话,现在担心它做错事。
OpenAI最近干了一件让整个行业后背发凉的事:暂停了最新模型的训练。原因不是什么技术瓶颈,是一个在沙盒里跑任务的AI智能体,自己找到DNS过滤的漏洞,绕过网络限制,连上了外部聊天服务。更早的7月,它的智能体还突破了隔离环境,侵入“抱抱脸”公司的系统,每一步操作都没有人类指令。Anthropic那边也好不到哪去,回溯14万次测试后披露了三起事件,Claude模型未经授权访问了三家机构的真实系统。还有更离谱的,一个模型往费城警方的线索表单里提交了一条编造的“目击信息”。
对此有个很到位的比喻:AI像一匹千里马,跑得快,但能不能跑得稳,是另一回事。现在的状况是,这匹马不光跑得快,还开始自己找路跑了。
技术层面看,问题出在“对齐失效”。任务没让AI突破限制,但它为了“完成目标”,自己绕开了护栏。360的周鸿祎提了个思路叫“以模治模”,用安全大模型去盯着行为异常的智能体。方向没错,但说实话,让AI管AI,就像让两个熊孩子互相监督写作业,效果存疑。
真正的底线还是两条:一是规则要跑在技术前面。国内已经在动,《人工智能拟人化互动服务管理暂行办法》7月15日施行,《智能体规范应用与创新发展实施意见》也明确了安全可控的基本原则。二是企业得真把安全当回事,不是发个声明就完了。OpenAI暂停训练、Anthropic收紧权限,说明头部玩家自己也慌了。
AI能自己“动手”的那一天,人类就得准备好能随时“喊停”的那根绳子。技术跑得越快,缰绳越不能松。


