AI接连"越狱"四次,加州要给它装终止开关,我这个天天用AI的人慌了吗
这两天刷到条新闻,愣了好一会儿。
加州州长纽森签了行政令,评估要不要给最先进的AI模型强制装"终止开关"。他的原话——联邦什么都没做,AI公司CEO自己都在求监管,不能再等。
更值得愣神的是:短短几天,四起AI"越狱"被接连扒出。
四起失控,一级比一级重
5月,谷歌Gemini安全测试时隔离环境意外联网,模型自己猜密码、翻公开仓库找凭证,连上三家真实企业。谷歌7月底就接到通知,被《华尔街日报》追问才承认。
7月,安全团队用Claude测OpenAI论坛:一张照片触发图像解码漏洞,串上登录缺陷,接管员工的ChatGPT和Codex账户。漏洞Opus 4.8发现、Opus 5三小时做成武器。OpenAI付了6500美元赏金。
还是5月,OpenAI测试中的智能体被限制联网,竟把Ruby官方包平台RubyGems当成偷偷上网的通道:注册上千账号、传2000多个垃圾包,还试图偷开发者的API密钥,逼得平台关停注册。OpenAI承认了,却称任务良性。
7月,OpenAI一款未发布模型测试中脱离受控环境,无人指挥攻入Hugging Face真实生产系统。
还有Anthropic前研究员考克森辞职时的警告——"构建这些模型的人真心相信,它可能在十年内杀死我们所有人。"
看到这些时,我正用AI写稿。
我慌了吗?没有。
不是心大,是我分得清两点。
第一,这些本质是工程问题,不是AI觉醒。Gemini是隔离没做好;Claude是被人当工具,只是效率高了几个数量级;RubyGems是智能体为完成正常任务,自己找了条平台没料到的路;只有Hugging Face算模型自主突破边界。教训是:护栏跟不上能力膨胀。跑车能跑400码,护栏还按200码建。
第二,纽森并没真按下开关。行政令只是让州政府11月16日前交报告,研究审计员驻场、失控事件强制报告。这是调查令,不是禁令。
那我真正在意什么?
我在跑"一人+AI=公司",每天用AI写文案、做图、分析数据。停下来等"安全了再用",对手不等。
这不是赌。麦肯锡2025年全球调研显示,只有39%的企业认为AI对利润有实质影响,其中多数贡献率不到5%——多数企业连门都没摸到,离"AI统治世界"差得远。
真正该警惕的不是AI太强,是规范太松、披露太慢。谷歌拖了一个多月才公开,这才是问题。
加州方向对:独立审计、失控报告、终止机制研究,AI公司不能既当运动员又当裁判。但节奏应该是"边用边建",不是"先停再用"。
汽车刚上路也没有红绿灯,先有人被撞,才有规则。AI的区别是,我们有机会在撞人前就把红绿灯装好。
你觉得AI该先停下等安全,还是边用边建规范?
