这两天 Anthropic 内部这股火终于彻底压不住了。
在 OpenAI 和 Anthropic 干了三年大模型预训练的顶级研究员 hilbertspaess 突然高调离职，话说得比谁都绝。他说这两家大模型巨头根本没有在负责任地行动，而是在拿全人类的生命下注，一路狂飙去搞能够递归自我改进的超级智能。

如果这只是离职员工的个人悲观情绪也就算了，但随后跟进的阵仗简直像极了哨兵集体拉响警报。
前 DeepMind AGI 安全方案核心贡献者、现 Anthropic 研究员 anna wang 迅速站出来接棒。

她不仅坦言这种焦虑在同行里早已极其普遍，还补上了最致命的一刀：以目前人类的科学水平，根本还不存在任何一个可行的技术方案，能解决递归自我改进 AI 带来的安全风险。

什么叫递归自我改进？简单说，就是 AI 开始给下一代 AI 编写代码、优化架构、自我迭代。Anthropic 自己近期发文承认，AI 已经越来越多地参与到了自身研发中，正在走向“AI 自己开发下一代 AI”的阶段。

这就形成了一个极其讽刺的死循环。

前脚科学家们还在论文里探讨 AI 帮人类造更强 AI 的未来，后脚内部安全团队就直接摊牌。

连 Anthropic 负责对齐科学的主管 Evan Hubinger 都公开放话：我们现在确实没有解决超级智能对齐的办法，而且未来十年内 AI 导致人类大规模灭绝的概率，在他看来超过 10%。

概率超过 10% 是什么概念？如果你得知即将乘坐的航班有 10% 的概率掉下来，哪怕机票免费、头等舱里香槟管够，恐怕也没几个人敢系上安全带登机。

可偏偏在这场赛跑里，所有人都在假装看不起这 10%。

硅谷这场戏码最魔幻的地方就在这里：做这件事的人比谁都清楚自己在拆弹，而且手里的剪刀连红线蓝线都分不清，但谁也不敢第一个放下剪刀。

因为在这个残酷的商业竞速场里，逻辑早已演变成：如果我停下，对手就会先造出超级智能把我吞掉；如果我不停下，虽然大家有 10% 的概率一起完蛋，但至少在这个季度，我们公司的估值还在创新高。

号称最重视安全的安全公司，正在用最不安全的方式加速迭代；最懂安全风险的科学家，正一边在社交媒体上发长文警示世界，一边在实验室赶进度。技术早已跑在了科学的前面，而科学甚至还没想好该怎么给这头狂奔的巨兽套上绳索。

神仙们在造神，但也都在害怕神。当这群掌握着人类算力巅峰的人都开始摊手表示无能为力时，我们似乎只能寄希望于，那些在实验室里昼夜不休自我演进的代码，能对人类留有一丝莫名的温情了。