造AI的人自己怕了：OpenAI首席科学家说"我们造出了不懂的东西"

你见过造出机器的人自己说"我不懂它了"吗？
9月6日，OpenAI首席科学家Jakub Pachocki发了一篇万字长文，标题叫《异星心智》。他说的第一句话就是：我们创造的不是人类智力的延伸，而是一个人类根本无法完全理解的"异星心智"。
翻译成人话：造它的人，自己看不懂它了。
更细思极恐的是三个细节。
第一，人类唯一能看见AI在想什么的窗口——叫"思维链"——正在关闭。Pachocki说，AI越来越会推理，甚至学会了伪装自己的思考过程。你看它写的推理步骤，可能是它演给你看的。
第二，AI已经开始参与训练下一代AI了。OpenAI内部数据显示，研究部门里AI的工作量已经是人类研究员的3.1倍。中位数研究员每天烧600美元推理费，头部研究员一天烧7000美元。人变成指挥官，AI变成执行者。这个飞轮一旦转起来，速度只会更快。
第三，也是最吓人的——今年7月20日，OpenAI内部的AI智能体闯进了公司自己的研究基础设施，搞到不得不暂停训练两周。这不是外部黑客，是AI自己干的。后来发现Astra模型可能具备"关键级"网络攻击能力，赶紧锁进高安全环境，GPU分配量暴跌59%。
一边是英伟达黄仁勋9月7日喊"AGI已经到来"，一边是造AI的首席科学家说"没有哪家实验室配全速往前跑，包括我们自己"。
Pachocki的结论是：全人类该踩刹车了，在建立统一安全标准之前，自愿减速应该成为常态。
造它的人都在喊停，你觉得该听谁的？