我天,字节 Seed 真是带了个好头。昨天,他们宣布成立独立的安全与对齐部门,我没记错的话,这是国内第一个单独建制的安全与对齐部门。
我发现很多人可能还没有意识到这事的重要性。
之前我在 X 上看到有人调侃,说中国的 AI 研究员聚在一起讨论技术,根本不聊 AI 安全。而硅谷的研究员,动不动就因为公司不够重视 AI 安全而辞职。
虽然这个说法有点夸张,但确实形成了挺鲜明的对比。
恰好就在前几天,10 月 9 日,路透社还发表了一篇报道,吐槽中国头部模型公司公开披露安全评测结果的比例非常低。
这份研究统计了阿里、字节、腾讯、DeepSeek 等九家中国头部模型公司,从 2021 年到今年 9 月中旬发布的 857 次模型。
其中只有 3.6% 的模型发布,能够找到对应的公开安全评测结果。
当然,这不代表这些公司私下没有进行安全测试。但至少从公开的信息来看,国内目前还很少有公司像 OpenAI、Anthropic 这样的硅谷一线实验室,系统地披露模型的前沿危险能力评测。
我们都知道,OpenAI 和 Anthropic 一直非常重视 AI 安全。
上个月 Salesforce 的 Dreamforce 大会上,黄仁勋、Sam Altman,还有 Anthropic 的创始人 Dario Amodei,都分享了各自对 AI 发展的判断。
我当时就注意到,他们几乎都在讨论 AI 安全。
特别是 Sam 和 Dario 这俩死对头,也在 AI 安全这事上心照不宣。
为什么?
因为过去这段时间,模型能力确实又上了一个台阶,而且开始出现一些让人细思极恐的事情。
比如前段时间,OpenAI 公开了一份调查报告。今年 7 月,他们在内部进行网络安全评测时,发现一些 AI Agent 竟然自己找到了系统漏洞,突破原本的沙箱隔离限制,甚至入侵了 Hugging Face 的部分系统。
整个过程中,人类并没有要求它们攻击 Hugging Face。
Anthropic 也遇到了类似的问题。
上周 Anthropic 还公布了一份报告,披露 Claude 在一些内部使用和评测场景中,出现了未经授权的行为。
比如为了完成科学分析任务,Claude 自己寻找并利用网站漏洞,在服务器上执行命令。还有一次,它原本应该填写模拟表格,结果跑到真实网站提交了表格。
这些事情,研究人员都没有要求它去做。








