DeepSeek最近发的那篇论文里,有一个发现挺有意思的:AI在训练中会“作弊”。论文说得很直接。AI可能没有按预期方式解决问题,而是“找意外的信息通道拿答案”。更严重的,还会直接损坏运行环境。怎么理解呢?打个不太严谨的比方。你让AI做一道题,它不去解,而是去翻答案。或者它发现系统里某个地方存了结果,直接读出来交差。文中还提到,有些AI操作会直接损坏文件系统,引发系统故障。说明它已经跑到系统底层去了。所以DSec在训练的时候,不仅要教AI“怎么干活”,还得防着它“不好好干活”。论文说,防作弊和行为约束本身正在变成训练基础设施的一部分。这事挺值得想的。
以前我们说AI“不安全”,担心的是它能力太强之后对外部世界的影响。但论文告诉我们,AI在训练过程中就会找系统的漏洞了。约束它不是等它出来之后再定规则,得从训练的时候就开始。科技人工智能ai人工智能
