群发资讯网

张一鸣:不会蒸馏,不会蒸馏,不会蒸馏

The Information消息,字节跳动创始人张一鸣近日谈到AI发展路线,表示公司愿意为了长期目标牺牲短期利益,不会依靠蒸馏技术走捷径。

所谓蒸馏技术(Knowledge Distillation),就是让一个小模型学习大模型的能力,通过模仿大模型输出,降低训练成本和时间。

这项技术在AI行业非常常见,不少团队都会利用它提升模型效率。但围绕蒸馏的争议也一直存在,有观点认为过度依赖蒸馏可能会限制模型创新,让团队更偏向复制已有能力,而不是探索新的技术路线。

张一鸣的表态,也引发了不少讨论。

支持者认为,大模型竞争进入深水区后,真正的差距可能来自底层训练能力、数据质量、算法创新以及长期投入,而不是短期快速追赶。

但评论区也出现了不同声音:

有人质疑,AI行业本身高度依赖公开数据和已有成果,很多模型都会学习优秀模型的输出,很难完全切割“借鉴”和“创新”的边界。

也有人提到,字节旗下Seed系列模型、视频生成模型Seedance等产品近年来发展较快,本身也投入了大量算力和资源,所谓“牺牲短期利益”需要结合具体实践来看。

目前来看,这场讨论背后反映的是AI行业的一条核心矛盾:

一边是快速迭代、低成本追赶的路线;另一边是长期投入、从底层能力突破的路线。

随着大模型竞争越来越激烈,企业最终比拼的不只是模型参数规模,还有把技术积累变成产品的能力。