所谓蒸馏技术(Knowledge Distillation),就是让一个小模型学习大模型的能力,通过模仿大模型输出,降低训练成本和时间。
这项技术在AI行业非常常见,不少团队都会利用它提升模型效率。但围绕蒸馏的争议也一直存在,有观点认为过度依赖蒸馏可能会限制模型创新,让团队更偏向复制已有能力,而不是探索新的技术路线。
张一鸣的表态,也引发了不少讨论。
支持者认为,大模型竞争进入深水区后,真正的差距可能来自底层训练能力、数据质量、算法创新以及长期投入,而不是短期快速追赶。
但评论区也出现了不同声音:
有人质疑,AI行业本身高度依赖公开数据和已有成果,很多模型都会学习优秀模型的输出,很难完全切割“借鉴”和“创新”的边界。
也有人提到,字节旗下Seed系列模型、视频生成模型Seedance等产品近年来发展较快,本身也投入了大量算力和资源,所谓“牺牲短期利益”需要结合具体实践来看。
目前来看,这场讨论背后反映的是AI行业的一条核心矛盾:
一边是快速迭代、低成本追赶的路线;另一边是长期投入、从底层能力突破的路线。
随着大模型竞争越来越激烈,企业最终比拼的不只是模型参数规模,还有把技术积累变成产品的能力。

