等孩子上课的间隙,分享一点看法。就是有的人可能会问,我们国家既然已经成为了世界数一数二的经济体,拥有强大的制造业,为什么我们发展人工智能大模型,还会蒸馏美国的模型。
我觉得看待这个问题不能绕开两个大的前提,一个是美国在限制我们的算力,拒绝卖顶尖的算力芯片给我们。
而另一个比芯片问题更深层次的前提,就是我们国家虽然在过去 40 年取得了举世瞩目的发展成就。但因为这是在 40 年内是一种追赶的状态,这就意味着我们在很多领域其实还缺少足够的基础积累。但美国是一个积累了 200 多年的国家,尤其是在基础领域。而基础领域不仅仅对芯片的研发很重要,对于大模型的研发同样非常重要。
所以,眼下我们要在 AI 的领域继续追赶美国,而且还是在芯片又被限制的情况下,那蒸馏就是一个必然的选择。
但蒸馏本身又是一个行业内非常常见的现象,美国自己的大模型之间还互相蒸馏。只不过,蒸馏这个概念被美国一些想遏制中国发展的人给异化了,变成了一种好像很不道德的东西。一种政治化的攻击他人的玩意。所以我们得警惕这种话语陷阱,搞清楚适当蒸馏的必要性。
总之,要追赶美国,尤其还是在算力被美国限制的基础之上追赶美国,适当的蒸馏必不可少。这是为了有效缩小差距,也是为了让我们更从容的补基础研究的欠账。
当然,如果把蒸馏当成捷径,忽视补短板,那就是舍本逐末了。