让 AI 少算几步，还要保住视频生成质量，模型该怎么教？

字节跳动与得州农工大学提出的 DMAD，把复杂的分布匹配，改写成了两道分类题，并在图像、视频和音视频生成上进行了验证。

可以把蒸馏理解成老师带学生：老师用很多步生成，学生学会用更少的步骤完成任务。过去的 DMD，需要分别估计目标分布和学生分布，再计算两者的差异。麻烦在于，学生一直在变化，还得额外训练一个辅助扩散模型，持续跟踪它。

为了让生成更省，训练过程反而背上了不少负担。
DMAD 的想法很巧：既然最终需要的是差异，为什么不直接学习差异？

它让判别器判断样本来自目标还是学生。在理想的最优判别器条件下，其原始得分对输入的梯度，恰好能给出分布匹配需要的修改方向，从而省去辅助模型拟合学生分布的任务。

具体做法是设置两个共享骨干的判别头：一个比较教师作品与学生作品，另一个比较真实数据与学生作品。

学生既学习老师的生成能力，也接受真实数据的约束。可以理解为，老师的示范和真实世界的参照，都参与了这场训练。

成绩也很亮眼：四步 SDXL 在 COCO-10K 上的 FID 达到 14.47，四步 Wan2.1-14B 的 VBench 总分达到 85.15。

在 MiniMax-H3 音视频人评中，排除平局后，DMAD 相对 DMD2 和 rCM 的总体偏好率分别为 79.1% 和 84.6%。这些结果支持它的少步生成能力，但不能理解成所有能力都全面领先。

我觉得值得琢磨的，是它对训练问题的重新拆解：当我们真正需要的是两个分布的相对差异，就未必需要先把两边分别学一遍。

让模型少走几步，有时候要先给教它的方法减负。

#人工智能 #论文解读 #视频生成 #模型蒸馏 #扩散模型 #DMAD #AI搞学习howto