
这项由瑞士洛桑联邦理工学院(EPFL)与法国Valeo.ai及索邦大学联合开展的研究,以预印本形式于2026年7月2日发布,论文编号为arXiv:2607.02375,有兴趣深入了解的读者可通过该编号查询完整论文。
说到AI生成图像,大多数人已经见识过Midjourney、FLUX这类工具创作出的惊艳画面。但很少有人注意到,这些工具在生成一张图片时,其实在幕后"思考"了好几步——有些模型甚至要走上二十步、五十步才能画出一张图。这就像一个画家,需要先打草稿、再上底色、然后细化、最后收尾,每一步都在修正上一步的结果。这个过程当然很准确,但速度就慢了。
那么,有没有可能训练一个AI,让它"提笔即成",一步就画出高质量的图?这正是这篇论文要解决的核心问题。研究团队给他们的方法起了个名字,叫做"表征分布匹配"(Representation Distribution Matching,简称RDM),并在此基础上提出了改进版本iRDM。他们不仅让单步生成成为可能,还证明了单步模型的质量可以超越四步模型——这在此前几乎是不可想象的。
---
一、为什么"一步画图"那么难?先从AI如何"判断好坏"说起
要理解这项研究,得先明白AI是怎么评判一张图"好不好"的。
在AI的世界里,判断一张图好不好,本质上是在比较两组图片的"分布"——也就是看生成的图片整体上长得像不像真实照片。打个比方,假设你从来没见过猫,但你有一本里面装了一百万张猫照片的相册。你的任务是训练一个机器人,让它画出的猫"看起来像从这本相册里随机翻出来的"。怎么判断它画得像不像?就是把它画的一批猫和相册里的一批猫放在一起,看两批的整体感觉是否一致。
现有的主流做法(扩散模型、流匹配模型)是让AI学习一个"如何把噪声一步步变成图片"的过程,就像教它按照一个详细的菜谱,一步一步烹饪。这样做很可靠,但必须按顺序走完所有步骤,推理速度因此受限。
而RDM的思路完全不同——它直接告诉AI:"你画出的一批图和真实图片在某种特征空间里的分布要一样。"这就好比不教厨师菜谱,而是告诉他:"你做的菜,尝起来、闻起来、看起来都得和米其林餐厅出品的一样。"只要满足这个最终标准,过程怎么走都行。这种方式天然就能实现"一步生成"——因为约束的是最终结果的分布,而不是中间过程。
但问题随之而来:怎么衡量"分布是否一样"?用什么标准来比较?这正是这篇论文花了大量篇幅去研究的两个核心设计轴。
---
二、两把"测量尺":如何比较分布,以及在哪里比较
研究团队把整个RDM框架的设计空间归结为两个维度。第一个维度是"比较方式"——用什么数学工具来衡量两组图片分布之间的差距。第二个维度是"比较场所"——在哪个"特征空间"里做这个比较,也就是用哪种预训练好的神经网络来提取图片的特征。
这两个维度乍听起来很抽象,但可以用一个生活中的类比来理解。假设你是一个葡萄酒鉴赏师,要判断一批新酿的酒是否和某个年份的珍藏酒风格一致。"比较方式"是你的评判标准——你是测量酒精度、单宁含量,还是用更全面的气相色谱分析?"比较场所"是你的鉴定维度——你从香气、口感、颜色哪个角度来鉴定?不同的标准和维度,得出的结论可能大相径庭。
这篇论文之前的方法,都是把这两个维度的选择绑定在一起,所以很难搞清楚到底是哪个选择在起作用。研究团队的贡献之一,就是把这两个维度拆开来,逐一测试。
---
三、"最大均值差异"这把老尺子,其实没那么老
在比较方式这个维度上,研究团队发现了一个让人惊喜的事实:一个十年前就被主流放弃的方法,其实根本没有问题,只是之前用的姿势不对。
这个方法叫做"最大均值差异"(Maximum Mean Discrepancy,MMD)。简单来说,它的工作原理是这样的:给两组图片的特征分别打上"标签",然后计算一个分数,这个分数在两组图片来自同一分布时为零,越不像就越大。十年前,研究者试图用它来训练图像生成器,效果很差,于是大家认为它"太弱了",转而去发展GAN(生成对抗网络)等更复杂的方法。
但这篇论文的研究团队认为,MMD不是天生弱,而是之前的估算方式有问题。他们的核心洞察是:MMD包含两项——一项衡量生成图片彼此之间的差异(排斥项),一项衡量生成图片和真实图片之间的相似度(吸引项)。这两项的"信息来源"是不同的,应该用不同的方式来处理。
对于排斥项,它只需要在当前生成的这一批图片里计算,计算量固定且可控,所以可以精确计算,不用近似。对于吸引项,它需要拿生成的图片去跟整个真实数据集(比如ImageNet的128万张图)比较。如果每次训练都重新采样一批真实图片来计算,会引入大量噪声,就像每次用一把不同精度的尺子量同一根棍子,结果就会飘忽不定。
研究团队的解决方案是,只做一次这个昂贵的计算,把整个128万张图片的"集体特征"压缩成一个紧凑的参考点——具体来说,用了一种叫做"Nystrom近似"的技术,用4096个代表性的"地标点"来概括整个数据集的特征分布,然后把这个参考点冻结起来,以后每次训练都拿生成的图片去跟这个固定参考点比较。这就好比不是每次都重新请一百万个评委打分,而是事先请专家做了一份权威的标准答案,之后每次都拿作品去对照这份标准答案。
为了验证这个设计的优越性,研究团队做了一个非常直观的测试:在一个64维空间里,把数据藏成一个螺旋形的曲线,然后用不同的方法来训练一个生成器,看谁能最准确地重现这条螺旋。测试结果用两个指标来衡量:锚点召回率(生成的点有多少落在螺旋上)和到曲线的中位距离(生成的点离螺旋有多近)。
在这个测试里,Nystrom版本的MMD在大批量和小批量情况下都表现最稳定,是唯一在所有条件下都不失手的方法。精确计算的MMD在小批量下会退化(因为参考样本太少),随机傅里叶特征版本在高维下精度下降,Sliced-Wasserstein在小批量下失去召回率,而竞争对手"漂移场"方法在大批量下直接崩溃。
---
四、生成批量越大越好,但不是越多越好
确定了比较方式之后,研究团队开始研究另一个关键变量:每次训练时生成多少张图片。
这里存在一个经典的权衡。生成的图片越多,对当前分布的估计就越准确,就好比你用1000个人的身高数据来估计某个城市的平均身高,肯定比用10个人的数据更可靠。但在同样的计算预算下,生成的图片越多,意味着更新模型的次数越少——钱就这么多,要么买很多便宜食材做简单菜,要么买少量好食材做精品菜。
之前的做法通常是用相对小的批量(几十到几百张),这是受限于显存的被迫之举。研究团队通过一种叫做"梯度缓存"的技巧突破了这个限制——简单来说,就是把一大批图片分成小块分别处理,但最终累积成一个完整批量的梯度效果,显存占用和处理小批量一样,但效果等同于处理大批量。
在保持总计算时间相同的条件下,研究团队测试了从512到10240不同的批量大小,结果发现:最小的批量(512)训练效果反而比不训练还差,这是因为估计太不准确,噪声把模型带偏了。随着批量增大,质量持续提升,在5120左右达到一个宽阔的最优区间,10240也只是略微下降。最终,研究团队在ImageNet实验中使用5120,在更大的FLUX模型上使用10240。这个数字比业界常用的批量大小大了至少一个数量级。
条件生成任务(比如"根据文字描述画图")还带来了额外的挑战:模型可能会"偷懒"——生成的图片整体上看起来真实(满足图像分布),但不按照文字描述画(图文不对应)。为了解决这个问题,研究团队设计了一个"联合分布匹配"方案:把图片特征和对应的文字描述特征拼接在一起,作为一个整体去匹配。这样一来,一张生成的图不仅要"看起来真实",还要"和对应的描述语义一致",两个条件同时满足才算合格。
---
五、单靠一个评委是不够的——多编码器集成的必要性
现在来到第二个设计维度:在哪个特征空间里做比较。
这里有一个看起来很反直觉的发现:就算你用一个非常强大、非常精细的特征提取器(比如顶级的DINOv2视觉模型)作为评判标准,也不足以保证图片真正高质量。
研究团队做了这样一个实验:只针对DINOv2特征空间来优化,训练5120步。结果,按照DINOv2的标准,生成图片的质量分数降到了和真实图片几乎一样低——也就是说,DINOv2认为它们"和真实图片一样好"。但肉眼看上去,生成的图片远远没有那么好。一张蜥蜴的图片变得几乎和照片一样逼真,但一张打字机的图片,按键布局还是明显不合常理。
这说明了一个深刻的问题:任何单一的评判标准都有盲区。DINOv2在识别蜥蜴的整体特征上很强,但在判断打字机按键排列是否符合现实逻辑方面则不够敏感。模型会聪明地找到这些盲区,优先在评委关注的地方做好,而把评委看不见的地方放弃掉——这就是所谓的"过拟合",或者更生动地说,是"欺骗评委"。
解决方案是请更多不同类型的评委。研究团队组建了一个由10个不同预训练模型组成的"评审团",这些模型来自不同的训练范式:有监督分类的(Inception、ConvNeXt)、自监督学习的(MAE、DINOv3)、多模态对齐的(CLIP、SigLIP2)、多教师蒸馏的(PE-Core、RADIO)、人类相似度校准的(DreamSim),等等。每个模型都有不同的关注维度,不同的盲区,这样就很难同时欺骗所有人。
但评审团多了,新的问题来了:怎么分配每个评委的权重?如果平均分配,模型可能会集中讨好那些最容易满足的评委,而忽视最挑剔的那几个。研究团队借鉴了强化学习中的一种叫做"PID拉格朗日方法"的控制论思路:哪个评委还没被满足,就给它更高的权重;一旦某个评委已经满意了,就降低它的权重。具体实现时,每个评委都有一个"满意阈值"(用真实验证集数据的分数来定),凡是还没达到这个阈值的,按照差距大小自动提高权重,权重通过softmax归一化分配预算。这就像一桶水,水面的高度取决于最短的那根木板——"最短木板"会自动获得最多的修补资源。
---
六、一把新尺子:专为抗作弊设计的SWr14评分
既然训练时使用了MMD作为损失函数,评估时就不应该用同一把尺子——否则模型可能只是学会了"在MMD这把尺子下看起来好",而不是真正高质量。研究团队设计了一个全新的评估指标,叫做SWr14。
这个指标的设计思路是"换把尺子,换个房间"。首先,把MMD替换成"Sliced-Wasserstein距离"——这是一种完全不同的分布比较工具,和MMD的数学机制没有重叠,所以对MMD训练出的模型来说,这把尺子是全新的挑战。其次,用14个编码器(包括4个在训练中完全没用过的"留出编码器")来计算每个编码器下的分数,然后取平均。每个编码器的分数都先除以真实验证集数据的分数(归一化),让1.0成为"真实图片"的基准分——越接近1.0越好,实际上没有任何已发布模型能低于1.30。
这个指标的优势在于:它和训练损失毫无关联(换了数学工具),又用了没参与训练的编码器(换了评委),还有真实数据作为归一化基准(有客观参照),所以很难被"游戏化"——也就是说,在这把尺子上表现好,基本上能确保图片真的高质量,而不是在特定评判标准下的取巧。
---
七、iRDM在ImageNet上的表现:不仅超越同类,还超过了真实照片
把以上所有设计组合在一起,就得到了iRDM(improved RDM,改进版表征分布匹配)。
在ImageNet-256(256像素的ImageNet图片生成任务)这个标准测试场景下,研究团队从一个已有的强大单步基线模型(pMF-H FD-SIM)出发,继续用iRDM优化4000步,使用5120的生成批量,10个训练编码器,加上Nystrom参考点,加上拉格朗日权重控制。
在SWr14指标上,iRDM达到1.30,而此前最好的单步模型是2.05。排在它前面的任何已发布生成器都没有低于1.30的——包括那些需要多步推理的模型。iRDM在14个编码器中的9个上都拿到最佳成绩,整体平均也是最佳。
更有说服力的是另一个评估指标——PickScore。这是一个用人类评分数据训练出来的"人类偏好预测模型",研究团队在训练时完全没有用它作为优化目标,所以它是一个完全独立的验证工具。结果,PickScore更偏好iRDM生成的图片,在与pMF-H FD-SIM的对比中,有71.2%的配对图片里,PickScore选择了iRDM的版本。
更令人吃惊的是,研究团队还把iRDM的生成结果和真实照片做了对比。在PickScore的评判下,iRDM生成的图片有63.6%的时候被认为比真实照片更好看——这是研究团队所知的第一个在这个指标上超过真实照片的单步生成模型。
---
八、从四步FLUX到一步FLUX:90小时完成的"蜕变"
iRDM的野心不止于ImageNet这个学术测试场景。研究团队把同样的方法应用到了商业级的大模型上:Black Forest Labs发布的FLUX.2 [klein],一个参数量高达40亿的四步文字生成图片模型。
目标是把这个四步模型"蒸馏"(可以理解为提炼和精简)成一步模型,同时不损失质量。常规的蒸馏方法需要在训练过程中不断查询原始的四步模型,计算成本很高。iRDM则用了一个聪明的技巧:事先让四步模型生成约30万张图片,作为参考数据集,然后冻结起来,之后的训练完全不再需要查询四步模型。
这30万张参考图片是精心挑选的,分为两类:第一类是针对COCO数据集中的8万多张图片,让四步模型各生成24个候选,用PickScore选出每个图片对应提示词最好的3个,共约25万对;第二类是针对GenEval测试集(一个评估文生图模型是否能精确理解"两个物体"、"颜色属性"、"空间关系"等复杂描述的测试集)中的553个提示词,对每个提示词生成150个候选,用目标检测器筛选出内容完全正确的,最多保留100个,共约5.4万张。
在联合图文匹配时,文本特征和图片特征拼接在一起共同压缩进Nystrom参考点,生成时使用同样的COCO提示词加GenEval提示词作为条件池。整个后训练过程只用了180步,约90小时的H200 GPU时间。
结果令人印象深刻。在GenEval评测(通过目标检测器精确评估生成图片是否符合文字描述)上,一步iRDM达到0.826的总分,而四步原始FLUX.2 [klein]只有0.794——单步模型超过了四步模型。在PickScore上,iRDM的22.76也高于四步模型的22.58。分类别来看,iRDM在双目标物(0.924 vs 0.904)、颜色(0.923 vs 0.880)、空间位置(0.650 vs 0.575)和属性绑定(0.708 vs 0.623)这些需要精确图文对齐的类别上全面超越四步模型,只在"计数"这个类别上略有不足。
作为对比,研究团队也实现了另一种蒸馏方法DMD2,它达到了0.804的GenEval和22.36的PickScore,都低于iRDM的水平。
联合匹配图文分布的重要性也在消融实验中得到了验证:如果只匹配图像分布(不加入文字特征),GenEval总分从0.826降至0.801,尤其是双目标物(0.899 vs 0.924)和属性绑定(0.608 vs 0.708)这两个依赖图文对齐的类别下降最明显——这说明,是联合匹配让提示词忠实度成为优化目标的一部分。
---
九、六种训练距离的比赛:谁是最好的老师
研究团队还做了一个细粒度的消融实验:在其他条件完全相同的情况下,只改变训练时使用的距离函数,看哪种最有效。
六种距离函数被拉进了同一个赛场:Nystrom版MMD(研究团队推荐的)、随机傅里叶特征版MMD、精确计算版MMD、Fréchet距离(只比较均值和协方差)、Sliced-Wasserstein距离,以及漂移场方法。每种方法都在相同的计算预算下,从同一个基线模型出发,针对单个DINOv2编码器训练100步,然后用两种第三方距离来评估。
最终排名是:Nystrom版MMD最好,随机傅里叶特征版MMD第二,精确计算版MMD第三,Fréchet距离第四,Sliced-Wasserstein损失第五,漂移场方法最差——而且这个排名在两种评估距离上完全一致,说明结论很稳健。
有两个特别值得注意的细节。第一,精确计算版MMD反而不如Nystrom版——这说明Nystrom的低秩近似并非损失了信息,而是提供了更平滑的梯度信号,反而有利于优化。第二,用Sliced-Wasserstein作为损失,在Sliced-Wasserstein评估指标上反而不如MMD——这表明在某个指标上优化,并不代表会在同一个指标上取得最好的结果,优化和评估的解耦非常重要。
---
十、拉格朗日控制vs.平均分配:精准分配预算的价值
最后一个消融实验验证了多编码器权重分配策略的效果。
在训练100步的设置下,对比拉格朗日控制和平均权重分配两种方案。测试的起点(pMF-H基线)本身就是"两极分化"的:Inception和ConvNeXt这类经典编码器已经接近或低于真实数据的基准线,而现代编码器(PE-Core等)离真实数据还差得远,导致整体SWr14分数(2.09)被这些落后的编码器拉高。
拉格朗日控制把预算集中到了最需要改善的PE-Core编码器上,同时对已经满意的编码器自动降权。结果是:整体SWr14从2.09降至1.88(平均分配是1.90),差距不大;但在最差编码器的分数上,拉格朗日控制从4.83降到了3.49,而平均分配只降到了4.06。也就是说,拉格朗日控制在改善"最短木板"这件事上明显更有效,这正是它被设计来做的事情。
---
说到底,这项研究讲的是一个"用对方法、解放潜力"的故事。MMD这把尺子并非天生弱,只是之前没有被正确使用。单步生成器并非天生差,只是之前没找到合适的训练范式。单个评委并非天生公正,只是之前大家没注意到它的盲区。
iRDM把这些问题逐一解决:用Nystrom让MMD真正发挥威力,用大批量让分布估计准确,用联合匹配让图文一致成为目标,用多评委加拉格朗日控制防止模型钻空子,用SWr14提供一把不偏不倚的测量尺。
对于普通用户来说,这项研究最直接的意义是:未来的AI画图工具可以更快。一步生成意味着几乎可以实时出图,这对交互式创作、游戏实时生成、视频每帧生成等场景都意义重大。更深远的影响是,整个RDM这套思路——"直接匹配分布,无需模拟轨迹"——可以推广到图像以外的任何模态,只要有合适的预训练编码器提供特征空间,就可以用这套方法来训练高质量的单步生成器。
当然,差距仍然存在。SWr14 1.30距离真实数据的1.0还有一段路,研究团队也诚实地指出了这一点,并提出了未来的优化方向:多尺度核函数、任务特定的编码器组合、更丰富的条件耦合方式。故事还没有结束,但这一步走得相当坚实。有兴趣深入了解技术细节的读者,可通过论文编号arXiv:2607.02375查阅完整原文。
---
Q&A
Q1:iRDM生成图片为什么可以只需要一步,而不是像普通扩散模型那样需要多步?
A:iRDM的训练目标是让生成图片的整体分布和真实图片一样,而不是模拟"从噪声一步步变成图片"的过程。因为约束的是最终结果而不是中间步骤,模型自然就能在一次计算后直接输出图片。这就像考试不要求你写解题步骤,只要答案对就行,所以可以跳过中间过程。
Q2:为什么用多个编码器来评判图片质量,单个高级编码器不够吗?
A:单个编码器有盲区——它关注的维度有限,模型会专门针对这些维度优化,而忽视其他方面。实验表明,即使是最强的DINOv2编码器被满足后,图片仍可能有明显问题(比如打字机按键排列不合理)。多个来自不同训练范式的编码器组合,能覆盖更广泛的质量维度,让模型难以同时欺骗所有评委。
Q3:SWr14评分里的"1.0"是什么意思,为什么已发布模型都高于1.30?
A:SWr14把真实验证集图片的得分定义为1.0,作为基准。分数越接近1.0,说明生成图片和真实图片越相似。1.30意味着iRDM生成的图片和真实图片还有一定差距,但这已经是目前所有已发布模型中最低(最好)的数字。这个指标设计上很难被"刷分",因为它使用了和训练损失完全不同的数学工具以及训练中没用过的编码器来评估。