新国立x可灵AI提出DiffusionART：超高效稳定可扩展的Diffusion RL算法，让视频后训练提速10倍以上

来自新加坡国立大学、可灵 AI 和香港科技大学的研究团队提出了 DiffusionART，一种面向图像和视频生成的在线 Diffusion RL 算法。该方法支持采用 ODE 采样，不要求奖励模型可微，也无需额外调参，可自然适配标量奖励、二值偏好奖励等多种奖励形式，具有极高的样本效率。在 HunyuanVideo-13B 的视觉质量和运动质量实验中，DiffusionART 达到 DiffusionNFT 和 Flow-GRPO-Fast 后期平均奖励水平的速度分别快 12.02 倍和 11.72 倍。DiffusionART 曾在论文公开当天登顶 Hugging Face Daily Papers 日榜 Top 1。

作者介绍：该工作的第一作者为新加坡国立大学（NUS）计算机系博士生万政霖，主要研究方向为多模态理解与生成、强化学习，指导老师为 NUS 校长青年教授尤洋老师。通讯作者为可灵 AI 算法研究员陈佳煜，本科及博士均毕业于清华大学电子工程系。

• 论文链接： https://arxiv.org/abs/2610.12572
• 代码链接： https://github.com/vanzll/DiffusionART
• Hugging Face 模型链接： https://huggingface.co/collections/vanzl/diffusionart
• 项目链接： https://vanzll.github.io/diffusionart-project/

图 1｜左侧展示 HunyuanVideo-13B 在等权 VQ/MQ 下的训练曲线与 GPU-hour 效率；右侧展示相同 prompt 的图像和视频生成案例。

一、现有路线的缺陷：有的更新太慢，有的更新快却不稳定

扩散模型后训练技术在视频生成业界的地位越来越重要，它主要分为两种范式：

Reverse-process RL，以 Flow-GRPO 为代表，更接近传统 RL 范式。它将反向去噪过程建模为 MDP，通过 ODE-to-SDE 转换计算策略梯度。但最终 reward 被无差别地分配到轨迹中的每一步，导致信用分配不佳，训练效率受限。

Forward-process RL，以 DiffusionNFT 为代表，更接近 Diffusion 的监督训练范式。它对生成结果重新加噪，通过 reward 加权的正负双分支进行回归，无需转移概率，可沿用高效采样器。但其稳定性依赖正负分支联合训练和需要按任务调参的 EMA off-policy 策略：单分支训练或直接 on-policy 更新都容易崩溃。

这里出现了 DiffusionNFT 原文尚未探索清楚的现象：

1. 在理想推导中，朝正样本分布靠近、远离负样本分布，本来指向相同的梯度方向。为什么实践中少一个分支就不行？

2. 为什么一定要 off-policy 训练才能稳定？On-policy 和 off-policy 在 Diffusion 这种连续空间 RL 里面的本质区别是什么？

二、三个机制洞察

从理解前向 RL 的本质和不稳定性来源出发，作者得到三个关键洞察： 

洞察 1：前向速度与反向速度之间的差距，会在优化过程中带来一项隐藏的力

模型生成的样本可以通过直线加噪定义理想前向速度场，但它并不等于模型实际生成时使用的反向速度场。

论文将 NFT 的更新在输出空间展开，发现除了 reward-improving guidance，还存在一项由两个速度场差异产生的 forward–reverse consistency force（前向 — 反向一致性力）。这项力并不直接改善奖励，却可能产生较大的参数梯度，干扰奖励优化，引发 gradient spike 甚至 reward collapse。问题不在于缺少正确的奖励方向，而在于优化过程中混入了额外的一致性力。

洞察 2：双分支的作用是在相互抵消这个危险的力

正、负分支的 reward guidance 方向一致，但携带的一致性力方向相反。因此，联合训练能够部分抵消额外的一致性力，解释了为什么单独训练任一分支都容易崩溃。

然而，这种抵消并不彻底。Reward normalization 只能保证样本组内的系数平衡，无法保证每个 state 的一致性力相互抵消。经过不同 state 的模型 Jacobian 映射到参数空间后，仍可能留下较大的残余梯度。因此，双分支只能缓解一致性力的干扰，无法从目标构造上彻底消除它。

图 2｜左侧：单独训练正分支或负分支都会发生崩溃，联合训练表现更好。右侧：两分支沿奖励方向相互增强，却只能部分抵消一致性力。

洞察 3：EMA 的关键稳定机制，是 loss 中的恢复力，而不只是 off-policy 数据

EMA 同时改变了两个因素：生成 rollout 的策略，以及 loss 中作为参照的 old policy。究竟哪个因素带来了稳定性？消融实验发现，即使保留 EMA rollout，只要将 loss 中的 old-policy anchor 替换为 current policy，训练仍然崩溃。进一步的梯度分解揭示：EMA 的关键作用是引入一项将当前模型拉回 old policy 的 restoration force（恢复力），而非仅仅使用 off-policy 数据。模型偏离旧策略越远，恢复力就越强。

研究团队进一步发现，即使不使用 EMA，将每轮 rollout 数据拆成两个互斥 minibatch、连续更新两次，也能自然产生恢复力，在实验观察区间内避免崩溃。但代价是训练效率明显下降：仅仅是将一次 rollout 的模型更新次数从 1 变成 2，导致 OCR 任务的训练效率降低 15 倍。更反直觉的是，恢复力在输出空间的 RMS 比 guidance 小 9.4 倍，聚合到参数空间后的梯度范数却大 4.9 倍。

这揭示了恢复力极强的梯度转化效应：即使输出空间的恢复力很小，也可能压过有效的奖励梯度。因此，稳定训练需要 Restoration，但过强的恢复力又会压制 Reward Guidance，导致训练稳定却低效。

图 3｜从左到右：NFT 单次更新与两次更新的 OCR 曲线；保留 EMA rollout、移除 anchor 后的崩溃；输出力与参数梯度的尺度对比；第二次 MSE 更新如何分解为 guidance 与 restoration。

三、DiffusionART：先聚合奖励方向，再让恢复力随漂移出现

前面的分析给出了两个设计目标：从目标构造上消除一致性力，而非依赖跨样本梯度抵消；无需 EMA 调参，也能获得适度的恢复力。

基于此，研究团队提出 DiffusionART（Diffusion Reinforcement with Aggregation-First Reward Tilting），保留简单的 MSE 回归接口，但重新设计奖励方向的构造方式与作用位置。

1. Aggregation-First：先聚合奖励，再指导真实去噪 States

对同一个 prompt，ART 首先根据一组生成结果及其奖励，计算共享的奖励改善方向：

从 reward tilting 的角度看，提高高奖励样本的权重，生成分布均值的一阶变化方向正是该协方差。RMS 归一化则统一 guidance 尺度，减少不同 reward 范围的影响，无需额外调节 guidance strength。

随后，将共享 guidance 作用于真实 ODE rollout 经过的 states，通过冻结目标进行 MSE 回归：

与 NFT 不同，该目标不依赖前向加噪得到的理想速度场，因此从目标构造上消除额外的一致性力。

这正是 Aggregation-First 的关键：不是先在每个 state 引入带有一致性力的 guidance，再依赖梯度聚合抵消干扰；而是先在 endpoint 层面聚合出干净的奖励方向，再作用于每个真实的去噪 state。

图 4｜ART 从 endpoint 与 reward 聚合 guidance，再直接作用于 reverse-process states；它借用监督回归接口，但不沿用 NFT 的前向速度 target。

2. 两次更新：无需 EMA，自适应产生 Restoration

ART 将每轮 rollout 数据拆成两个互斥 minibatch，各更新一次，并共享同一个冻结 target。第一次更新从 old policy 出发，主要沿奖励方向 G 前进；第二次更新时模型已经发生漂移，自然产生恢复项：

漂移越大，恢复力越强；漂移较小时，奖励 guidance 仍占主导。这样便能无需 EMA 或额外调参，自适应地提供 Restoration，同时避免重复训练同一 minibatch。

3. Trust-region Mask：限制过度漂移

为进一步保证稳定性，ART 在第二次更新中引入 Trust-region Mask，思想类似 PPO Clip：当某个 state 偏离旧策略过大，且更新会进一步向外推动时，屏蔽该更新；朝内恢复的方向则予以保留。

整个过程仍使用确定性 ODE 采样，无需 ODE-to-SDE 转换，也不需要计算用于策略梯度的转移似然。Trust-region Mask 采用固定配置，不需要逐任务调参。

研究团队随后开源了 DiffusionART-Flash， 在训练阶段通过从高噪声区域随机抽取两步训练，可以达到和全轨迹训练相似的性能， 同时进一步大幅减少训练时间。另外，DiffusionART 开源仓库现已支持并提供 Minimax-H3 等前沿开源视频模型的 RL 配方。

四、实验结果：效率、稳定性与小 group 的可扩展性

视频：同样的奖励水平，GPU hours 大幅降低

图 5｜前三张为 T2V 的 TA、VQ、MQ，后两张为 I2V 的 VQ、MQ。

在 HunyuanVideo-13B 上，论文比较了等权视觉质量与运动质量的组合奖励。以两个 baseline 各自的后期平均奖励作为目标，结果如下：

相比两个 baseline 的后期平均奖励，ART 自身的后期平均训练奖励还分别提高 28.8% 和 53.0%。

在 Wan2.1-I2V-14B 的图生视频实验中，ART 同样有效。达到 MQ=6，ART 使用 45.8 GPU hours，Flow-GRPO-Fast 使用 220.3 GPU hours，约为 4.8× 的效率提升。并且其他算法快速达到平台，而 ART 能够稳定持续上升。

图像：与调优后的 NFT 效率相当，不需要逐任务 EMA 调度

论文在 SD3.5-M 上测试 GenEval、OCR、PickScore，并进一步联合优化 GenEval、PickScore、CLIPScore 和 HPSv2.1 四种奖励。

ART 的训练效率与采用原论文逐任务设置的 NFT（EMA）相当，同时避免 NFT（on-policy）在这些实验中的严重崩溃。达到 Flow-GRPO 第 500 步的 reward，ART 在 GenEval、OCR、PickScore 上分别需要 10.0×、5.2×、9.6× 更少的训练步数。

同一核心方法还能扩展到 FLUX.1-dev（12B）。这使结果不只停留在单个较小的图像模型，也覆盖了更大的图像模型和更高维的视频生成任务。

图 6｜SD3.5-M 的单奖励与联合奖励训练。不同子图的奖励定义不同，应在各自 benchmark 内比较，不能直接横向比较分数高低。

图 7｜左：FLUX.1-dev 上的 GenEval 训练；右：OCR 上 guidance 与 restoration 的消融。

图 7 右侧消融实验进一步验证了 Guidance 与 Restoration 缺一不可：仅使用 covariance guidance、执行单次更新时，ART 的 OCR 奖励前期迅速提升，后期却逐渐退化；加入第二次更新带来的 restoration 后，训练能够长期稳定。相比之下，即使采用调优后的 EMA（β=0.1) 并同样进行两次更新，NFT 仍出现崩溃。这说明，稳定性并非简单来自多更新一次，而是需要干净的 Reward Guidance 与适度的 Restoration 共同作用。

Pairwise 与小 group：减少昂贵的视频 rollout

DiffusionART 天然支持 Pairwise Reward Model，可将成对偏好转换为胜负标签，沿用相同的 covariance guidance 与 MSE 更新，无需可微奖励模型。

在 VQ-only Pairwise 视频实验中，每个 prompt 仅生成 两个视频（K=2），仍能有效训练：相同的 400 次更新预算下，K=2 仅消耗 260.8 GPU hours，而 K=8 需要 883.3 GPU hours，计算成本降低约 3.4×，最终 VQ 分别达到 12.235 和 12.092。这表明，ART 不依赖大 Group Size 也能获得有效的奖励改善方向，对于 Rollout 成本极高的视频 RL 尤其重要。

模型实际生成 demo

图像案例：三个旅行箱。

图像案例：丛林中的泰迪熊与汽车。

视频案例：瀑布流入热带雨林中的碧绿水潭。

结语：先理解更新里有什么梯度，再决定怎样稳定它

DiffusionART 的价值不只是一组更快的曲线。它采用梯度分解法试图回答一个更基础的问题：当我们用 reward 微调一个扩散模型时，模型究竟受到了哪些力，这些力会产生多大的梯度，它们之间的关系是什么？

对 NFT-style objective 的分析区分了 reward guidance、隐藏的一致性力与 off-policy restoration。由此，方法不再试图用更强的 EMA 压住所有不稳定因素，而是先从目标构造中移除一致性力，再用简单的两次更新提供随漂移增强的恢复力。

这给图像和视频的扩散后训练提供了更深的洞察和更清晰的设计思路。效率与稳定性，可以来自对目标函数的理解，而不只是更多的任务专属调参。

论文及作者信息：

• 论文：DiffusionART: Efficient, Stable and Scalable Reinforcement of Diffusion Models
• 作者：Zhenglin Wan、Jiayu Chen、Zhengfeiyang Zhang、Pengfei Zhou、Wangbo Zhao、Fangyuan Kong、Pengfei Wan、Kun Gai、Yang You。
• 单位：National University of Singapore；KlingAI Research；HKUST。
• 作者联系：vanzl@u.nus.edu、jia768167535@gmail.com

文章来自于"机器之心"，作者 "机器之心"。