扩散模型 × 强化学习：学术资源图鉴

想象这样一个场景：你是一名研究强化学习的博士生，最近在探索如何让机器人在复杂环境中做出更"聪明"的长期决策。传统的 RL 算法在面对稀疏奖励、长周期任务时常常"短视"——过度依赖 Bootstrap 机制导致误差累积，难以捕捉未来的多模态行为分布。而近年来火遍 CV 和 NLP 领域的扩散模型（Diffusion Model），恰恰擅长从噪声中逐步恢复高质量、多样化的样本——这正好填补了 RL 的短板。

awesome-diffusion-model-in-rl 正是这样一个知识枢纽：由 OpenDILab 团队维护，精选扩散模型与强化学习交叉领域的优质论文、开源代码和教程资源，追踪该方向从 2022 年至今的前沿进展。

背景：扩散模型如何"重塑"强化学习

强化学习的核心问题是时序决策：智能体需要在一连串动作中选择最优路径，最大化累积奖励。传统方法（如 DQN、PPO、SAC）在处理这一问题时存在两大瓶颈：

1. 长期信用分配难题（Long-term Credit Assignment）：智能体需要判断很久之前的某个动作对当前结果的影响有多深。Bootstrap 机制虽然高效，但会累积估计误差，在长周期任务中导致策略崩溃。

2. 多模态行为覆盖不足：在许多现实场景中，最优策略本身就具有多样性（比如到达终点有多条路径）。传统高斯策略难以有效覆盖这种多模态分布。

扩散模型的核心思想是逐步去噪：从一个纯噪声分布开始，通过学习逆向扩散过程，逐步恢复出符合数据分布的样本。这种迭代精化的方式天然具有几个优势：

• 无需 Bootstrap：直接在真实数据分布上学习，不需要通过 Bootstrapping 估计未来价值，从而规避了误差累积问题。
• 多模态覆盖能力强：扩散过程天然支持多个去噪路径，对多模态行为分布的建模能力远超传统高斯策略。
• 可扩展性好：扩散模型的训练目标（去噪得分匹配）与语言模型的自回归预测有异曲同工之妙，Scaling Laws 同样适用。

2022 年，Janner 等人在论文"Planning with Diffusion for Flexible Behavior Synthesis"中首次将扩散模型引入机器人轨迹规划，开启了这一交叉领域的先河。

核心资源结构

该项目按照会议/年份和应用场景双重维度组织资源：

分类	数量（示例）	代表论文
Arxiv 预印本	27+	Flow-Based Single-Step、3D Diffusion Policy
ICML 2026	进行中	持续更新
ICLR 2026	进行中	持续更新
NeurIPS 2025	多篇	Flow Matching、IDQL 延伸工作
ICLR 2025	多篇	NoMaD、PlayFusion
CVPR 2024	多篇	3D Diffusion Policy
NeurIPS 2023	经典	Decision Diffuser、Planning with Diffusion

每条论文条目包含：

• Paper Link：arXiv 或会议官方链接
• Authors：主要作者列表
• Key：核心技术关键词（如 Offline RL、Flow Matching、Goal-Conditioned）
• Code：GitHub 官方实现仓库
• ExpEnv：实验环境（D4RL、Robomimic、Meta-World 等）

技术路线图：从规划到策略学习

路线一：扩散规划（Diffusion Planning）

将扩散模型作为规划器，在推理阶段通过迭代去噪生成高质量轨迹，代表工作包括：

• Diffuser (Janner et al., 2022)：开创性工作，将轨迹优化建模为扩散过程，支持灵活的行为约束。
• Decision Diffuser：将目标条件、约束条件注入扩散过程，实现多任务规划。

路线二：扩散策略（Diffusion Policy）

将扩散模型作为策略函数（Policy） 直接输出动作分布，这是 Offline RL 场景下的重要突破：

• Diffusion-QL (Wang et al.)：将扩散策略与 Q-learning 结合，提出 Diffusion-QL 方法。
• IDQL：隐式 Q-Learning + 扩散策略，兼顾样本效率和策略多样性。
• Diffusion Actor-Critic：将扩散噪声回归建模为 Actor-Critic 框架的策略更新步骤。

路线三：世界模型（World Model）

利用扩散模型作为环境预测器，构建基于想象的规划系统：

• NoMaD：扩散导航策略，支持目标遮蔽和探索。
• Dreamer 系列延伸：扩散增强的世界模型。

路线四：多模态与通用化

• 3D Diffusion Policy：将扩散策略泛化到 3D 视觉输入。
• XSkill：跨实体技能迁移。
• PlayFusion：从人类游戏数据中提取扩散技能。

代码库推荐

项目中收录了数个高质量的参考实现：

1. GenerativeRL（OpenDILab 官方）：集成 RL、扩散模型和 Flow 模型的统一代码框架。
2. CleanDiffuser：模块化的扩散决策工具包，支持多种扩散模型和 RL 算法组合。

使用建议与局限

适合人群

• 强化学习方向的研究者，想快速了解扩散模型在 RL 中的应用现状
• 对决策 AI、多模态机器人控制感兴趣的工程师
• 希望追踪 Diffusion + RL 前沿的博士后和博士生

局限性

• awesome-list 的本质局限：作为论文合集，不含可直接运行的代码，需要跳转对应 GitHub 仓库。
• 时效性挑战：AI 领域进展极快，部分早期论文的方法已被新工作超越，目录结构按年份组织但缺少方法演进脉络的显式梳理。
• 缺乏实践指南：对于想从零快速复现某篇工作的工程师来说，还需要额外搜索实验环境和超参数配置。

快速上手路径

1. 从 README 中的"Advantage"部分理解扩散模型赋能 RL 的核心逻辑。
2. 按年份浏览对应会议/Arxiv 论文列表，找到自己研究方向的交叉点。
3. 点击 Code 链接跳转到 GitHub 实现仓库，结合原论文方法章节深入理解。
4. 如需实践，建议从 D4RL 基准开始——这是离线强化学习最常用的评估环境。

行业意义与趋势

扩散模型与强化学习的结合，本质上是生成式 AI 能力向决策领域渗透的体现。从 2022 年仅有零星几篇探索性工作，到 2024-2025 年 NeurIPS/ICML/ICLR 全面开花，这一方向已从"概念验证"走向"工程落地"。

关键趋势：

• 推理效率优化：单步或少量步完成去噪的加速方法（如 Flow Matching）是当前热点。
• 真实机器人部署：从仿真走向真实机器人（Boston Dynamics、Franka 等）的应用案例逐步增加。
• Scaling RL：将语言模型的预训练+微调范式迁移到决策智能，Diffusion Policy 作为可扩展的策略表示是关键支撑。

总体而言，awesome-diffusion-model-in-rl 是该领域最系统的资源聚合之一，适合作为入门导航和持续追踪的起点。结合 OpenDILab 团队的相关工具链，可以从论文阅读平滑过渡到代码复现和研究创新。

---

项目地址：opendilab/awesome-diffusion-model-in-rl
Star: 1,626 | Fork: 78 | 维护方: OpenDILab