LLaDA：扩散模型挑战自回归，8B规模比肩LLaMA3

想象一个能像画家一样"从模糊到清晰"生成文字的AI——它不像传统模型那样一个字一个字地往外蹦，而是像魔法擦除布一样，把遮住的文字一点一点还原出来。这就是 LLaDA（Large Language Diffusion with Masking）带给我们的震撼。

2025年2月，来自 ML-GSAI 的研究团队发布了 LLaDA，这是全球首个从零训练的 8B 规模大语言扩散模型。在 benchmarks 评测中，LLaDA-8B 的表现已经可以与 LLaMA3 8B 相媲美——要知道，LLaMA3 可是整个开源社区公认的顶级自回归语言模型。LLaDA 用扩散概率建模（diffusion）替代了传统自回归（autoregressive）建模，证明了：AI 理解语言的能力，并不一定要依赖"一个字接一个字"的生成方式。

🔬 它在做什么：扩散模型做语言生成

主流大语言模型（如 GPT、LLaMA）几乎无一例外地采用自回归（Autoregressive）建模：从左到右，逐词预测下一个token。这条路线已经走得非常成功，但也有人认为它存在瓶颈——无法并行、推理速度受限。

LLaDA 换了一条路。它采用**掩码扩散（Masked Diffusion）**框架：训练时，随机遮住句子中的某些词，让模型学会预测被遮住的内容；生成时，从全部是 MASK token 的状态开始，通过多步去噪，逐步还原出完整的文本。

这种方法的数学形式上，训练目标是负对数似然的上界，这使得 LLaDA 天然具有Fisher 一致性——当模型和数据规模足够大时，模型的最优解就是真实分布。这与自回归模型的理论性质一致，从而在规模扩展上不存在根本性障碍。

🚀 核心功能：不止是对话

基础模型 vs 指令微调模型

LLaDA 提供了两个版本：

• LLaDA-8B-Base：基础预训练模型，在文本补全、推理任务上表现出色
• LLaDA-8B-Instruct：指令微调版，具备对话和指令跟随能力

两个版本均托管在 HuggingFace，可直接加载使用。

多轮对话与指令跟随

经过 SFT（监督微调）后，LLaDA 展现出令人惊喜的指令跟随和多轮对话能力。FAQ 中提到，LLaDA 能够处理数学推理（甚至可以先给出答案再生成中间步骤），这说明模型的推理过程是完整的，只是在生成顺序上与人类阅读习惯不同。

生态扩展：从语言到多模态

LLaDA 的发布只是一个开始。团队在2025年持续迭代：

• LLaDA-V（2025.05）：视觉-语言多模态版本，在多模态理解任务中达到 SOTA
• LLaDA 1.5（2025.05）：引入 VRPO（方差减少策略优化），提升偏好对齐能力
• LLaDA-MoE-7B（2025.09）：首个从零训练的稀疏化混合专家架构，仅需 ~1B 活跃参数即可超越 LLaDA 1.5（密集模型）

图3：LLaDA 去噪重掩码过程可视化——非白色区域为模型正在生成的内容，白色区域为当前步骤的预测

⚙️ 技术细节

网络架构

LLaDA 底层使用标准 Transformer 架构（与 GPT 系列相同），但在概率建模层面做了根本性改变：

• 前向过程（Forward）：逐步随机掩码 token，最终所有 token 被掩码
• 反向过程（Reverse）：多步去噪，逐步还原 token 序列
• 掩码比率：采用 0~1 随机变化（而非 BERT 的固定 15%），这是成为生成式模型的关键
• 分类器无关引导（CFG）：参考 SMDM 的无监督 CFG 方法，显著提升下游任务表现

采样效率与挑战

LLaDA 坦诚地承认了当前瓶颈：采样速度比自回归模型慢，主要因为：

1. 采用固定上下文长度生成（无法流式）
2. 暂时无法利用 KV-Cache 等加速技术
3. 最优步数 = 响应长度，步数减少性能会下降

但团队认为这是正常的"探索上限"阶段，正如图像扩散从 DDPM 到 Consistency Model 的4年加速历程一样，采样效率的优化值得期待。Block Diffusion 和 Consistency Distillation 已经是被看好的方向。

训练稳定性

在 2.3T tokens 的完整预训练过程中，只遇到一次训练崩溃（loss=NaN，发生在 1.2T tokens 处），解决方案是从检查点恢复并降低学习率（4e-4 → 1e-4）。整体训练相当稳定。

依赖与部署

• 核心依赖：transformers==4.38.2（必须精确版本）
• 推理：generate.py（条件生成）、get_log_likelihood.py（困惑度评估）
• 交互：chat.py（命令行多轮对话）、app.py（Gradio Web 界面）
• 评测：支持 lm-evaluation-harness、OpenCompass
• 硬件：推荐 NVIDIA GPU + bfloat16，显存需求 ~16GB

💻 如何上手

方式一：在线 Demo（零门槛）

HuggingFace Spaces 提供了交互式 Demo，打开浏览器即可体验 LLaDA-8B-Instruct 的对话能力，无需任何安装。

方式二：Gradio 本地部署

pip install gradio
python app.py  # 启动本地 Gradio 服务

浏览器访问 http://localhost:7860 即可使用图形界面。

方式三：命令行对话

python chat.py  # 直接进入多轮对话交互

⚠️ 局限与争议

1. 采样速度：当前生成速度显著慢于同规模自回归模型，不适合对延迟敏感的场景
2. 身份问题：模型在某些情况下会"认错自己"（比如自称"Bailing"），因为训练数据直接来自自回归模型，其中包含了身份标记
3. 推理顺序：数学推理时答案可能先于中间步骤出现（由重掩码机制导致），这在用户体验上是反直觉的
4. 无训练代码：团队未开源预训练和 SFT 的完整框架，仅提供指南和参考 SMDM 项目

🌟 行业意义

LLaDA 的意义不只是"又一个开源模型"，而是一次范式层面的挑战。长期以来，业界几乎默认"要达到 LLM 级别能力，就必须用自回归"。LLaDA 用 8B 规模证明了：即使在语言建模这种离散序列生成任务上，扩散模型也可以做到与自回归相当的水平。

更值得关注的是它的快速迭代能力——从 Base 模型到 Instruct、V、1.5、MoE 只用了不到一年，且每次都在不同方向突破。这说明 LLaDA 背后的团队具备持续推进的工程能力。

未来，随着采样加速技术的成熟（比如 Consistency Distillation），扩散语言模型有望在保持高质量输出的同时，推理速度逐步逼近甚至超越自回归模型。这条路，才刚刚开始。