PaddleFormers：百度飞桨大模型训练库深度解析

当你的显卡足够多：大模型训练的新选择

想象一下，你需要训练一个拥有数千亿参数的大语言模型——这不是普通开发者能触及的场景，却是百度 PaddleFormers 项目诞生的直接背景。当 OpenAI、Meta、Google 相继开源自己的训练框架，百度也给出了自己的答案：基于飞桨（PaddlePaddle）深度学习框架的 PaddleFormers。它瞄准的，是国内开发者最熟悉、使用门槛相对最低的大模型训练工具链。

2026年3月，PaddleFormers v1.1 正式发布，支持 GLM-4.5 系列模型的单步与多步 MTP（Multi-Token Prediction）训练能力；2026年1月 v1.0 首次亮相即支持 DeepSeek-V3、GLM-4.5-Air 等重磅模型，并公开宣称在训练性能上明显超越业界标杆 Megatron-LM。

项目背景：百度飞桨生态的关键拼图

PaddlePaddle（飞桨）是百度自研的深度学习框架，在国内工业界拥有大量用户基础。然而，当大模型时代到来，开发者们普遍面临一个尴尬局面：飞桨生态缺乏一个对标 Hugging Face Transformers 的模型训练库。PaddleFormers 正是为了填补这一空白而诞生的。

从 GitHub 数据来看，该项目已收获超过 12,900 颗星、2,100+ 次 forks、225 个 open issues——这说明社区活跃度相当高，不是一个被废弃的"僵尸项目"。项目采用 Apache-2.0 开源许可证，代码贡献来自百度内部团队和社区开发者。

PaddleFormers 的核心定位非常清晰：在 PaddlePaddle 生态内，提供与 Hugging Face Transformers 对等的模型接口和训练功能体验。它不是简单的模型权重转换工具，而是一个完整的训练框架，包含从数据处理到模型训练再到权重导出的全流程能力。

技术架构：模块化的分布式训练框架

PaddleFormers 的代码结构体现了清晰的模块化设计理念。核心模块包括：

• transformers 模块：模型实现核心，对标 Hugging Face Transformers，提供各类 LLM/VLM 的网络结构实现
• trainer 模块：训练流程控制，包含分布式训练调度、混合精度、梯度累积等
• peft 模块：参数高效微调（LoRA 等），降低微调成本
• quantization 模块：模型量化支持
• mergekit 模块：模型合并工具
• data 模块：数据处理和 Data Packing 优化
• generation 模块：推理生成能力
• cli 模块：命令行工具入口
• triton_kernels 模块：Triton 自定义算子，性能优化

这种架构设计让不同需求的用户可以各取所需：只想微调一个模型的开发者只需关注 trainer + peft 模块；需要进行模型架构研究的开发者则可以深入 transformers 模块。

核心功能：从预训练到后训练的完整链路

分布式训练：多维度并行策略

大模型训练的核心挑战在于算力扩展。PaddleFormers 全面支持三种主流分布式训练策略：

1. 张量并行（Tensor Parallelism, TP）：将模型参数按维度切分到多张显卡，解决单卡显存不足的问题
2. 流水线并行（Pipeline Parallelism, PP）：将模型按层切分到多张显卡，适合超深模型
3. 专家并行（Expert Parallelism, EP）：针对 MoE（混合专家）架构的并行策略

结合 FP8 低精度训练、自动混合精度（AMP）、通信计算重叠优化等特性，PaddleFormers 在 DeepSeek-V3 和 GLM-4.5-Air 等模型上的训练性能据称明显超越 Megatron-LM。虽然这类对比数据来自百度官方，但考虑到飞桨团队在国产计算平台的深度优化积累，这一说法有其合理性。

后训练能力：SFT/DPO 全覆盖

完成预训练后，PaddleFormers 支持完整的后训练流程：

• CPT（Continued PreTraining）：持续预训练，在特定领域数据上继续预训练
• SFT（全参监督微调）：Full-parameter Supervised Fine-Tuning，全参数更新
• SFT-LoRA：LoRA 方式的监督微调，大幅降低显存需求
• DPO（Direct Preference Optimization）：直接偏好优化，无需显式 Reward Model
• DPO-LoRA：LoRA 方式的 DPO

国产芯片适配：自主可控的野心

值得注意的是，PaddleFormers 对国产计算芯片做了深度适配：

• 昆仑芯 P800：128卡集群支持 DeepSeek V3 的 SFT，声称是"最少国产算力资源后训练方案"
• 天数天垓150：适配支持
• 沐曦 C550：适配支持

这体现了百度在 AI 基础设施自主可控方面的战略考量。对于无法获取 NVIDIA 高端 GPU 的国内机构和企业，PaddleFormers 提供了一条可行的本地训练路径。

Function Call 与前沿能力支持

除了常规训练能力，PaddleFormers 还实现了大模型前沿能力的训练支持：

• Function Call：让模型学习调用外部工具的能力，这是当前 Agent 系统的核心技术之一
• Thinking：思维链推理能力训练，提升模型的复杂推理表现
• Data Packing：将多个训练样本打包到同一序列中，减少 padding 开销
• Padding Free：进一步优化训练效率

部署体验：命令行驱动的专业工具

PaddleFormers 提供了完整的命令行工具 paddleformers-cli，通过子命令驱动训练和导出流程：

# 训练（精调）
paddleformers-cli train ./config/sft/lora.yaml

# 导出（LoRA 权重合并）
paddleformers-cli export --model_name_or_path /path/to/model --output_dir /path/to/lora_ckpt

模型导出后自动转为 Safetensors 格式，与 Hugging Face 生态完全兼容。这意味着训练好的模型可以直接被 vLLM、SGLang、FastDeploy 等推理框架使用。

PaddleFormers 支持从 Hugging Face、ModelScope、AI Studio 三个源下载模型权重，通过设置 DOWNLOAD_SOURCE 环境变量切换。

使用门槛：专业开发者的工具

PaddleFormers 的目标用户是具备以下条件的开发者：

• 熟悉 Python 和深度学习
• 有多卡 GPU 集群或单卡 16GB+ 显存
• 需要对大模型进行训练/微调，而非仅做推理
• 愿意使用 PaddlePaddle 生态（而非 PyTorch）

对于普通 AI 爱好者，PaddleFormers 不是一个"开箱即用"的项目——它要求用户有一定的分布式训练背景和对 YAML 配置文件的理解能力。但对于有需求的开发者来说，它的 CLI 设计降低了使用门槛，配置文件驱动的训练流程比纯代码调用更易维护。

行业意义与局限性

优势与机遇

1. 生态完整性：PaddlePaddle 在国内工业界的既有用户群是 PaddleFormers 的天然市场
2. 国产化适配：对昆仑芯等国产芯片的支持，契合国内自主可控需求
3. 性能优化：据称在部分模型训练上优于 Megatron-LM（需实际验证）
4. 全流程覆盖：从预训练到 DPO，覆盖大模型训练全生命周期

局限与挑战

1. PyTorch 生态割裂：大模型社区的主流工具链（vLLM、SGLang 等）基于 PyTorch，PaddlePaddle 模型需要额外转换步骤
2. 文档成熟度：相比 Hugging Face Transformers 的海量教程，PaddleFormers 的社区资源仍处于早期积累阶段
3. 推理支持有限：目前主要聚焦训练，推理性能优化工具链不如训练完善
4. 用户门槛较高：分布式训练配置对新手不友好

结语

PaddleFormers 是百度在大模型时代给出的训练框架答卷。它的核心价值不在于"替代 PyTorch 生态"，而在于为 PaddlePaddle 生态用户提供了一条完整的大模型训练路径。对于已经在使用飞桨的团队，它是一个值得认真考虑的选择；对于其他开发者，理解 PaddleFormers 的设计思路也有助于把握大模型训练的工程实践前沿。