ms-swift：大模型微调与部署的全家桶框架

图1：ms-swift 项目 banner，展示了其作为 ModelScope 官方大模型微调框架的定位

一、一个普通开发者的微调噩梦，ms-swift 如何解决

2025年，如果你想用自己的数据微调一个 Qwen3-8B 模型，你会遇到什么？

光是环境配置就让人头疼：CUDA 版本要匹配、Transformers 版本要兼容、LoRA 参数不知道填多少、DeepSpeed 配置复杂得像天书，好不容易跑起来，显存又爆了，好不容易不爆了，训练出来的模型效果一塌糊涂——因为你根本不知道梯度累积设多少合适，也不知道学习率调度怎么做。

这并不是个例。几乎所有初次接触大模型微调的开发者，都经历过类似的新手墙。而 ms-swift（ModelScope Swift） 的出现，就是为了把这堵墙彻底拆掉。

ms-swift 是阿里巴巴 ModelScope 社区开源的大模型微调与部署框架，核心目标是用一个工具覆盖大模型从微调到推理的全流程。它不追求极致的底层优化，而是追求让普通开发者也能快速上手的极致体验。截至目前，ms-swift 已支持超过 600 个纯文本大模型和 400 个多模态大模型，GitHub 获得超过 1.4 万颗星，并在 AAAI 2025 发表了相关论文。

图2：ms-swift 微信交流群二维码，用户社区活跃

二、为什么你需要 ms-swift：5 个无法拒绝的理由

1. 模型支持：几乎涵盖了所有主流大模型

ms-swift 的模型覆盖范围是其最大优势之一。它不仅支持 Qwen（全系列）、DeepSeek-R1、InternLM3、GLM4.5、Llama4、Mistral 等主流开源模型，还提供 Day-0 支持——即这些模型刚发布，ms-swift 就能跑。这背后是 ModelScope 社区与模型作者团队的紧密合作。

多模态方面，Qwen3-VL、Qwen3-Omni、InternVL3.5、LLaVA、DeepSeek-VL2、Ovis2.5 等模型同样在支持列表中。这意味着无论是做文本生成、视觉问答还是语音交互，ms-swift 都能提供统一的下游任务解决方案。

对于 AI 爱好者而言，这意味着你不需要为每个新模型单独学习一套微调流程——一套 ms-swift 命令，换个模型参数就能复用。

2. 内置 150+ 预置数据集，一键训练

传统微调流程中，数据准备往往是最耗时的环节：需要把数据转成特定格式、考虑对话模板、处理好系统消息和用户输入的边界。ms-swift 内置了超过 150 个预置数据集，涵盖预训练、有监督微调（SFT）、人类对齐（RLHF）、多模态等多个任务类型。

用户只需指定 --dataset 参数，ms-swift 自动完成数据下载、格式转换和对话模板匹配。以 Quick Start 为例，一条命令即可完成 Qwen3-4B 的 10 分钟微调：

CUDA_VISIBLE_DEVICES=0 swift sft \\
    --model Qwen/Qwen3-4B-Instruct-2507 \\
    --tuner_type lora \\
    --dataset 'AI-ModelScope/alpaca-gpt4-data-zh#500' \\
    --torch_dtype bfloat16 \\
    --num_train_epochs 1 \\
    --per_device_train_batch_size 1 \\
    --learning_rate 1e-4 \\
    --lora_rank 8 \\
    --output_dir output

这条命令在单张 RTX 3090 上即可运行，显存需求约 13GB，适合有消费级 GPU 的开发者入门。

3. 最全的训练算法库：从 LoRA 到 GRPO 全覆盖

这是 ms-swift 最硬核的部分。框架同时支持轻量微调和全参数微调两大类方法：

• 轻量微调：LoRA、QLoRA、AdaLoRA、DoRA、GaLore、适配器方法等
• 全参数微调：支持 Megatron 框架的 TP（张量并行）、PP（流水线并行）、CP（上下文并行）、EP（专家并行）等多种并行策略

更重要的是，ms-swift 集成了当前最热门的 RLHF 算法家族：

• GRPO（Group Relative Policy Optimization）：DeepSeek 系列模型的核心训练方法
• DPO（Direct Preference Optimization）：不需要显式奖励模型的偏好学习方法
• KTO（Kullback-Leibler divergence with a Target distribution）：基于人类知识的对齐方法
• SimPO、CPO、ORPO 等偏好学习变体
• Reinforce++、RLOO、DAPO、GSPO、SAPO、CISPO 等前沿强化学习算法

此外还支持 Embedding 模型微调、Reranker 训练和序列分类任务，几乎覆盖了 NLP 领域所有主流训练范式。

4. 推理加速与量化：一套框架，从训练到部署

ms-swift 不只是训练工具，它还提供推理加速、模型量化和部署的一体化支持：

• 推理加速引擎：支持 Transformers 原生推理、vLLM、SGLang、LMDeploy 四种后端，兼容 OpenAI 接口标准
• 模型量化：支持 GPTQ、AWQ、BNB（bitsandbytes）、FP8 四种量化方式，导出的量化模型可直接被 vLLM/SGLang/LMDeploy 加载推理
• Web UI：提供可视化界面，支持训练、推理、评估和量化操作，降低使用门槛

对于希望快速验证微调效果的开发者，ms-swift 支持 swift sft 训练完成后直接 swift merge-lora 合并权重，再通过 vLLM 加速推理，整个流程不需要切换工具。

5. 硬件兼容：不仅限于 NVIDIA

ms-swift 的硬件支持范围也值得关注。它不仅支持 NVIDIA A10/A100/H100/RTX 3090/RTX 4090 等主流 GPU，还支持：

• 昇腾 NPU（华为 Ascend）：国内政企场景的重要选项
• Apple MPS：在 Mac 上用 Metal 加速训练
• CPU：仅用于推理和小规模实验

这种多硬件兼容策略，使得 ms-swift 特别适合需要在国产硬件上部署大模型的场景。

三、上手体验：快到令人意外

ms-swift 的安装非常简单，一行 pip 命令即可完成：

pip install ms-swift -U

如果遇到依赖冲突，推荐使用 uv 作为包管理器：

uv pip install ms-swift -U --torch-backend=auto

安装完成后，有三种使用方式：

1. CLI（推荐）：通过 swift sft、swift rlft、swift infer 等命令行操作，适合有经验的开发者。参数说明文档非常详细，几乎每个参数都有默认值和推荐值。

2. Web UI：通过 swift web-ui 启动 Gradio 界面，在浏览器中可视化配置训练和推理参数，对新手更友好。

3. Python API：在 Python 代码中直接调用 Swift 的类和方法，适合集成到现有项目中。

四、局限性：不是银弹

ms-swift 也不是完美的。首先，没有 Docker 镜像，对于需要在服务器上快速部署隔离环境的团队来说，需要自己编写 Dockerfile。其次，训练显存需求不低——全参数微调 7B 模型需要 80GB+ 显存，LoRA 微调虽然降低到 13GB 左右，但 13B 以上的模型仍然需要多卡。

此外，框架的功能非常丰富，但文档组织稍显混乱，新用户在首次使用时可能需要在多个页面之间跳转才能找到想要的配置说明。好在 ModelScope 社区有活跃的微信群和钉钉群，遇到问题可以快速获得反馈。

在代码质量方面，由于要同时支持如此多的模型和训练方法，框架内部耦合度较高，二次开发门槛不低——如果你想基于 ms-swift 开发新的训练算法，需要对其模块化架构有一定了解。

五、行业意义：大模型民主化的重要推手

ms-swift 的价值不仅在于工具本身，更在于它降低了整个大模型生态的门槛。

过去两年，大模型微调工具市场经历了从百花齐放到逐渐收敛的过程。早期每个模型家族都有自己的微调脚本和工具链——LLaMA-Factory、AlpacaFarm、DeepSpeed-Chat 各自为战。ms-swift 的出现，代表了一种大一统的思路：用一套框架覆盖尽可能多的模型和任务，减少开发者的学习成本和切换成本。

从数据看，ms-swift 1.4 万星的增长曲线也印证了市场对其一站式定位的认可。其 AAAI 2025 论文的发表，也说明学术界对其技术创新给予了认可。

对于中国 AI 生态而言，ms-swift 还有一个特殊意义：它是 ModelScope 社区的核心项目，背后有阿里巴巴的持续投入。这意味着它的长期维护有保障，不会像很多个人开源项目那样随着作者离职而逐渐失活。

图3：ms-swift Discord 社区，用户遍布全球

六、总结：谁适合用 ms-swift？

如果你符合以下任意一种场景，ms-swift 值得尝试：

• 想快速用自有数据微调开源大模型（Qwen、DeepSeek、LLaMA 等），不想折腾环境配置
• 需要同时管理多个模型的训练和部署流程，希望统一工具链
• 在昇腾 NPU 等国产硬件上部署大模型（国内独有优势）
• 对 GRPO、DPO 等对齐算法有研究需求，需要完整的实验平台
• 希望用 Web UI 快速验证模型效果，降低团队使用门槛

如果你追求的是极致轻量（只微调一个模型，不需要那么多功能）或极致性能（需要修改框架底层实现），ms-swift 可能不是最优选择。此时可以看看 LLaMA-Factory（更轻量）或直接用 Megatron-LM（更底层）。

总体而言，ms-swift 是当前中文开源生态中功能最全面、模型覆盖最广、社区最活跃的大模型微调框架。它不一定是每个场景的最优解，但绝对是最稳妥的一站式选择。