图1：ms-swift 项目横幅

ms-swift：大模型微调与部署的全栈开源框架

当你的模型「学坏了」，怎么办？

2025年初，DeepSeek-R1 发布后不久，开发者社区涌起一股微调热潮——有人想让模型学会用中文写代码，有人想让模型理解特定行业的专业术语，还有人想让AI助手带点独特的「性格」。然而现实是，大多数人面对的是一个令人沮丧的困境：GitHub上 Star 数万的模型，往往是别人微调好的成品，自己想要定制？对不起，要么花大价钱调用商业API，要么在代码的海洋里独自挣扎。

ModelScope 团队开发的 ms-swift（Scalable lightWeight Infrastructure for Fine-Tuning）就是为了解决这个痛点而生的。这是一个专注于大模型与多模态大模型微调（Fine-tuning）、推理、评估、量化、部署的全栈开源框架，目前支持 600+ 文本大模型 和 400+ 多模态大模型，涵盖 SFT、DPO、GRPO 等主流训练方法，并已在 AAAI 2025 发表论文。简单来说，ms-swift 就像一个「大模型健身房」——无论你的模型想练什么「技能」，它都能提供全套训练器械和科学指导。

图2：ms-swift Web-UI 训练界面，基于 Gradio 实现零门槛操作

背景：从实验室到生产线，ModelScope 的技术愿景

ms-swift 由 ModelScope（魔搭社区）团队开发和维护，背后是阿里巴巴达摩院在模型训练领域多年的技术积累。ModelScope 成立于 2022 年，是中国最大的开源模型社区之一，提供超过 7000 个开源模型。ms-swift 作为其官方微调工具，承担着「让大模型微调人人可及」的使命。

项目于 2024 年正式开源，不到两年时间已积累超过 14,000 个 GitHub Stars，Fork 数超过 1,500。2026年6月发布的 v4.0 主版本新增了 Megatron-Ray 支持 GRPO 和 GKD 训练，标志着框架在分布式训练领域迈入新阶段。

核心功能：一条命令搞定模型微调

ms-swift 的设计哲学是「最小化微调门槛」。用户只需准备好模型名称和数据集路径，即可通过一条 CLI 命令启动训练：

swift sft --model Qwen/Qwen3-4B-Instruct-2507 \
    --tuner_type lora \
    --dataset 'AI-ModelScope/alpaca-gpt4-data-zh#500' \
    --torch_dtype bfloat16 \
    --num_train_epochs 1 \
    --learning_rate 1e-4

训练完成后，同一套工具即可完成推理加速（vLLM/SGLang/LMDeploy）和模型导出（HuggingFace/魔搭）。整个流程无需切换工具链，极大降低了运维复杂度。

支持的训练方法

监督微调（SFT）：最基础的指令微调方法，通过标注数据让模型学会遵循指令。ms-swift 支持全参数微调和 LoRA/QLoRA 等轻量化方法，7B 模型在量化模式下仅需 9GB 显存，大幅降低硬件门槛。

人类对齐算法：包括 DPO（Direct Preference Optimization）、KTO（Kahneman-Tversky Optimization）、CPO、SimPO、ORPO 等多种偏好学习算法。其中 DPO 是目前最流行的离线强化学习方法，无需单独训练 Reward Model 即可实现人类偏好对齐。

强化学习 GRPO 系列：ms-swift 集成了丰富的 GRPO（Group Relative Policy Optimization）家族算法，包括标准 GRPO、DAPO、GSPO、SAPO、CISPO、CHORD、RLOO、Reinforce++ 等。这些算法让模型能够通过与环境交互持续优化策略，适用于需要复杂推理能力的任务（如数学解题、代码生成）。

轻量化微调：LoRA、QLoRA、DoRA、LoRA+、LLaMAPro、LongLoRA、LoRA-GA、ReFT、RS-LoRA、Adapter、LISA、NEFTune 等十余种方法，开发者可根据显存和效果需求灵活选择。

多模态与 Agent 支持

ms-swift 不仅支持纯文本模型，还深度支持多模态大模型（MLLM）训练：支持 Qwen3-VL、InternVL3.5、GLM4.5-V、DeepSeek-VL2、Llava、Ovis2.5 等主流多模态模型；支持图文混合打包训练，训练速度提升 100%+；支持 text/vit/aligner 独立控制，可针对特定模态单独微调。

Agent 训练也是 ms-swift 的特色功能之一。项目内置 agent_template 模块，支持 Agent 模板，用户可以用同一份数据集训练不同的模型，快速构建专属的 AI Agent。

分布式训练与加速

对于大规模训练场景，ms-swift 提供了多层次的分布式训练支持：

• Megatron 并行：支持 TP（Tensor Parallelism）、PP（Pipeline Parallelism）、CP（Context Parallelism）、EP（Expert Parallelism）等并行策略，MoE 模型训练速度可显著提升
• DeepSpeed ZeRO：支持 ZeRO2 和 ZeRO3 优化，可训练超长上下文（最高 1M tokens）
• 序列并行：Ulysses 和 Ring-Attention 技术，突破显存限制，支持超长序列训练
• Flash Attention 2/3：最主流的注意力机制高效实现，大幅减少显存占用
• Liger-Kernel：混合精度训练内核，进一步优化训练效率

推理、评估与量化

微调只是第一步，ms-swift 的全流程覆盖还包括：

推理加速：集成 Transformers 原生推理、vLLM、SGLang、LMDeploy 四大推理引擎，提供 OpenAI 兼容接口。训练完成的模型可直接用加速引擎部署，无需额外适配。

模型评估：以 EvalScope 为后端，支持 100+ 评估数据集，覆盖文本和多模态模型的全面评测。

量化导出：支持 AWQ、GPTQ、FP8、BNB 等量化方案，导出的模型可直接用 vLLM/SGLang/LMDeploy 加速推理。

技术架构：模块化设计，职责清晰

ms-swift 的代码仓库采用标准的 Python 包结构，swift/ 目录下包含 30+ 子模块：

• trainers/：训练器模块，包括 Seq2SeqTrainer、EmbeddingTrainer、RerankerTrainer 等
• rlhf_trainers/：强化学习训练器，DPO/GRPO/PPO/KTO 等算法实现
• tuners/：轻量化微调方法，LoRA、QLoRA、DoRA、ReFT 等
• infer_engine/：推理引擎封装，vLLM/SGLang/LMDeploy
• template/：模型模板系统，统一处理不同模型的输入输出格式
• ui/：Gradio Web-UI 模块，含 llm_train/llm_infer/llm_eval/llm_export/llm_grpo 等子模块
• hub/：模型和数据加载，支持 ModelScope 和 HuggingFace 双生态
• dataset/：数据集处理与格式化
• megatron/、ray/：分布式训练支持

核心依赖包括：transformers、peft、trl（Transformers Reinforcement Learning）、accelerate、gradio、vLLM/SGLang/lmdeploy 等主流 ML 生态。框架对 transformers 版本有严格限制（>=4.33,<5.13.0），对 PyTorch 版本要求 >=2.0。

上手体验：Python API vs CLI vs Web-UI

ms-swift 提供三种使用方式，适合不同技术背景的用户：

CLI 方式：最灵活，推荐有一定大模型经验的开发者。通过 swift sft、swift rlft、swift infer、swift export 等子命令完成训练到部署全流程。命令行参数丰富，可精细控制训练策略。

Python API 方式：适合集成到现有项目中。提供 get_model_processor()、get_template()、TransformersEngine 等接口，可将 ms-swift 的能力嵌入到自定义训练 pipeline 中。

Web-UI 方式：零门槛，通过 Gradio 界面操作。上传数据集、选择模型、配置参数、启动训练均可通过图形界面完成。执行 SWIFT_UI_LANG=en swift web-ui 即可启动。

争议与局限

ms-swift 并非完美，在实际使用中也有需要注意的局限：

文档质量参差不齐：虽然文档目录丰富（docs/source_en/ 和 docs/source/ 分别对应英文和中文），但部分页面内容较为简略，复杂的分布式训练场景（如 Megatron 多机配置）需要参考源码或社区讨论才能理清。

对 ModelScope 的强依赖：默认使用 ModelScope 下载模型和数据集。虽然可通过 --use_hf true 切换到 HuggingFace，但某些功能在 HuggingFace 模式下不可用。对于完全不想接触 ModelScope 生态的用户，存在一定的迁移成本。

版本兼容性压力：框架对 transformers、peft、trl 等核心依赖有严格版本约束。当上游库频繁更新时，用户可能需要等待 ms-swift 同步适配。

行业意义：降低大模型定制化的最后一公里门槛

ms-swift 的出现代表着大模型工具链的一个重要趋势——从「能用」到「好用」。在它之前，开发者微调一个大模型需要分别解决模型加载、数据集格式化、训练策略选择、推理部署等七八个环节的问题。ms-swift 通过统一入口和端到端流程，将这个过程压缩到了几条命令。

从 Growth 趋势看，项目 Stars 从 2024 年的几千增长到 2025 年底的 14,000+，是 GitHub 上增长最快的 LLM 微调框架之一。与同赛道的 LLaMA-Factory 相比，ms-swift 的优势在于 ModelScope 生态的深度整合和对强化学习（GRPO 系列）的原生支持；而 LLaMA-Factory 则在纯 HuggingFace 生态和更轻量的部署上更有优势。两者不是非此即彼的关系，开发者可根据自身技术栈选择。

随着 2026 年 v4.0 引入 Megatron-Ray 支持和更多 RL 算法，ms-swift 正在从「微调工具」向「RLHF 全栈平台」演进，这与大模型从「生成」向「推理」演进的大趋势高度吻合。