富士通 One Compression：让大模型"轻装上阵"的量化压缩工具

一款工具，解决大模型部署的所有"体重焦虑"

想象一下：你千辛万微调了一个 70B 参数的大模型，效果拔群，但想把它部署到服务器上时，发现显存不够、内存爆掉、加载一次要等三分钟——这是每一位 LLM 应用开发者都曾面对的痛。

Fujitsu One Compression（以下简称 OneComp） 正是为解决这一困境而生。它是日本富士通研究院开源的 Python 量化压缩库，GitHub 累计获得 393 颗星，用一行命令就能把庞大的 FP16 模型压缩成 INT4 甚至更低比特的紧凑形态，同时最大限度保留模型精度。

图1：OneComp 工作流程——从模型加载到量化压缩，一气呵成

---

从学术界到工业界：量化压缩的演进之路

大语言模型的参数规模从亿级增长到千亿级，推理成本随之飙升。量化（Quantization）作为模型压缩的核心手段，通过将 FP32/FP16 权重映射到低位整数（如 INT4、INT3），实现模型体积减半甚至更多，同时显著加速推理。

传统的量化方法存在一个根本矛盾：量化误差会逐层累积、向前传播，最终导致模型精度大幅下降。学术界为此提出了多种优化路线，OneComp 的核心贡献在于将两条前沿路线——**QEP（量化误差传播）**和 LPCD（层投影坐标下降）——产品化落地，同时兼容 GPTQ、DBF、RTN 等主流量化算法，形成了一套完整的工具链。

背后的学术支撑相当硬核：QEP 方法由 Arai & Ichikawa 提出，发表于 NeurIPS 2025；LPCD 由 Ichikawa 等人提出，论文收录于 arXiv (2512.01546)。一个开源库同时承载两篇顶会级研究成果，这在学术界并不常见。

---

核心功能拆解：量化界的"瑞士军刀"

OneComp 的设计哲学是**"一行命令，全自动"**——用户无需理解底层量化原理，只需提供模型名称，工具自动完成检测硬件、选择位宽、量化、评估、保存的全流程。

1. onecomp 一键量化（AutoBit + QEP）

这是 OneComp 最具吸引力的特性。只需一条命令：

onecomp meta-llama/Llama-2-7b-hf

背后的逻辑是：

• AutoBit：利用整数线性规划（ILP），根据可用显存自动为每一层分配最优位宽。在 8GB 显存约束下，系统会算出每个 Transformer 层的最佳比特分配（如 QKV 层用 4-bit，MLP 层用 3-bit），比统一用某一固定比特数精度损失更小。
• QEP（量化误差传播）：传统逐层量化时，前面层的量化误差会传递到后层并放大。QEP 通过反向传播误差修正后续层的权重，将误差"消化"在传播路径中。
• 自动困惑度（Perplexity）和零样本准确率评估。

从 Python 调用同样简洁：

from onecomp import Runner
Runner.auto_run(model_id="meta-llama/Llama-2-7b-hf")

2. 多种量化算法并行支持

OneComp 并不绑定单一算法，而是将多种量化方法统一封装为 Quantizer 接口：

量化器	位宽	说明
GPTQ	2-4 bit	Hessian 矩阵最优舍入，精度高，速度慢
DBF	~1.5 bit	双二进制分解，超低位宽
RTN	任意	最近舍入，基准方法
AutoBit	混合	ILP 动态分配，显存自适应
JointQ	任意	权重与缩放因子联合优化
QBB/QuIP/ARB/CQ	任意	学术界前沿方法

这种设计让用户可以在同一套代码框架下对比不同算法的效果，降低了算法选型的实验成本。

3. LPCD：子模块联合优化

Layer-Projected Coordinate Descent（LPCD）突破了传统 layer-wise 量化的局限，将相关的线性层组（如 Q/K、V/O、MLP up/down）联合建模，通过投影坐标下降迭代优化，比独立量化每层精度更高。

from onecomp import GPTQ, LPCDConfig, Runner
runner = Runner(
    model_config=model_config,
    quantizer=GPTQ(wbits=3, groupsize=128),
    qep=True,
    lpcd=True,
    lpcd_config=LPCDConfig(),
)
runner.run()

4. vLLM 插件：量化模型直接推理

量化后的模型如何高效推理？OneComp 提供了 vLLM 插件生态：GPTQ/JointQ/RTN 模型使用 vLLM 内置 GPTQ 插件，DBF 和 Mixed-GPTQ 则通过 OneComp 自研插件接入。结合 Open WebUI，用户可以在本地搭建类 ChatGPT 的对话界面。

5. Web Dashboard：可视化任务管理

OneComp 还附带了一个可选的 Web Dashboard，基于 FastAPI（后端）+ React + TypeScript（前端）构建。用户可以在浏览器中提交量化任务、查看进度、管理结果。Dashboard 使用 Celery 异步任务队列处理长时间运行的量化任务。

图2：OneComp Web Dashboard，支持量化任务可视化提交与进度追踪

图3：OneComp 官方品牌标识

---

代码架构：高度模块化的工业级设计

OneComp 的代码结构清晰分层，体现了工程化思维：

onecomp/
├── runner.py          # 核心调度器，管理量化全流程
├── quantizer/         # 多种量化器实现（GPTQ/DBF/RTN/AutoBit/JointQ/...）
│   ├── gptq/          # GPTQ 量化器
│   ├── dbf/           # 双二进制分解
│   ├── autobit/       # AutoBit（ILP 位宽分配）
│   └── jointq/        # JointQ 联合优化
├── qep/               # 量化误差传播实现
├── lpcd/              # LPCD 层投影坐标下降
├── calibration/       # 校准数据集加载（C4/Wikitext/自定义）
├── pre_process/       # 旋转矩阵预处理（Hadamard 变换）
├── post_process/      # 量化后处理（Block-wise PTQ、Lora SFT）
└── eval/              # 评估框架（MT-Bench、吞吐量测试）

vllm_plugins/          # vLLM 推理插件
├── dbf/               # DBF 插件
└── gptq/              # Mixed-GPTQ 插件

dashboard/             # 可选 Web UI
├── backend/           # FastAPI + Celery
└── frontend/          # React + TypeScript

核心抽象是 Runner 类和 Quantizer 抽象基类。Runner 负责加载模型、管理量化流程、调度多 GPU；Quantizer 定义了统一接口（quantize()、save()），每种算法独立实现。这种设计使得添加新量化算法只需实现 Quantizer 子类，无需修改核心逻辑。

测试覆盖相当全面：tests/ 目录下有大量单元测试和集成测试，涵盖量化正确性、回归测试、多 GPU 场景、分布式训练等。

---

上手门槛：CLI 极简 vs API 深度定制

对于普通用户，CLI 是最友好的入口——一条命令全自动完成，适合快速验证量化效果。

对于研究者/开发者，OneComp 提供了精细的控制粒度：可以单独配置量化器参数（wbits、groupsize）、校准数据集、QEP/LPCD 开关、多 GPU 策略等。Python API 比 CLI 更灵活，支持分步执行（预处理 → 量化 → 后处理），方便在流水线中集成。

硬件门槛是主要限制：量化过程本身需要大量显存（通常 8GB+），macOS 需 Apple Silicon（MPS 后端支持但功能受限）。

---

争议与局限：量化不是银弹

1. 精度-压缩率的永恒博弈：即使有 QEP 和 LPCD 加持，极低比特（如 2-bit 以下）量化仍会显著损害模型能力，尤其是需要精确推理的任务。
2. Python 生态的依赖负担：依赖链较长（transformers、accelerate、gemlite、hqq、ortools 等），Python 3.12/3.13 版本锁定，升级时可能出现兼容性问题。
3. 量化速度与效果难以兼得：AutoBit 使用 ILP 求最优解，大模型时计算开销不小；GPTQ 精度高但逐层处理耗时长。
4. 没有 Docker 一键部署：对比许多开源 AI 项目，OneComp 没有提供 Dockerfile，对于不熟悉 Python 环境配置的用户来说存在一定门槛。

---

行业意义：让大模型"用得起"

OneComp 的出现体现了当前 LLM 部署领域的一个大趋势：量化工具链的专业化和产品化。从早期的简单 RTN 量化，到如今 GPTQ+AutoBit+QEP 的组合拳，量化技术正在从学术研究走向可工程化的实用工具。

随着 MMLU、MMLU-Pro 等基准测试成为 LLM 评测标准，量化工具对精度保持的能力越来越受到重视。OneComp 同时支持学术前沿（QEP、LPCD）和工业实用（vLLM 插件、AutoBit）的设计思路，使其在同类型工具中具备差异化竞争力。

从增长角度看，LLM 的部署需求只会持续增加，量化作为性价比最高的压缩手段，OneComp 这类工具的生态价值值得关注。

---

总结：OneComp 是当前最完整的开源 LLM 量化工具之一，核心优势在于 AutoBit 自动化位宽分配 + QEP 误差传播纠错 + vLLM 无缝推理，适合有 GPU 资源且需要在本地部署大模型的开发者和研究人员。

---

数据来源：GitHub (FujitsuResearch/OneCompression)、项目文档及源码分析 | 分析时间：2026-06-26