FusionBench：深度模型融合的全方位基准测试平台

背景故事：当多个AI模型必须"合三为一"

想象你训练了三个AI模型——一个擅长识别猫，一个擅长识别狗，还有一个在识别鸟类上准确率最高。在传统机器学习中，如果你想让一个模型同时做好这三件事，通常需要从头再训练一遍，既耗时又耗力。

FusionBench 正是为解决这个痛点而生。它提出了一个根本性问题：能不能把多个已经训练好的神经网络，"融合"成一个统一的模型，同时保留每个模型在各自领域的专长？

这个问题在大型语言模型（LLM）时代变得尤为紧迫。LoRA、QLoRA 等高效微调方法让我们能快速训练出针对不同任务的专用模型，但如何将这些专精模型合并回一个通用模型，一直缺乏统一的评估标准。FusionBench 由作者 Anke Tang 提出，并在 arXiv 2406.03280 发表后迅速获得关注。

核心功能：覆盖四种融合场景的基准测试

FusionBench 的设计覆盖了深度模型融合的四大核心场景：

1. 模型合并（Model Merging）

将多个针对不同任务微调的模型权重直接融合，目标是新模型在所有任务上都有良好表现。这是最直观也是最常用的融合方式。

2. 模型集成（Model Ensemble）

对多个模型的预测结果进行加权平均或投票，FusionBench 支持灵活配置集成策略。

3. 模型混合（Model Mixing）

探索不同模型隐藏层表征的线性组合，寻找最优的权重插值方式。

4. 模型升级（Model Upscaling）

通过融合小模型来构造性能更强的大模型，探索模型能力的边界。

多任务模型融合示意

技术架构：严格的三组件系统

FusionBench 的代码架构极为清晰，遵循严格的三组件分离原则：

组件	路径	职责
Method	fusion_bench/method/	融合算法实现（如 Task Arithmetic、DARE、AdaMerging、TIES-Merging 等），每个算法继承 BaseAlgorithm
ModelPool	fusion_bench/modelpool/	管理模型加载，支持从 HuggingFace Hub、本地路径懒加载模型
TaskPool	fusion_bench/taskpool/	管理评测任务和基准数据集

这种架构的优势在于高度可扩展：添加新的融合算法只需实现一个 BaseAlgorithm 子类，配置对应的 YAML 文件即可，无需改动核心逻辑。

支持的融合算法（部分）

内置支持超过 30 种融合算法，涵盖：

• 传统方法：Simple Average、Max、Geometric Mean
• 任务感知方法：Task Arithmetic、MagMax、DARE、TIES-Merging、RegMean
• 学习驱动方法：AdaMerging、EMR-Merging、Fisher Merging
• 大模型专用：DORNA、OPCM、SMoE-based upscaling

支持的模型：从 ResNet 到 Llama 全覆盖

FusionBench 对模型的支持非常广泛：

• 计算机视觉：CLIP ViT、ResNet、DINOv2、ConvNeXt、OpenCLIP
• 自然语言处理：Llama、Flan-T5、Gemma、GPT-2、BERT、T5
• 多模态模型：CLIP 系列

所有模型均通过 HuggingFace Hub 托管，支持懒加载和本地缓存，大幅降低存储压力。

上手体验：CLI 驱动，简单上手

FusionBench 本质上是一个命令行工具，但上手门槛相对友好：

安装方式：

pip install fusion-bench
# 或开发模式
git clone https://github.com/tanganke/fusion_bench
cd fusion_bench && pip install -e .

运行方式（Hydra 配置驱动）：

# 模型融合
fusion_bench model_fusion=llama method=task_arithmetic modelpool=llama_m2m

# 模型评测
fusion_bench model_fusion=clip-vit method=simple_average modelpool=clip_zeroshot

配置通过 YAML 文件管理，位于 config/ 目录，包含模型池、任务池、融合方法等详细参数。

Docker 部署：

cd fusion_bench && docker build -t fusion-bench .
docker run --gpus all -it fusion-bench

Dockerfile 基于 PyTorch 2.4.1 + CUDA 11.8，已内置所有依赖，开箱即用。

局限与争议

FusionBench 的评测结果引发了学界不少讨论：

1. 评测指标的局限性：论文中某些融合算法在特定基准上的"超越"引发了质疑——模型融合的收益是否被高估？
2. 计算开销：对 LLM 级别的模型进行融合评测，需要高端 GPU 支持，普通研究者难以复现。
3. 缺乏权威榜单：目前处于快速迭代期（v0.2.33），API 和配置格式仍有调整。

行业意义：填补了模型融合评测的空白

FusionBench 的出现填补了深度模型融合领域长期缺乏统一基准的空白。它让研究者能够：

• 公平比较不同融合算法的效果
• 系统理解模型融合的 scaling 规律
• 发现现有算法的不足和新的研究方向

随着 LoRA、模型合并（Model Merging）在开源社区热度持续上升，FusionBench 的工具价值和研究价值将持续凸显。

模型升级示意

---

一句话总结：FusionBench 是深度学习研究者手中的一把精准尺子，让模型融合从"玄学"变为可量化、可复现的系统性工程。