OpenCompass

图1：OpenCompass 官方 Logo

想象一个这样的场景：某AI团队刚刚训练出一个自称"史上最强"的大模型，CEO兴奋地问工程团队：我们的模型比GPT-4强多少？团队面面相觑——因为没有人能说清楚。评测基准（Benchmark）混乱、评测方法不统一、同一模型在不同榜单上名次天差地别，这让"模型实力"成了一个谁也说不清的玄学问题。

正是在这样的背景下，**上海人工智能实验室（Shanghai AI Lab）**推出了 OpenCompass——一个致力于打造大模型评测标准答案的开放平台。它被Meta AI官方推荐为Llama模型的官方验证工具，是目前开源社区中最全面、最权威的LLM评测框架之一，截至目前已获得超过7200颗GitHub Stars。

背景：从各自为战到统一度量衡

大模型评测长期面临"诸侯混战"的局面。每个团队都有自己的评测集、自己喜欢的指标、自己的打分规则，导致同一个模型在不同的评测体系中排名差异巨大。开发者选模型时往往要翻阅十几份报告，科研人员做对比实验时也要花大量时间复现他人的评测流程。

OpenCompass的诞生，就是为了终结这种混乱。它由上海AI实验室主导开发，与internLM系列模型同步演进，目标是提供一套标准化、可复现、全面覆盖的大模型评测解决方案。项目的核心设计理念是Compass（指南针）——在模型能力的茫茫大海中，为研究者和工程师指明方向。

核心能力：223个数据集 54种模型

OpenCompass的最大亮点，是其令人印象深刻的评测覆盖广度。项目原生支持超过 223个评测数据集，涵盖以下核心维度：

• 语言理解：MMLU、C-Eval、CMMLU等，多语言多学科知识测试
• 数学推理：GSM8K、MATH、DeepSeek-Prover等，覆盖中小学竞赛到高等数学
• 代码能力：HumanEval、MBPP、DS-1000等，代码生成与修复
• 复杂推理：BBH、ARC-Challenge、NPHardEval等，挑战性逻辑推理
• 中文特色：CLUE系列、HellaSwag-zh、CMRC等，中文NLP专项
• 安全对齐：AdvBench、SafetyBench等，有害内容检测
• 垂直领域：MedQA、MedCalc-Bench、FinBench等，医疗金融专项
• 主观评测：LLM-as-Judge方案，开放式生成质量评估

同时，OpenCompass支持接入 54+种模型，覆盖三大类：

• 开源模型：HuggingFace Transformers系列、Llama2/3、Mistral、internLM全系列、Qwen、GLM、Baichuan等
• API模型：OpenAI GPT-4/4o/4o-mini、Claude全系列、Google Gemini、DeepSeek、Moonshot（Kimi）等主流商业API
• SDK及自定义：Claude SDK、本地部署模型，以及基于BaseModel抽象快速接入的自研模型

这种即插即用的插件式设计，极大降低了评测新模型的门槛——只需编写一个模型适配文件，即可将模型纳入完整的评测流程。

图2：OpenCompass开源模型性能榜单（CompassRank）

架构设计：四层解耦的模块化框架

OpenCompass的代码架构极为清晰，核心模块分布在 opencompass/ 目录下：

• datasets/：223个数据集的加载与预处理逻辑
• models/：54种模型的统一接口适配器
• evaluators/：评测结果打分器，支持通用打分、数学专用打分、级联评估
• openicl/：In-Context Learning推理引擎，是核心技术模块
• tasks/：推理与评测任务调度（支持llm_eval、openicl_infer、openicl_eval等多种任务类型）
• runners/：执行器，支持本地/DLC/SLURM/Volc Engine分布式执行
• partitioners/：数据集切分策略（naive/size/sub_size等多种算法）
• summarizers/：评测报告生成（默认/多维度/多模型/主观评测等多种报告模板）
• utils/：环境检测、依赖解析等工具函数

这种"数据层/模型层/执行层/报告层"四层分离的设计，使得每一层都可以独立演进：更换评测数据集不需要改模型适配器，调整推理策略不影响打分逻辑，最终输出的报告格式也可以灵活定制。

执行模式：从本地到分布式全覆盖

OpenCompass提供了多种执行模式，适应不同规模的评测需求：

• 本地串行（Local）：适合小规模快速验证，调试评测配置时最常用
• 本地并发（LocalAPI）：支持多模型并发推理，提高API模型评测效率
• DLC（Data Lab Compute）：阿里云DataLab平台分布式执行
• SLURM集群：支持Slurm调度器的大规模集群部署
• Volc Engine：字节火山引擎分布式执行
• RJob：远程作业调度

评测入口统一为 python run.py，配合YAML配置文件指定数据集和模型，即可一键启动完整评测流程。评测完成后，summarizers模块会自动生成结构化的对比报告。

上手体验：评测一个模型需要几步？

对于AI爱好者来说，最关心的可能是：这个工具用起来有多难？答案是：出乎意料地简单。

以评测一个HuggingFace模型为例，用户只需：

1. 安装：pip install opencompass
2. 准备配置文件（项目提供了大量现成模板在 configs/ 目录）
3. 执行：python run.py configs/eval_llama2_7b.py
4. 等待完成后查看 outputs/ 目录下的评测报告

不过需要注意，OpenCompass 没有Web界面，需要通过命令行操作，这要求用户具备基本的Python环境管理能力（建议使用conda或venv）。此外，由于涉及大量LLM推理，强烈建议配备NVIDIA GPU（至少16GB显存），否则纯CPU运行速度会非常缓慢。

局限与争议

金无足赤，OpenCompass也存在一些值得关注的局限：

1. 无Web界面：纯CLI工具，对非技术人员不够友好。可考虑通过Gradio/Streamlit包装一层简易界面。
2. 评测公平性存疑：部分研究者指出，OpenCompass的某些中文数据集（如C-Eval）对中文模型有天然优势，可能导致评测结果存在偏向性。
3. 分布式部署门槛高：DLC/SLURM/Volc等分布式执行模式需要额外的平台账号和配置，对个人开发者不够友好。
4. 维护压力大：223个数据集和54个模型的适配工作量极大，随着模型和数据集的快速迭代，维护成本会持续攀升。

行业意义与未来展望

OpenCompass的出现，标志着开源大模型评测从"草莽时代"迈入"标准化时代"。它有以下几个层面的深远影响：

对研究者：提供了统一的评测基准，方便做公平对比，显著降低了学术研究的评测工作量。

对开发者：开源模型不再"自说自话"，有了公认的衡量标准，有助于优秀项目脱颖而出。

对行业：推动大模型评测的透明化和标准化，为AI监管和合规评估提供了技术基础设施。

从GitHub提交记录来看，项目保持着极高的活跃度——最近更新（2026年7月28日）仍在持续新增对Intern-S1系列模型的支持。可以预见，随着更多模型和数据集的加入，OpenCompass将继续巩固其作为LLM评测"行业标准工具"的地位。

图3：OpenCompass由上海人工智能实验室（Shanghai AI Lab）主导开发