helm

图1：Stanford CRFM 官方 Logo

当 AI 模型说自己「全能」时，谁来验证？

2025 年某天，某大厂发布新款大语言模型，宣称在 MMLU 基准上超越了 GPT-4。一时间社交媒体刷屏。但两周后，斯坦福大学的一个研究团队发布报告，指出该模型在另一套严格控制的评估框架下表现平平——评测方法不同，结论天差地别。

这背后揭示的，正是 AI 评测领域的核心矛盾：没有统一、标准、透明的评估方法，就无法真正比较模型的能力。Holistic Evaluation of Language Models（HELM）正是为解决这个问题而生——它由斯坦福大学基础模型研究中心（CRFM）开发，是目前学术界最系统化的语言模型评测框架。

背景：从论文到工程系统

HELM 最初于 2022 年随论文《Holistic Evaluation of Language Models》发布，核心作者包括 Percy Liang 等国际知名 NLP 研究者。项目经历了从研究原型到成熟 Python 框架的演进，到 2026 年 6 月 1 日，HELM 正式进入维护模式（Maintenance Mode），这意味着核心功能已稳定，主要接受 bug 修复，不再引入破坏性更新。

整个项目分为两大组件：

• HELM Core（src/helm/）：Python 评测引擎，支持多种基准测试、数据集和模型接口
• HELM Frontend（helm-frontend/）：React + TypeScript Web UI，用于可视化评测结果

值得注意的是，项目提供了独立的 HEIM（ Holistic Evaluation of Image Models）子项目用于评测文生图模型，以及 HELM Instruct、MedHELM 等垂直领域评测套件，形成了覆盖文本、多模态、医疗、金融等场景的评测矩阵。

核心架构：六模块分工明确

深入源码结构，可以清晰看到 HELM 的模块化设计：

这种架构设计让添加新模型或新基准变得简单——只需实现对应的 Adapter 和 Client，无需改动核心逻辑。项目大量使用 cattrs 和 dacite 做类型化配置管理，确保评测参数的类型安全。

技术栈：Python 生态的深度整合

HELM 的技术选型体现了科研级项目的严谨性：

• 核心依赖：Python 3.10+，依赖 pandas、numpy、scipy、scikit-learn 进行数据处理和统计分析
• NLP 工具链：transformers（HuggingFace）、spacy（分词/词性标注）、nltk（文本指标）、datasets（数据集加载）
• 深度学习：PyTorch 作为 inference 引擎
• Web 前端：React 18 + TypeScript + Vite + TailwindCSS + DaisyUI，图表使用 Recharts
• 后端服务：bottle 轻量级 Web 框架，可选 gunicorn 生产部署

HELM 不使用 FastAPI 或 Django，而是选择了更轻量的 bottle，这一选择与它的定位一致——评测结果的展示服务，不需要复杂的 REST API。

评测能力：覆盖全面的基准测试矩阵

HELM 支持的评测场景极其广泛：

• 通用能力：HELM Lite（轻量级通用评测）、HELM Classic（全面语言评测）
• 数学与推理：MMLU、MMLU-Pro、GPQA
• 指令遵循：IFEval、WildBench
• 安全评测：Safety（6 大风险向量聚合）、AIR-Bench（政策合规）
• 多模态：VHELM（视觉-语言模型）、HEIM（文生图）、Image2Struct
• 垂直领域：MedHELM（医疗）、Finance（金融）、CLEVA（中文）、ThaiExam（泰语）

每个场景都对应标准化的评测协议，包含 prompt 构造、metric 计算和结果汇总。评测结果通过 helm-summarize 命令聚合，生成可读报告，并可通过 helm-server 在浏览器中交互式查看。

上手体验：从 pip 安装到可视化报告

安装 HELM 只需要一行命令：

pip install crfm-helm

运行一个基本评测：

helm-run --run-entries mmlu:subject=philosophy,model=openai/gpt2 --suite my-suite --max-eval-instances 10
helm-summarize --suite my-suite
helm-server --suite my-suite

然后访问 http://localhost:8000 即可查看结果。注意：评测过程中需要网络连接来调用模型 API（OpenAI/Anthropic 等），本地需要设置对应的 API Key 环境变量。

Web UI 基于 React 构建，提供了直观的评测结果浏览体验，支持按模型、基准、时间等维度筛选对比。这是 HELM 区别于大多数纯命令行评测工具的核心优势。

局限与争议

HELM 也并非完美。首先，2026 年 6 月进入维护模式，意味着不会有重大功能更新，对于追赶快速演进的 AI 模型生态是一个遗憾。其次，不支持 Docker 部署，需要在本地 Python 环境中安装大量依赖（包括 PyTorch），对环境配置有一定要求。

此外，HELM 高度依赖外部模型 API，评测成本不可忽视——运行完整的 MMLU 评测在商用 API 上可能产生数十美元费用。项目提供的 estimate_cost.py 脚本可以帮助用户提前估算。

行业意义：透明评测的标杆实践

HELM 最重要的贡献，不在于它评测了多少模型，而在于它建立了一套可复现、可审计、可扩展的评测范式。所有评测配置、数据集构建方式、指标定义全部开源，研究者和工程师可以审查每一行代码，质疑每一个评测决策。

在 AI 行业评测数据被各大厂"刷榜"文化污染的背景下，HELM 代表了一种更健康的声音：评测不是为了证明模型有多好，而是诚实地揭示模型的能力边界和潜在风险。