ReLE 中文大模型能力评测：给模型打分的"全科医生"

一款专门给中国大模型"体检"的项目，是怎么成为开发者选型必看的？

2026年5月，一个由非线智能团队（NoneLinear）维护的中文大模型评测项目在 GitHub 悄然突破6000 star。这个名为 ReLE（Really Reliable Live Evaluation） 的项目，追踪着全球380个大模型在中国场景下的真实表现——从高考数学到医师资格考试，从律师考试到Agent工具调用，每一项数据都来自实际API调用，而非模型方自述。

想象一个场景： 你是某科技公司的技术负责人，要为公司产品选一个大模型。用户遍布全国，涉及医疗问诊、金融客服、法律咨询等多个场景。你听说GPT-5很强、Claude很稳、Qwen3.5性价比高——但哪个在中国语境下真正好用？ReLE 就是回答这个问题的工具。

图1：综合能力排行榜示例（综合Top 10）

---

一、背景：为什么中国大模型需要专门的评测体系？

目前主流的大模型评测体系（如MMLU、HELM）主要面向英文场景，即便有中文题目，也往往存在翻译偏差或文化不适配的问题。例如，一道关于中国《民事诉讼法》的高考法律题，如果直译成英文，GPT-5可能给出标准答案，但在中文语境下，题目的法律术语表达、案例引用的惯例完全不同，得分并不能反映模型在中国市场的真实能力。

ReLE 的出现，正是为了填补这个空白。项目团队收集了大量中文原创评测数据，涵盖：

• 7大评测维度：教育、医疗健康、金融、法律与行政公务、推理与数学计算、语言与指令遵从、Agent与工具调用
• ~300个细分能力项：从高中化学、初中语文、到执业医师考试、银行柜员资格考试、成语理解、文本分类等
• 超200万条缺陷记录：记录每个模型在各类题目上的错误答案，供研究者分析改进

更值得关注的是，ReLE 不仅收录商用闭源模型（GPT-5系列、Claude系列、Gemini系列、文心、GLM等），也覆盖了大量开源模型（Qwen3、LLaMA4、DeepSeek系列、Mistral等），是国内少有的将闭源与开源放在同一标准下横向对比的评测体系。

图2：IFEval 中文指令遵从评测

---

二、技术架构：评测如何执行？

ReLE 的架构设计值得研究。整体分为两层：

数据层：评测题库以 Markdown 表格和 Excel 形式存储在 eval/ 和 leaderboard/ 目录下，按学科分类。每个评测项都有标准答案（JSON格式）和评分脚本。评测数据定期更新，最新版本号已达 v5.10.8（2026年5月30日），保持了极高的更新频率。

执行层：评测通过调用各模型的官方API（OpenAI API兼容格式）批量执行，自动打分并汇总结果。结果以 Markdown 表格形式输出到排行榜，并附带原始分数和排名变化记录。

代码仓库同时提供模型选型参考文档（docs/modelSelection/），以及历年高考真题PDF（opendata/2025高考各省真题/），方便研究人员复用。

榜单分类极其细致，仅教育维度就细分为小学、初中、中考、高中、高考、高等教育、考研、教师资格等子榜；法律维度有律师资格考试和公务员考试；推理维度包含演绎推理、常识推理、符号推理（BBH）、算术能力、表格问答、高中奥数、数独等。这样的分类粒度，使得 ReLE 能精准定位模型的能力长短板，而非给出一个笼统的综合分数。

---

三、关键发现：哪些模型表现亮眼？

根据2026年5月最新数据，综合能力排行榜前列为：

排名	模型	厂商	综合准确率
1	qwen3.5-plus	阿里	66%
2	gpt-5.4	OpenAI	63%
3	gemini-3.1-pro-preview	Google	63%
4	claude-opus-4.6	Anthropic	61%
5	Doubao-Seed-2.0-mini	字节跳动	61%

几个有趣的观察：

• 阿里 Qwen3.5-plus 以66%的综合准确率登顶，超过了GPT-5.4和Claude Opus 4.6，这在以往是罕见的
• 字节跳动的 Doubao Seed 系列三款全部进入 Top 10，显示了强大的综合能力
• 百度 ERNIE-5.0 在列，但排名相对靠后（Top 20左右）
• 推理类模型（如 Kimi-K2.5-Thinking）专项推理能力突出，但综合能力略逊

---

四、行业意义：ReLE 解决了什么问题？

对开发者而言，ReLE 提供了客观的选型依据。国内很多团队在做 AI 应用时，往往依赖海外榜单或直觉选择模型，但实际用户体验与榜单排名往往存在差距。ReLE 的中文专项评测，能帮助团队找到真正适合中国市场的模型。

对模型方而言，ReLE 的缺陷库是宝贵的反馈数据。超200万条错误记录，揭示了当前模型的系统性弱点——比如大多数模型在中文法律术语理解上普遍较弱，在金融场景的精确数字计算上表现参差。这些数据对模型迭代有直接参考价值。

对学术界而言，ReLE 提供了高质量的中文评测基准，推动了中文NLP评估标准化。

---

五、局限与争议

ReLE 也并非完美。几个值得关注的点：

1. 评测数据与真实使用场景的差异：评测题目是结构化的选择题/填空题，而实际应用往往是开放域对话，两者存在评测偏差（Evaluation Bias）
2. API调用的稳定性问题：大量模型通过官方API评测，若API限流或版本更新，可能影响数据一致性（项目中也有因"reasoning_content未传入tool call"导致分数修正的记录）
3. 商业模型的透明性：部分商用模型通过API调用，无法确认评测时使用的具体模型版本
4. 更新频率 vs 评测深度：每月多次更新意味着数据新鲜，但快速迭代也可能导致评测标准前后不一致

---

六、如何参与？

ReLE 是完全开源的，任何人都可以参与：

• 使用：直接访问 https://nonelinear.com 查看实时排行榜
• 贡献评测数据：提交 PR 增加新的评测维度或题目
• 提交模型评测：联系团队为你的私有大模型申请免费评测
• 交流：通过微信群和公众号（非线智能）获取最新更新通知

图3：评测交流群二维码

---

总结

ReLE 中文大模型评测项目（chinese-llm-benchmark）是目前中文AI领域最全面、最活跃的第三方评测体系之一。它用持续的更新频率（v5.10.8，每月多次迭代）、细致的评测粒度（7大维度、~300个能力项）、超200万条缺陷库，为开发者和研究者提供了不可替代的选型参考工具。

尽管评测方法论仍有改进空间，但在当前中文大模型生态中，ReLE 的存在填补了关键的"信息不对称"问题——让选型决策有据可依，而非盲从品牌。