HyperAgents：自引用自改进 AI Agent，让 AI 学会"教自己"

一个令人不安的问题：为什么 AI 再强，也需要人类来教？

2025 年，GPT-4、Claude 等大模型已经能通过律师考试、写出接近人类水平的代码。但有一个问题始终没有解决——无论模型多强大，它的"学习方法"是被人类工程师预先固定死的。你可以在数学题上微调它，但你无法让它自己学会"如何更好地学习数学"。

这个问题，在 AI 领域叫做"元级自我改进"（Meta-Level Self-Improvement）。传统方法中，AI 的自我改进机制是由人类手写的、固定的——这就像给一个学生一本永远无法修改的教材，他可以在教材范围内进步，但永远无法改进教材本身。

Meta AI Research（FAIR）团队推出的 HyperAgents 正是为了解决这个问题而来。

背景：前身的局限与突破

HyperAgents 诞生于对 Darwin Gödel Machine (DGM) 的扩展。DGM 是 2025 年的一项研究，它证明了在代码生成这个特定领域，AI 可以实现开放式的自我改进。DGM 的核心思路是：让一个 AI 代理不断生成自己代码的变体，评估这些变体，保留好的、丢弃差的——本质上是一种"进化算法"。

DGM 在编程任务上取得了惊人的效果。但它有一个根本性的局限：DGM 的自我改进能力，只在"代码生成"这个领域有效。原因很简单——DGM 的改进机制（生成变体 + 评估）和任务本身（写代码）高度对齐：你越会写代码，你就越能改进自己的代码。但一旦把这个框架用到其他领域（比如论文评审、机器人控制），这个对齐就消失了。

打个比方：一个学霸很擅长解数学题，但他未必擅长"改进自己做数学题的方法"。DGM 就面临同样的问题——它能改进代码，但无法改进自己的改进方法。

核心创新：让 Agent"咬住自己的尾巴"

HyperAgents 的核心思想，是将任务执行代理（Task Agent）和元级改进代理（Meta Agent）融合进同一个可编辑的程序中。这个融合后的实体，就叫做"超代理"（HyperAgent）。

关键在于：元级改进机制本身，也是可编辑的。

在传统系统中，元级改进机制是"硬件"——你无法修改它。而在 HyperAgents 中，Meta Agent 位于和 Task Agent 相同的代码空间中，这意味着它可以修改自己。这带来了一种"递归自我改进"的能力：

1. Task Agent 解决一个任务（比如评审一篇学术论文）
2. Meta Agent 观察 Task Agent 的表现，生成改进方案
3. Meta Agent 不仅可以修改 Task Agent，还可以修改自己的改进机制本身

这种能力被论文称为"元认知自我修改"（Metacognitive Self-Modification）。类比来说：普通 AI 只能改进"解题思路"，而 HyperAgents 能改进"如何产生更好的解题思路"。

技术实现：基于 DGM-H 的进化架构

HyperAgents 的实现基于 DGM-Hyperagents（DGM-H） 框架，它在 DGM 的基础上做了关键扩展：

双重架构

• Task Agent：负责解决具体任务。给定任务输入（如一篇待评审的论文），产生预测结果（如评审意见）。
• Meta Agent：负责修改 Task Agent 和它自己。给定任务执行历史，生成代码修改建议。

两者都通过 LiteLLM 调用多种大模型（Claude 3.5/4、GPT-4o、GPT-5、Gemini 2.5 等），通过统一的 LLM 接口实现模型无关性。

开放探索进化过程

DGM-H 保留了 DGM 的核心机制——开放式进化搜索：

1. 维护一个 HyperAgent"档案库"（Archive），初始时只有一个基础 HyperAgent
2. 元认知自我修改阶段：从档案库中选择表现较好的父代 HyperAgent，生成它们的修改变体
3. 评估阶段：在特定领域（如代码生成、论文评审、机器人奖励设计）中评估每个变体的表现
4. 将评估结果好的变体加入档案库
5. 重复以上过程，性能持续提升

选择父代时采用概率采样，优先选择性能好且子代存活率高的 HyperAgent，平衡探索与利用。

跨领域实验验证

DGM-H 在四个截然不同的领域验证了效果：

• 代码生成（HumanEval+）
• 学术论文评审（Paper Review）
• 机器人奖励函数设计（Genesis 环境）
• 奥数解答评分（Olympiad-level Math Grading）

所有领域中，DGM-H 都优于基线（无自我改进或无开放式探索）和 DGM 等前期自我改进系统。更值得注意的是，Meta Agent 生成的元级改进（持久化记忆、性能追踪机制等）可以在不同领域间转移，并在多次运行中累积。

代码架构：清晰的模块化设计

项目代码结构清晰：

• agent/：Foundation Models 调用层，包含 base_agent.py（代理基类）、llm.py（模型调用）、llm_withtools.py（带工具调用的模型）、tools/（工具集）
• meta_agent.py：Meta Agent 核心实现
• task_agent.py：Task Agent 核心实现
• generate_loop.py：进化循环入口脚本
• domains/：各实验领域实现（balrog、genesis、imo、paper_review、polyglot、search_arena）
• utils/：公共工具（Git 操作、Docker 操作、日志、线程安全日志等）
• baselines/：基线对比算法

部署体验：Docker 支持，但门槛不低

项目提供了 Dockerfile，基于 CUDA 13.0 开发镜像构建，支持 GPU 加速。requirements.txt 列出了完整的依赖，包括 LiteLLM、GitPython、Docker SDK、TensorBoard 等。

但实际部署存在几个挑战：

1. 多 API Key 配置：需要同时配置 OpenAI、Anthropic、Minimax API Key（通过 .env 文件）
2. 复杂的系统依赖：graphviz、cmake、ninja-build 等 Linux 系统包
3. 无 Web UI：纯命令行交互，需要修改脚本参数运行
4. 资源需求高：建议 16GB+ 显存、16GB+ 内存、10GB+ 磁盘空间
5. 初始化脚本：需要运行 setup_initial.sh 初始化

README 明确警告了安全风险——项目会执行由模型生成的未信任代码。虽然当前设置下不太可能执行恶意行为，但由于模型能力或对齐的局限，仍可能具有破坏性。用户需要了解并接受这些风险。

意义与局限：不是 AGI，但是一块重要拼图

HyperAgents 代表了 AI 自我改进研究的一个重要方向。它证明了：只要元级改进机制本身也是可修改的，AI 可以在多种不同任务上实现自我改进，而不仅限于与改进机制"天然对齐"的编码任务。

但 HyperAgents 远非通用人工智能（AGI）。它仍然依赖人类预先定义的评估函数、给定的任务领域和工具集。元级改进机制虽然在框架内可编辑，但初始版本仍由人类设计。

尽管如此，DGM-H 提供了一种可能：AI 系统不再只是寻找更好的解决方案，而是不断改进"如何寻找更好的解决方案"。这个方向，或许是通往更通用 AI 能力的关键路径之一。