OpenMythos：开源复现 Claude Mythos 的循环深度 Transformer 架构

免责声明：OpenMythos 是独立、社区驱动的理论复现，完全基于公开可用的研究文献和合理推测。它与 Anthropic 或其专有系统没有任何关联、认可或联系。

一、故事：从"黑箱"到"白盒"——一个人用公开论文复现了前沿模型架构

2026年4月，一位年仅22岁、仅有高中学历的独立开发者 Kye Gomez（Swarms.ai 创始人）在 GitHub 上发布了一个项目。该项目仅用三周时间便斩获超过 1.4 万颗星，引发 AI 社区震动——这就是 OpenMythos。

它的核心使命大胆而独特：基于公开研究文献，从第一性原理出发，对 Anthropic 前沿模型 Claude Mythos 的架构进行理论重建，并用 PyTorch 实现为开源代码。这不是模型泄露、不是微调、也不是蒸馏——这是一个可以被验证或证伪的精确假设。

二、核心假说：Claude Mythos 是循环深度 Transformer（RDT）

OpenMythos 提出的核心假设是：Claude Mythos 属于一类叫做**循环深度 Transformer（Recurrent-Depth Transformer，RDT）**的架构，也被称为循环 Transformer（Looped Transformer）。

传统 Transformer 堆叠数百层，每层结构相同但权重不同。而 RDT 的关键思想是：同一组权重，在一次前向传播中循环执行多次。这意味着"层数"和"参数量"可以解耦——用更少的参数实现更深的推理。

这不是链式思维（Chain-of-Thought）。 链式思维会在推理过程中输出中间 token；而 RDT 的所有"思考"都在一次前向传播中、在连续潜空间（continuous latent space）内静默完成，不需要生成任何中间 token。

三阶段架构

OpenMythos 将 RDT 分为三个功能阶段：

输入 token IDs
    ↓
[Prelude]        — 标准 Transformer 层，执行 1 次
    ↓
[循环块 Recurrent Block]  — 单个 Transformer 块，循环 T 次
    ↑___________↓  h_{{t+1}} = A·h_t + B·e + Transformer(h_t, e)
    ↓
[Coda]          — 标准 Transformer 层，执行 1 次
    ↓
输出 logits

• Prelude（前奏）：2层标准 TransformerBlock，运行一次，将原始 token 嵌入投影到丰富的潜空间，产生注入信号 e。
• Recurrent Block（循环块）：单个 TransformerBlock + LTI 注入 + ACT 停止机制 + LoRA 适配器，根据 max_loop_iters（默认16）循环执行。
• Coda（尾声）：2层标准 TransformerBlock，运行一次，对最终隐藏状态做固定成本的后处理。

三、技术细节：MLA + MoE + ACT + LTI 注入

3.1 可切换的注意力机制

OpenMythos 支持两种注意力实现，通过 MythosConfig.attn_type 切换：

选项	类	描述
"gqa"	GQAttention	分组查询注意力（Ainslie et al., 2023），通过 Flash Attention 2 加速
"mla"	MLAttention	多头潜注意力（DeepSeek-V2 风格），低秩 KV 压缩，推理效率更高

3.2 稀疏混合专家（MoE）

循环块内的前馈网络使用稀疏 MoE：

• 路由专家（Routed Expert）：64个细粒度专家，每个 token 激活 top-4
• 共享专家（Shared Expert）：2个常驻专家，每个 token 必定激活
• 这使得参数量可以非常大，但每次前向传播的计算量相对较小

3.3 自适应计算时间（ACT）

通过 ACT 停止机制，模型可以动态决定在每个位置停止循环的时机。act_threshold 控制累积停止概率阈值（默认0.99）。这意味着简单 token 可以提前退出，复杂 token 可以循环更多次——在 batch 内部实现可变计算量。

3.4 LTI 稳定注入

循环块中的隐藏状态更新规则为：

h_{{t+1}} = A·h_t + B·e + Transformer(h_t, e)

其中 A 和 B 是可学习的注入参数。代码通过谱半径（spectral radius）约束来确保 A 的最大特征值严格小于1，从数学上保证训练稳定性。

四、预置模型规格：从 1B 到 1T 参数

OpenMythos 提供了从 1B 到 1T 参数的完整模型规格表：

变体	dim	Experts	expert_dim	循环次数	上下文	最大输出
mythos_1b	2048	64	2048	16	4k	4k
mythos_3b	3072	64	4096	16	4k	4k
mythos_10b	4096	128	5632	24	8k	4k
mythos_50b	6144	256	9728	32	8k	4k
mythos_100b	8192	256	13568	32	1M	128k
mythos_500b	12288	512	23040	48	1M	128k
mythos_1t	16384	512	34560	64	1M	128k

文献（Saunshi et al., 2025）表明，770M 参数的 RDT 可以匹配 1.3B 固定深度 Transformer——相同能力，参数量减少约40%。

五、上手指南

安装

pip install open-mythos
# 或使用 uv
uv pip install open-mythos

# 如需 Flash Attention 2（需 CUDA 和编译工具）
pip install open-mythos[flash]

最小化推理示例

import torch
from open_mythos.main import OpenMythos, MythosConfig

attn_type = "mla"  # 或 "gqa"

cfg = MythosConfig(
    vocab_size=1000, dim=256, n_heads=8,
    max_seq_len=128, max_loop_iters=4,
    prelude_layers=1, coda_layers=1,
    n_experts=8, n_shared_experts=1,
    n_experts_per_tok=2, expert_dim=64,
    lora_rank=8, attn_type=attn_type,
    n_kv_heads=8, kv_lora_rank=32,
    q_lora_rank=64, qk_rope_head_dim=16,
    qk_nope_head_dim=16, v_head_dim=16,
)

model = OpenMythos(cfg)
ids = torch.randint(0, cfg.vocab_size, (2, 16))
logits = model(ids, n_loops=4)
print(f"Logits shape: {logits.shape}")

训练（3B 模型在 FineWeb-Edu 数据集上）

# 单 GPU
python training/3b_fine_web_edu.py

# 多 GPU（自动检测）
torchrun --nproc_per_node=$(python -c "import torch; print(torch.cuda.device_count())") \
    training/3b_fine_web_edu.py

训练关键参数：

• 优化器：AdamW
• 数据集：HuggingFaceFW/fineweb-edu
• Tokenizer：openai/gpt-oss-20b（通过 MythosTokenizer）
• 并行：PyTorch DDP via torchrun
• 精度：H100/A100 上 bfloat16，老 GPU 用 float16 + GradScaler
• 目标：约 30B tokens

六、争议与局限

OpenMythos 不是一个完美无缺的项目，社区对其存在以下争议：

1. "理论重建"还是"猜测"？
核心争议在于：这个架构假设是否准确反映了 Claude Mythos 的真实设计？Claude 的官方信息极为有限，OpenMythos 大量依赖公开研究论文的推测。MarkTechPost 等媒体已明确指出 OpenMythos 并未在论文中正式发表过基准测试结果。

2. 没有预训练权重
这是一个架构实现，不提供预训练权重。无法开箱即用来做实际推理，只能用于训练研究。用户必须从零训练才能使用。

3. 基准测试空白
虽然社区引用了 Saunshi et al. (2025) 关于"770M RDT 匹配 1.3B 固定深度模型"的结论，但这并不是 OpenMythos 本身跑出来的结果，而是将外部论文结论移花接木到该仓库。

4. 技术成熟度
代码标注为"Development Status :: 3 - Alpha"，文档相对完整但实际项目结构较简单，测试覆盖有限，尚未经过大规模生产验证。

七、行业意义

尽管存在争议，OpenMythos 的出现具有重要的行业意义：

1. 推动推理时间 scaling 研究
RDT 提供了一种与链式思维不同的 scaling 路径：不需要生成额外 token，在单次前向传播中通过"循环深度"实现更深的推理。这为"推理时间 scaling law"提供了重要的开源实现参考。

2. 知识蒸馏的潜力
OpenMythos 可以作为"学生模型"使用标准知识蒸馏流程，以更少的参数量模拟更大模型的推理能力。

3. 社区协作的范式
一个人用公开论文复现前沿模型架构，这个故事本身就代表了 AI 开源社区的力量——即使没有官方泄露，任何人都可以从第一性原理出发探索。

4. 快速增长的社区
GitHub 14.9k stars、3.2k forks、Discord 社区、持续活跃的 issues（讨论蒸馏策略、架构验证等）——说明这个项目已经形成了真正的研究社区，而不仅仅是一个演示项目。

---

本分析基于 GitHub 仓库 v0.5.0 的代码、README、文档及公开报道生成。