TokenSpeed：光速级 LLM 推理引擎，为 AI Agent 工作负载而生

背景故事：当 AI Agent 的 token 消耗成为瓶颈

2026 年，Claude Code、Cursor、Copilot 等 AI Coding Agent 已经深度融入软件工程师的日常工作中。这些 Agent 在处理复杂任务时，一个请求就能生成数万 token——远超传统对话场景几个量级。当 Agent 从「对话助手」进化为「代码工厂」，传统的 LLM 推理引擎开始暴露严重的吞吐量瓶颈。

想象一个真实的开发场景：你的 Cursor Agent 正在帮你重构一个 3000 行的模块，每次 keystroke 触发一次推理，平均需要 200 毫秒才能生成下一个 token。在一个 8 小时工作日中，单个 Developer 的 Agent 请求就可能消耗 50 万到 100 万个 token。如果你的团队有 100 名工程师同时使用 Agent，每月 token 消耗轻松突破数亿级别。此时，GPU 资源的消耗和推理成本就成为决定业务能否规模化的核心变量。

TensorRT-LLM 是 NVIDIA 官方的性能标杆，但它的上手门槛极高——需要深入理解并行策略、手写通信逻辑、适配新模型需要大量 CUDA 内核工程。vLLM 则是易用性的代表，但性能往往落后 TensorRT-LLM 10%-20%。有没有可能在不牺牲易用性的前提下，达到甚至超越 TensorRT-LLM 的性能？

这就是 TokenSpeed 诞生的背景。

核心架构：控制平面与执行平面的首次分离

TokenSpeed 由 LightSeek Foundation 开发，2026 年 5 月正式开源，2026 年 8 月加入 PyTorch 生态系统大家庭。它的核心理念是：第一个将控制平面（Control Plane）与执行平面（Execution Plane）完全分离的 LLM 推理引擎。

控制平面由 C++ 实现，负责：

• 请求生命周期管理（到达、预填充、解码、完成/抢占）
• KV Cache 所有权和状态转移
• 调度重叠时序编排
• 所有关键不变量在编译时通过类型系统强制执行，而非依赖运行时约定

执行平面由 Python 实现，负责：

• 具体模型的 forward 计算
• 与 PyTorch 生态的深度集成（Hugging Face、ModelScope 等）
• 快速功能迭代和研究人员友好的 API

PyTorch 官方博客在收录 TokenSpeed 时特别指出，这种架构「在核心调度系统中提供了强正确性保证，同时保留了高级执行层的开发效率」。

Kernel 层：可插拔的算子系统

TokenSpeed 将 Kernel 视为一等公民，从核心引擎中完全解耦。它设计了一套可移植的公开 API、中心化注册表和可扩展插件机制，支持异构加速器。

最亮眼的成就是 TokenSpeed MLA（Multi-head Latent Attention）内核——这是 NVIDIA Blackwell 平台上最快的 MLA 实现之一，其 Decode 内核将查询序列长度合并到 head 维度以充分利用 Tensor Cores，性能大幅领先 TensorRT-LLM。这个 MLA 内核已经被 vLLM 官方采纳（PR #41778），足见其工程质量和影响力。

TokenSpeed 还支持多种注意力机制和 MoE 优化：

• 完整的 MLA 和 MHA 支持
• GDN（Gated Delta Network）线性注意力，用于 Qwen3.5 等混合注意力架构
• MoE（Mixture of Experts）并行执行的 StreamFork 模式优化

性能实测：580 TPS 的极限突破

TokenSpeed 的性能数据令人印象深刻：

• Qwen3.5-397B-A17B：在 TP8 配置下达 580 tok/s（batch_size=1）
• Kimi K2.5 + B200：在 70 TPS/User 的 Agentic 负载下，TokenSpeed 在整个 Pareto 前沿全面优于 TensorRT-LLM，最低延迟场景快 9%，高吞吐场景高出 11%
• 长上下文衰减：仅 16%（128K 到 1M 上下文）
• 前缀缓存命中率：>90%（多轮 Agent 工作负载）
• 推测解码加速：+100% ~ +159%（MTP，Measured Token Prediction）

性能提升背后的核心技术包括：

1. 系统化消除内存拷贝：减少不必要的数据搬运
2. 高级内核融合：QK-RoPE + Gate Split 从 5 个 kernel launch 合并为 1 个
3. CPU-GPU 完全重叠执行：最大化硬件利用率
4. Gemma AllReduce 融合：AllReduce + Residual + RMSNorm 单 kernel 完成

快速上手：OpenAI 兼容 API

TokenSpeed 提供 OpenAI 兼容 API，无需修改客户端代码即可接入：

tokenspeed serve openai/gpt-oss-20b \
    --host 0.0.0.0 \
    --port 8000 \
    --tensor-parallel-size 1

部署流程遵循「配方模式」：

1. 安装运行时和内核包
2. 根据模型家族和硬件选择对应的启动配方
3. 显式设置模型加载、内存、调度和并行参数
4. 验证正确性和吞吐率后再调优

支持的硬件平台：

• NVIDIA：Blackwell B200/B300/GB300（CUDA 13.0+）
• AMD：ROCm 7.2+（MI355X/MI455X，gfx950）
• 国产算力：华为昇腾 NPU 支持（tokenspeed-kernel-npu）

争议与局限

TokenSpeed 并非没有局限性：

• 硬件门槛极高：397B MoE 模型需要 80GB+ VRAM，单卡几乎不可能部署，至少需要多卡并行（TP8 起），普通开发者和中小企业难以承受
• 运维复杂度：虽然比 TensorRT-LLM 易用，但对比 vLLM 仍有较高的配置复杂度
• 生产成熟度：项目始于 2026 年 3 月，截至目前（2026 年 9 月）仍处于积极开发阶段，生产级稳定性有待验证
• PD 分离功能：Prefill-Decode 分离部署仍在整理中，尚未发布

行业意义

TokenSpeed 的出现代表了一个重要趋势：推理引擎正在从「性能 vs 易用性」的二元对立走向融合。它用 C++ 控制平面保证关键路径的正确性和性能，用 Python 执行平面保留迭代速度和生态兼容性。

更重要的是，TokenSpeed 被 PyTorch 官方纳入生态系统，其 MLA 内核被 vLLM 采纳，显示出开源社区正在形成围绕推理优化的合力。当推理成本成为 AI Agent 规模化的关键瓶颈，类似 TokenSpeed 这样的专用推理引擎将扮演越来越重要的角色。

增长数据：项目 GitHub 已有 2063 Stars，271 Forks，上线后持续保持活跃更新，与 DeepSeek、Qwen、Moonshot 等主流模型团队保持深度合作。