Switchyard：NVIDIA 开源的 LLM 流量智能调度网关

一、项目背景

Switchyard 由 NVIDIA NeMo 团队开发，是 NVIDIA 企业级 AI 训练框架 NeMo 生态的一部分。项目于 2026 年 5 月创建，采用 Rust 语言，主分支要求 Rust 1.96.1 以上，选用 Rust 的理由清晰：高性能、低内存开销、原生异步 I/O，适合作为生产级流量代理基础。短短数月积累 1000+ Stars，fork 数达 98，仓库更新极为活跃。许可证 Apache 2.0。

二、痛点与解决思路

团队同时使用 Claude Code、Codex 和 OpenAI SDK 时，换一次模型要改半天代码，API 格式还不统一。Switchyard 作为 LLM 流量代理，挂在应用和 LLM 后端之间，统一协议、路由流量、监控质量，Claude Code、Codex CLI、OpenClaw 无需任何修改，只要指向 Switchyard，就能换成任意后端模型。

三、核心能力

协议翻译：同时支持三种主流 LLM API 格式——OpenAI Chat Completions（/v1/chat/completions）、OpenAI Responses API（/v1/responses）、Anthropic Messages API（/v1/messages），相互之间自动翻译，对应用层完全透明。

路由策略：内置 5 种算法——Passthrough（透传）、Random（随机，A/B 测试）、LLM Classifier（小模型判断复杂度决定用强/弱模型）、Stage Router（信号驱动，大部分 turn 不调用模型）、Escalation Router（先弱后 judge 判断升级）。支持自定义路由算法。

可观测性：Prometheus metrics 覆盖请求数、错误率、延迟、token 消耗、路由开销，开箱即用。

四、使用方式

方式一：CLI 启动器（最简单）：uv tool install --python 3.10 "nemo-switchyard[cli]"，配置 API Key 后 switchyard launch claude --model switchyard，Claude Code 流量自动经过 Switchyard。

方式二：独立 Rust 代理：cargo install --locked switchyard-server，TOML 配置路由规则后 switchyard-server --config routes.toml --port 4000 启动。

方式三：Rust 嵌入式库：switchyard-libsy 直接引用路由算法到自有服务。

五、架构设计

五步请求生命周期：接收（接受客户端 API 格式）→ 归一化（转 provider-neutral 类型）→ 路由（应用策略选择后端）→ 执行（调用后端+fallback）→ 响应（翻译回客户端格式）。Tokio 异步运行时 + reqwest HTTP + serde 序列化 + tracing 结构化日志。

Rust Workspace 7 个 crate：libsy（路由算法核心）、libsy-llm-client（HTTP LLM 调用）、protocol（协议无关类型）、switchyard-translation（格式互译）、switchyard-server（独立代理）、switchyard-py（PyO3 Python 绑定）、switchyard-skill-distillation（蒸馏策略）。Python 包通过 maturin 构建系统打包，安装后无 Python 运行时依赖。

六、局限与风险

Pre-alpha 状态，README 明确标注"Experimental software. Not for production use."，API 在 v1.0 前会有重大变化。无 Web UI，配置全靠 TOML + CLI。无 Dockerfile/docker-compose，容器化需手动配置。Rust 核心 + 多 crate 架构有学习曲线。

七、行业意义

Switchyard 代表 LLM 应用架构趋势：从直接调用 API 走向 LLM Gateway 模式。NVIDIA 通过 NeMo Switchyard 布局 Agent 时代基础设施，3 个月 1000+ Stars 的爬升速度在企业级基础设施类项目中属于较快水平。

分析时间：2026-08-13 | 数据来源：GitHub API + 仓库源码 | Stars: 1018