LLMRouter

LLMRouter 是由 UIUC NLP Lab（伊利诺伊大学香槟分校自然语言处理实验室）开源的智能 LLM 路由库，2025 年 12 月正式发布。团队成员包括 Tao Feng、Haozhen Zhang 等研究人员，已获得 1935+ GitHub Stars，2026 年 1 月突破 1K Stars，并持续活跃更新至 2026 年 6 月。

痛点切入：LLM 调度的两难困境

想象这样一个场景：你的应用每天处理 10 万次用户请求，从简单的"今天天气如何"（用 GPT-4o mini 即可，0.15 美元/百万 token），到复杂的"帮我写一个 Python 生成器"（需要 Claude 3.5 Sonnet，3 美元/百万 token）。如果全部用高端模型，成本爆炸；如果全部用低端模型，服务质量崩塌。

LLMRouter 解决的就是这个问题：它是一个智能路由器，根据每个查询的复杂度、成本和性能要求，自动选择最合适的 LLM——既不浪费钱，也不牺牲质量。

核心功能：16+ 路由模型，覆盖四大场景

LLMRouter 支持超过 16 种路由模型，归纳为四大类别：

1. 单轮路由（Single-Round）：适合一次性问答场景，基于 query 特征直接路由。包括 KNN 路由（找最相似的历史查询）、SVM 路由（支持向量机分类）、MLP 路由（多层感知机预测难度）、矩阵分解路由、Elo 评分路由、图神经网络路由、BERT 编码路由、混合概率路由等。例如 MLP 路由器会预测"这个问题需要多大能力的模型"，然后路由到对应的 LLM。

2. 多轮路由（Multi-Round）：适合 Agent 复杂任务，支持多轮对话上下文追踪。Router-R1 是基于强化学习预训练的多轮路由模型，专门为 Agent 场景设计。

3. 个性化路由（Personalized）：学习每个用户的偏好，例如 GMTRouter 使用图神经网络建模用户关系图谱，实现个性化模型选择。

4. Agentic 路由：面向复杂任务分解场景，支持 KNN 多轮和 LLM-based 多轮路由。

图1：LLMRouter 核心架构 — 查询经过嵌入、路由模型推理，最终选择最合适的 LLM 候选模型。

技术细节：数据管道与训练流程

LLMRouter 提供完整的数据生成流水线，支持 11 个基准数据集（MMLU、GSM8K、HumanEval、MBPP、GPQA、TriviaQA 等），流程分三步：

1. Query 数据生成：从基准数据集提取 query，创建训练/测试 JSONL 文件
2. LLM Embedding 生成：为所有候选 LLM 创建元数据嵌入向量
3. API 调用与评估：调用 LLM API，评估响应质量，生成路由训练数据

训练一个路由器非常简单：llmrouter train --router knnrouter --config configs/model_config_train/knnrouter.yaml，推理同样一行命令。Router-R1 模型需要 GPU 支持（vLLM backend）。

项目依赖覆盖完整的 ML 技术栈：torch、transformers、sentencepiece、numpy、pandas、scikit-learn、torch-geometric（图神经网络）、gradio（Web UI）、fastapi、litellm（统一 LLM 调用）等。

Web UI：Gradio 交互界面

项目内置 Gradio 交互界面，无需 GPU 即可运行路由推理（--route-only 模式）。用户可以通过 Web 界面输入查询，实时查看路由器选择了哪个模型以及为什么。

启动命令：llmrouter chat --router knnrouter --config config.yaml --share，支持自定义 host/port，Gradio 自动生成公网分享链接，方便团队协作测试。

ComfyUI 可视化工作流

2026 年 2 月，项目新增 ComfyUI 节点支持，用户可以在可视化画布上拖拽节点，构建完整的数据生成 → 路由器训练 → 评估流程。所有节点按功能分类（Data、Single-Round、Multi-Round/Agentic），支持实时监控训练状态。

图2：LLMRouter ComfyUI 节点 — 拖拽式构建路由流水线。

RouteProfile：2026 年 5 月最新成果

2026 年 5 月，团队发布 RouteProfile 论文（arXiv:2605.00180），提出基于图结构的 LLM Profile 构建框架。核心思想：用户与 LLM 的交互历史可以建模为异构图（包含用户、查询、模型、响应等多种节点），通过图神经网络（GNN）学习节点嵌入，从而在冷启动场景下实现更准确的路由。RouteProfile 支持 flat profile、embedding-based、text-GNN、trainable GNN 四种 Profile 构建方式，在 SimRouter、MLPRouter、GraphRouter 上均取得显著提升。

部署评估

API Key 支持 NVIDIA（免费额度）、OpenAI、Anthropic、Ollama（本地模型）等多服务商，支持本地模型（用 Ollama/vLLM 托管，无需 API Key）。

行业意义

LLM 路由本质上是"LLM 领域的编译器优化"——编译器根据代码特征选择最优指令集，路由器根据 query 特征选择最优模型。随着大模型能力不断提升、API 价格持续下降，智能路由将成为降低成本、提升响应速度的关键基础设施。LLMRouter 作为首个开源的统一路由框架，已在学术和工业界产生影响力，其 RouteProfile 工作更是将图学习方法引入 LLM 调度这一新兴领域。