orbit

你坐在办公室里，手里攥着一叠合同，周转了好几圈才找到对应的政策文档。同事发来消息：「这个客户投诉怎么处理？」你不得不去翻邮件、查系统、对数据，眼看半小时就过去了。

这是企业中 AI 落地的典型困境——不是没有大模型，而是数据分散在各个角落：SQL 数据库里有交易记录，MongoDB 里存着会话日志，Elasticsearch 里是搜索日志，文件服务器里还有一堆 PDF 和 Excel。你需要的是一把统一的钥匙，能用自然语言同时打开所有这些数据柜。ORBIT 正是为解决这个痛点而生的。

ORBIT（Open Retrieval-Based Inference Toolkit）是一个开源的本地 AI 网关，由独立开发者 schmitech 于 2025 年 3 月创建。与其说它是一个聊天界面，不如说它是一套自托管的 AI 数据中台：在它身后，可以接入 Ollama、vLLM、OpenAI、Anthropic、 Gemini 等 37 种推理后端；在它身前，开发者可以用标准的 OpenAI SDK 访问所有这些模型；在这中间，ORBIT 提供了 RAG 检索、SQL 自然语言查询、MCP 工具代理等一整套能力。

举一个具体的场景：你用自然语言问 ORBIT：「最近三个月投诉最多的产品类别是什么？」ORBIT 会自动完成以下步骤——调用 LLM 理解用户意图 → 生成 SQL 查询语句 → 连接 PostgreSQL 执行查询 → 把结果喂给模型生成自然语言回答。整个过程用户不需要写一句 SQL，也不需要写任何代码。

在技术架构上，ORBIT 基于 FastAPI 构建，使用 Python 3.12+ 开发。服务端分为多个模块：server/adapters/ 包含所有适配器实现（文件、RAG、Elasticsearch、HTTP、intent 等）；server/inference/ 处理模型推理流水线；server/routes/ 管理 REST API 路由；server/middleware/ 实现认证、限流等横切关注点；server/tools/ 和 server/services/ 提供 MCP 工具代理和服务编排能力。核心依赖包括 uvicorn（ASGI 服务器）、FastMCP（MCP 协议支持）以及 MongoDB（日志存储）。

本地部署非常友好。项目提供了完整的 Dockerfile（基于 python:3.12-slim，包含多阶段构建优化）和 docker-compose.yml（默认包含 Ollama 容器，开箱即用）。对于 NVIDIA GPU 用户，只需叠加 docker-compose.gpu.yml 即可启用 CUDA 加速。生产环境还支持 YAML 配置文件驱动、热适配器重载、TLS 加密（自定义密码套件）和多工作进程模式。

值得注意的是，ORBIT 强调「无 LangChain 依赖」——它用一套自研的、bounded（有限步数）的服务端 agent 循环来实现工具调用和 function calling，而不是依赖 LangChain/AutoGen/CrewAI 这类重型编排框架。这意味着更低的运维复杂度和更透明的执行逻辑。

在企业级能力方面，ORBIT 支持 API Key 管理、RBAC 角色权限控制、SSO（Entra ID / Auth0 OIDC）、按 Key 路由模型、速率限制、Token 配额、内容审核、断路器、审计日志等完整的生产控制能力。对于受监管行业（医疗、金融、政府），纯本地部署架构确保敏感数据完全不离开企业内网。

当前版本为 2.8.2，项目保持着活跃的开发节奏（最后更新 2026-07-05），支持 Google A2A（Agent-to-Agent）协议，允许通过 /.well-known/agent.json 进行 agent 发现和任务委派。综合来看，ORBIT 是一个定位清晰、功能全面、面向生产的企业 AI 网关解决方案。