gateway
Portkey-AI/gateway加载项目详情…
本应用为开源项目，仅供学习研究，请遵守其开源协议。
微信扫码咨询客服
POMOAI — 让开源 AI 即刻运行
加载项目详情…
本应用为开源项目，仅供学习研究，请遵守其开源协议。
如果你同时用着 GPT-4 做翻译、Claude 写代码、Gemini 处理图片——那你的代码里可能塞满了三套不同的 API 调用逻辑。每换一次模型，代码就要改一遍。更别提要加个内容安全过滤、做请求日志、或者在某个 API 突然抽风时自动切换到备用模型。这些「周边需求」几乎每个 AI 应用都要做，做完一遍又一遍。
Portkey AI Gateway 就是来解决这个问题的。它是一个开源的 AI 网关，让你只用一个统一的 API 接口，调用全球 250+ 个大语言模型，同时自带请求追踪、内容安全过滤、负载均衡等企业级功能。简单说，它就是 AI 模型世界的「万能转接头」。
图1：Portkey AI Gateway 核心界面，展示多模型路由能力
Portkey AI 成立于 2022 年，团队来自 Google、Meta 和 Uber，专注 LLM 应用的可观测性和可靠性。他们的核心产品是闭源的 AI 应用管理平台，Gateway 是其开源版本，面向有自建需求的团队。
在实际落地 AI 应用时，开发者普遍面临几个痛点：第一，不同模型 API 格式不统一，OpenAI 用 chat/completions，Anthropic 用 messages，Google 用 generateContent，接入每个都要写一套适配代码。第二，没有统一的日志和追踪，出问题时不知道是哪个模型在作妖。第三，内容安全完全依赖模型自身，无法做统一的内容过滤层。Portkey AI Gateway 的诞生，就是把这些共性需求打包成一个开源解决方案。
该项目在 GitHub 上拥有 11,883 颗星（截至 2026 年 5 月），被 1,089 个项目 fork，话题标签涵盖 llm、langchain、llmops、ai-gateway 等，是当前最活跃的 AI 网关开源项目之一。
Gateway 最基础也最核心的功能，是把各种模型的 API 封装成统一的 /v1/chat/completions 风格接口。开发者只需要把原本发往 api.openai.com 的请求，改发到本地 Gateway 地址，就可以自由切换模型：OpenAI、Anthropic、Google、AWS Bedrock、Azure、Groq、Mistral……目前支持超过 40 个服务提供商的 250+ 模型。
这种设计带来的实际好处是：可以在不修改业务代码的情况下，通过配置文件切换模型。比如你正在用 GPT-4 做产品评测，Claude 3 发布后想对比效果，只需要改一行配置，无需改动任何业务逻辑代码。
Gateway 内置了超过 50 种 AI 安全护栏（Guardrails），这是一个容易被忽视但极其重要的能力。这些护栏可以在请求发出前和响应返回后，对内容进行多维度检测，包括：
这些护栏通过插件系统实现，支持 Acuvity、Azure AI Content Safety、Pangea、Patronus 等主流安全服务。开发者可以根据合规需求灵活组合，而不是每接一个模型就配一套安全策略。
Gateway 集成了 APM（应用性能监控）能力，每次 LLM 调用都会自动记录：请求内容、响应内容、延迟、token 消耗、模型选择等。这些数据对于排查 AI 应用的「幻觉」问题、优化 Prompt、以及做成本分析都至关重要。
特别是当一个应用同时调用多个模型时，哪个模型的响应最快、哪个模型的费用最高、哪个模型的准确率更好——这些信息通过 Gateway 的追踪面板一目了然。
2024 年最火热的 AI 方向是 Agent（AI 智能体），而 Agent 的核心能力之一是与外部工具和数据源交互。Anthropic 提出的 MCP（Model Context Protocol）协议，就是为了统一 AI Agent 与工具之间的通信标准。
Portkey AI Gateway 提供了 MCP Gateway 功能，支持管理 MCP 服务器，提供企业级认证和可观测性。这意味着如果你在构建 AI Agent 应用，Gateway 可以作为 Agent 调用外部工具的统一入口，同时保证所有交互都有日志和权限控制。
Gateway 支持基于话题（topic）的路由策略，可以将不同类型的请求分发到不同的模型。比如日常对话用轻量快速的模型，复杂推理用最强的模型，在保证体验的同时控制成本。它还支持重试策略（retry）、速率限制（rate limiting）和缓存（cache），这些是企业级 API 管理的标配能力。
从代码结构看，Gateway 是一个典型的 Node.js/TypeScript 项目，采用 Hono 作为 Web 框架——这是一个轻量、高性能的 Web 框架，兼容 Express/Koa API 的同时体积小得多。
核心目录结构体现了清晰的分层设计：
src/handlers/：处理各种 HTTP 请求路由（chat、completions、embeddings 等）src/providers/：各模型提供商的适配器（每个模型一个适配器类）src/middlewares/：中间件（认证、日志、安全过滤等）src/services/：核心业务逻辑服务src/apm/：应用性能监控集成plugins/：插件系统，支持 Acuvity、Azure、AWS Bedrock、Mistral、Pangea、Patronus 等第三方安全服务Gateway 另一个技术亮点是 Cloudflare Workers 原生支持。它可以使用 Wrangler（Cloudflare 的 CLI 工具）直接部署到 Cloudflare 全球边缘网络，实现全球最低延迟的 LLM 路由——你的用户在美国，请求可以被路由到距离最近的可用模型节点。这种部署方式也意味着完全不用管理服务器，按请求量计费。
依赖栈方面，Gateway 使用了 jose（JWT 处理）、zod（数据验证）、async-retry（重试逻辑）、avsc（Avro 序列化）、ioredis（Redis 缓存）等成熟库，整体技术选型现代且务实。
这是 Gateway 做得非常好的地方：部署门槛极低。官方提供了完整的多阶段 Dockerfile 和 docker-compose.yaml，一个命令就能启动：
docker-compose up
Gateway 默认监听 8787 端口，同时启动一个 Web Console（/public/ 路径），可以直接在浏览器里测试各种模型的调用、查看请求日志、配置路由策略。对于刚接触这个项目的开发者，这个 Console 大大降低了上手门槛。
部署难度被评为「简单」，预计耗时约 2 分钟。硬件要求也很低：不需要 GPU，512MB 内存、200MB 磁盘空间即可。唯一需要准备的是各个 LLM 提供商的 API Key（填入 conf.json 配置文件）。
官方还提供了 AWS EC2 快速部署模板和 Kubernetes YAML，可以在生产环境一键部署。对于企业用户，还有闭源的 Enterprise 版本提供 SLA 保证和额外安全功能。
没有任何工具是完美的，Gateway 也有几个值得注意的点：
首先，它是一个代理层，而非 LLM 本身。模型本身的能力天花板不受 Gateway 影响，但如果 Gateway 本身出现故障，所有依赖它的 AI 功能都会中断。所以生产环境需要高可用配置（如多实例 + 负载均衡）。
其次，统一接口虽然方便，但也意味着灵活性牺牲。各模型的独特功能（如 OpenAI 的 Function Calling 格式、Claude 的 Tool Use）在统一封装后，可能无法直接访问，需要查看 Gateway 是否提供了对应的高级参数支持。
第三，开源版本和 Enterprise 版本之间有功能差距。如果你的团队需要 SSO 登录、高级安全审计、私有模型支持等能力，可能需要购买 Enterprise 版。这本身无可厚非，但需要提前了解清楚。
Portkey AI Gateway 的出现，反映了一个更大的趋势：随着 LLM 生态从「单模型时代」进入「多模型时代」，如何高效管理多模型调用、保证稳定性、实现成本优化，成为所有 AI 应用团队都要面对的问题。Gateway 正是这个需求的产物。
从 GitHub 数据看，这个项目的 star 增长曲线相当陡峭，社区活跃度高， contributors 来自多个组织。考虑到 AI 应用对可靠性的天然要求，以及 LLMOps 领域的持续火热，这类基础设施工具的生命力会很强。
如果你正在构建 AI 应用，或者已经在用多个 AI 模型，Portkey AI Gateway 是一个值得认真评估的开源选项——它的安装和使用门槛足够低，能力边界足够宽，社区活跃度也足够高。不妨用 docker-compose up 花 2 分钟跑起来试试。