Higress：云原生 AI 网关，让大模型 API 管理更简单

想象一下：你的团队同时接入了 OpenAI Claude、通义千问、DeepSeek 等多个大模型服务商，每次切换模型都要改代码、改配置，后端路由逻辑越堆越乱。更头疼的是，怎么统一管理 API Key、怎么防止流量超限、怎么追踪 token 消耗？

Higress 就是来解决这个问题的——它是一个专门为 AI 时代打造的云原生 API 网关，基于 Istio + Envoy，内置 19 个 AI 专项插件，一行命令就能跑起来。

背景：从阿里内部走出来的网关

Higress 最初诞生于阿里巴巴内部，用来解决两个老大难问题：一是 Tengine 重载时会影响长连接服务，二是 gRPC/Dubbo 场景下负载均衡能力不够用。经过阿里内部大规模生产验证后，于 2022 年底开源并捐赠给 CNCF 基金会，目前是 CNCF Sandbox 项目，在阿里云上作为 API 网关商业产品的底座。

架构图

图1：Higress 整体架构图

核心能力：AI 网关全家桶

1. 统一路由：多模型自动分发

Higress 内置的 AI Proxy 插件是其最核心的能力。它实现了 OpenAI API 契约，支持 OpenAI、Azure OpenAI、通义千问（Qwen）、Moonshot、Kimi 等国内外主流模型服务商。更重要的是，它支持协议自动转换：客户端用 OpenAI 协议发送请求，如果目标模型是 Claude，插件会自动做协议转换，反之亦然。这意味着你不需要在业务代码里写任何模型适配逻辑，网关全部兜底。

2. MCP Server 托管：让 AI Agent 真正能调用工具

MCP（Model Context Protocol）是 2024 年大模型领域的热门协议，它让 AI Agent 能够通过标准化的方式调用外部工具。Higress 支持通过插件机制托管 MCP Server，提供 MCP Router 插件，可以将多个 MCP Server 的工具汇聚到单一端点，客户端只需请求一个地址，网关根据工具名前缀自动分发到对应后端。

Higress 还提供了 openapi-to-mcp 工具，可以将任何 OpenAPI 规范快速转换为远程 MCP Server，进一步降低 MCP 生态的接入门槛。

AI插件展示

3. AI 专项插件矩阵

Higress 提供了 19 个专门针对 AI 场景的 Wasm 插件：

流量控制：ai-quota（额度管理）、ai-token-ratelimit（Token 级限流）、ai-load-balancer（多模型负载均衡）
数据处理：ai-prompt-decorator（Prompt 注入）、ai-prompt-template（模板管理）、ai-transformer（响应转换）
记忆与缓存：ai-cache（对话缓存）、ai-history（历史消息管理）、ai-rag（RAG 上下文注入）
安全与观测：ai-security-guard（恶意 Prompt 防护）、ai-statistics（Token 消费统计）

这些插件均基于 Wasm 开发，可以用 Go、Rust、JavaScript 等语言编写，支持热更新。

快速部署：5 分钟跑起来

Higress 最大的亮点是零门槛部署。Docker 一行命令启动 all-in-one 模式，配置文件自动写入当前目录，非常适合本地开发和测试：

mkdir higress && cd higress
docker run -d --rm --name higress-ai \
  -v ${PWD}:/data \
  -p 8001:8001 -p 8080:8080 -p 8443:8443 \
  higress-registry.cn-hangzhou.cr.aliyuncs.com/higress/all-in-one:latest

启动后访问 http://localhost:8001 即可进入 Web 管理控制台。

路由配置界面

图2：Higress 路由配置界面

对于生产环境，支持 Helm Chart 一键部署到 Kubernetes，提供完整的企业级能力。

技术架构：Istio + Envoy 的最优组合

Higress 底层基于 Envoy（数据面）和 Istio（控制面概念），但做了大量裁剪和优化——移除了 xDS 的复杂性，保留了核心的路由和过滤能力。核心使用 Go 语言开发，插件系统基于 Envoy 的 Wasm ABI，兼顾了高性能和低内存开销。

代码仓库结构清晰：

pkg/core/ — 核心网关逻辑（Ingress、MCP Server）
pkg/bootstrap/ — 启动配置加载
plugins/wasm-go/extensions/ — AI 相关插件（Go 语言）
plugins/wasm-rust/extensions/ — 高性能插件（Rust 语言）
helm/ — Kubernetes 部署配置
cmd/higress-core/ — 主程序入口

局限与争议

Higress 定位明确，局限性也比较明显：

1. 非 AI 场景不如传统网关：Higress 的 AI 插件矩阵非常强大，但对于非 AI 的传统 REST/gRPC 路由场景，功能不如 Kong 或 Apache APISIX 丰富。

2. 阿里云强绑定风险：all-in-one 镜像默认从阿里云容器镜像仓库拉取，生产环境建议自建镜像仓库。

3. 插件生态还在早期：19 个 AI 插件覆盖了常见场景，但相比 Apache APISIX 上百个插件，生态差距还很大，第三方插件开发社区还不够活跃。

行业意义：AI Gateway 赛道的新选手

随着 LLM API 调用成本持续下降，多模型组合使用成为主流，AI Gateway 的需求在 2024-2025 年迎来爆发。Higress 凭借阿里内部大规模生产验证、CNCF 品牌背书、以及丰富的 AI 插件矩阵，在 AI Native API Gateway 这个细分赛道占据了独特位置。

如果你正在构建 AI Agent 系统、需要统一管理多个模型 API、或希望给 LLM 调用加上安全护栏，Higress 值得一试——5 分钟就能本地跑起来，门槛极低。

项目信息

GitHub：https://github.com/higress-group/higress
官网：https://higress.ai
许可证：Apache-2.0
主要语言：Go
Topics：ai-gateway, ai-native, api-gateway, cloud-native, envoy

Higress：云原生 AI 网关，让大模型 API 管理更简单

Higress 就是来解决这个问题的——它是一个专门为 AI 时代打造的云原生 API 网关，基于 Istio + Envoy，内置 19 个 AI 专项插件，一行命令就能跑起来。

背景：从阿里内部走出来的网关

架构图

图1：Higress 整体架构图

核心能力：AI 网关全家桶

1. 统一路由：多模型自动分发

2. MCP Server 托管：让 AI Agent 真正能调用工具

Higress 还提供了 openapi-to-mcp 工具，可以将任何 OpenAPI 规范快速转换为远程 MCP Server，进一步降低 MCP 生态的接入门槛。

AI插件展示

3. AI 专项插件矩阵

Higress 提供了 19 个专门针对 AI 场景的 Wasm 插件：

流量控制：ai-quota（额度管理）、ai-token-ratelimit（Token 级限流）、ai-load-balancer（多模型负载均衡）
数据处理：ai-prompt-decorator（Prompt 注入）、ai-prompt-template（模板管理）、ai-transformer（响应转换）
记忆与缓存：ai-cache（对话缓存）、ai-history（历史消息管理）、ai-rag（RAG 上下文注入）
安全与观测：ai-security-guard（恶意 Prompt 防护）、ai-statistics（Token 消费统计）

这些插件均基于 Wasm 开发，可以用 Go、Rust、JavaScript 等语言编写，支持热更新。

快速部署：5 分钟跑起来

Higress 最大的亮点是零门槛部署。Docker 一行命令启动 all-in-one 模式，配置文件自动写入当前目录，非常适合本地开发和测试：

mkdir higress && cd higress
docker run -d --rm --name higress-ai \
  -v ${PWD}:/data \
  -p 8001:8001 -p 8080:8080 -p 8443:8443 \
  higress-registry.cn-hangzhou.cr.aliyuncs.com/higress/all-in-one:latest

启动后访问 http://localhost:8001 即可进入 Web 管理控制台。

路由配置界面

图2：Higress 路由配置界面

对于生产环境，支持 Helm Chart 一键部署到 Kubernetes，提供完整的企业级能力。

技术架构：Istio + Envoy 的最优组合

代码仓库结构清晰：

pkg/core/ — 核心网关逻辑（Ingress、MCP Server）
pkg/bootstrap/ — 启动配置加载
plugins/wasm-go/extensions/ — AI 相关插件（Go 语言）
plugins/wasm-rust/extensions/ — 高性能插件（Rust 语言）
helm/ — Kubernetes 部署配置
cmd/higress-core/ — 主程序入口

局限与争议

Higress 定位明确，局限性也比较明显：

1. 非 AI 场景不如传统网关：Higress 的 AI 插件矩阵非常强大，但对于非 AI 的传统 REST/gRPC 路由场景，功能不如 Kong 或 Apache APISIX 丰富。

2. 阿里云强绑定风险：all-in-one 镜像默认从阿里云容器镜像仓库拉取，生产环境建议自建镜像仓库。

3. 插件生态还在早期：19 个 AI 插件覆盖了常见场景，但相比 Apache APISIX 上百个插件，生态差距还很大，第三方插件开发社区还不够活跃。

行业意义：AI Gateway 赛道的新选手

如果你正在构建 AI Agent 系统、需要统一管理多个模型 API、或希望给 LLM 调用加上安全护栏，Higress 值得一试——5 分钟就能本地跑起来，门槛极低。

项目信息

GitHub：https://github.com/higress-group/higress
官网：https://higress.ai
许可证：Apache-2.0
主要语言：Go
Topics：ai-gateway, ai-native, api-gateway, cloud-native, envoy