llm-gateway

项目背景：一个 LLM 网关的「零信任」解题思路

在企业 AI 落地的过程中，有两个问题始终困扰着运维团队：网络隔离和流量调度。

GPU 推理服务器往往部署在内网 NAT 后面，无法直接暴露给外部应用；不同模型的调用成本、延迟、可用性差异巨大，需要智能路由；多个后端实例之间还需要负载均衡和故障转移。这些问题通常需要拼凑 VPN、API 网关、服务网格才能解决——直到 openziti/llm-gateway 出现。

这是 OpenZiti 团队推出的开源项目，定位为「零信任 LLM 网关」，核心思路是：用零信任网络覆盖层解决连接问题，用语义路由解决智能分发问题。

核心功能

零信任网络（OpenZiti / zrok）

传统代理的致命弱点是：代理和后端之间仍然需要网络可达——要么同网段，要么开防火墙端口。llm-gateway 借助 OpenZiti 的覆盖网络（overlay），让网关和任意后端之间无需暴露端口，通过 zrok 共享令牌建立加密隧道。

这对企业场景意义重大：GPU 集群在云上或本地机房都行，穿越 NAT、防火墙、空气隔离网络都无需修改网络策略。

语义路由（Semantic Routing）

当客户端没有指定模型时，网关通过三层级联选择最优模型：

1. 关键词启发式：快速匹配关键字（如 "Python" → 选代码模型）
2. 向量相似度：对用户 query 做 embedding，在已知 prompt 示例集中找最相似匹配
3. LLM 分类器：前两者无法确定时，调用 LLM 做意图分类

这种方式比硬编码路由表灵活得多，适合多模型团队渐进式接入新模型。

多后端负载均衡

支持在配置中声明多个端点，附带权重参数。网关会：

• 定期健康检查（默认 30 秒间隔，5 秒超时）
• 被动故障转移（某后端报错自动切到其他节点）
• 加权轮询分发请求

支持的后端类型：OpenAI、Anthropic、Ollama、vLLM、llama-server、SGLang——以及任何兼容 /v1/chat/completions 接口的推理服务器。

安全与可观测性

• 虚拟 API Key：网关生成独立密钥，支持细粒度模型和路由白名单，适合多租户场景
• Anthropic 协议转换：OpenAI 格式 ↔ Anthropic Messages API 自动互转
• SSE 流式响应：所有 provider 均支持 Server-Sent Events 流式输出
• Prometheus + OpenTelemetry：开箱即用的可观测性，metrics 端点 /metrics 直连 Prometheus

部署方式

推荐：直接下载二进制

# Linux/macOS/Windows 均提供预编译二进制
# GitHub Releases: https://github.com/openziti/llm-gateway/releases
# 或 Go 一键安装
go install github.com/openziti/llm-gateway/cmd/llm-gateway@latest

# 配置文件示例（单后端）
cat > config.yaml << 'EOF'
listen: ":8080"
providers:
  local:
    base_url: "http://localhost:11434"  # Ollama
EOF

# 启动
llm-gateway run config.yaml

若需要多后端 + zrok 零信任

listen: ":8080"
zrok:
  share:
    enabled: true
    mode: private
providers:
  open_ai:
    api_key: "${OPENAI_API_KEY}"
  local:
    endpoints:
      - name: gpu-1
        base_url: "http://10.0.0.1:11434"
        weight: 3
      - name: gpu-2
        base_url: "http://10.0.0.2:11434"
      - name: remote-ollama
        zrok_share_token: "abc123"
    health_check:
      interval_seconds: 30
      timeout_seconds: 5
api_keys:
  enabled: true
  keys:
    - name: alice
      key: "sk-gw-..."
      allowed_models: ["claude-*", "gpt-*"]

从源码构建

git clone https://github.com/openziti/llm-gateway.git
cd llm-gateway
go install ./...

注意：源码构建需要 Go 1.26+。该版本要求较高，如果生产环境 Go 版本较旧，建议使用 Release 预编译包。

局限与注意事项

1. 无 Docker 支持：项目不提供 Dockerfile 或 docker-compose，无法容器化快速部署，需自行编写 Dockerfile
2. 无 Web UI：这是一个纯 API 网关，没有图形界面，所有配置通过 YAML 文件完成
3. Go 1.26+ 要求：源码构建依赖 Go 1.26 以上版本，CentOS 7 等老旧系统需要额外处理
4. 语义路由资源消耗：embedding 和 LLM 分类需要额外推理调用，轻量部署时需考虑开销
5. 文档面向高级用户：Getting Started 较完善，但进阶功能（如 Agora 覆盖网络）文档较少

行业意义

LLM 网关赛道已经拥挤，但大多数方案聚焦在「协议转换」（把 OpenAI API 转成 Ollama 格式之类）。llm-gateway 的差异化在于将零信任网络引入 LLM 流量调度——这是云原生时代的企业刚需。

OpenZiti 团队本身在网络overlay领域积累深厚（Ziti、zrok 等项目），将这一能力延伸至 AI infra，填补了「安全访问内网 GPU 推理服务」的场景空白。随着企业 AI 合规要求提升（数据不出网、访问可审计），这类零信任 AI 网关的价值会愈发凸显。

GitHub: https://github.com/openziti/llm-gateway License: Apache-2.0