api-relay-audit
toby-bridges/api-relay-audit加载项目详情…
本应用为开源项目，仅供学习研究，请遵守其开源协议。
微信扫码咨询客服
POMOAI — 让开源 AI 即刻运行
加载项目详情…
本应用为开源项目，仅供学习研究，请遵守其开源协议。
想象一下：你花了大价钱接入了某家 AI API 中转服务，对方承诺用的是 Claude 3.5 Sonnet，价格比官方便宜 30%。你把密钥配置到自己的 AI 编程助手或者 AI 工作流里，开始日常使用。三个月后，你发现账单莫名飙高，输出的内容质量越来越不稳定，工具调用行为也和预期不符。
你怀疑是中转站在搞鬼——但你有证据吗？
API Relay Audit 解决的就是这个问题：它是一个本地运行的安全审计工具，专门用来检测第三方 AI API 中转站和 LLM Proxy 是否对你的请求做了手脚。
随着 Claude、GPT-4 等大语言模型 API 的广泛普及，市面上涌现了大量第三方 API 中转服务。这些服务以"绕过地域限制"、"价格优惠"、"即插即用"为卖点，吸引了大量个人开发者和中小企业用户。然而，中转站本质上是一个"中间人"——它接收你的 API 请求，转发给上游 provider，再把响应返回给你。在这个过程中，中转站有能力对请求和响应进行任意修改。
2024 年以来，安全研究社区开始关注 AI 中转站的安全风险。arXiv 上的两篇重要论文奠定了这个领域的理论基础：
API Relay Audit 的威胁分类体系正是基于这两篇论文构建的。
项目将审计拆分为 4 个查询家族（Query Family），每个家族保持独立的证据边界，确保结果不会互相混淆：
| 查询家族 | 适用场景 | 包含步骤 | 证据边界 |
|---|---|---|---|
| API 中转审计 | 通用中转站审查 | general/full | 生成本地报告，非安全证书 |
| 提示词注入审计 | 检测隐藏注入、泄露、指令覆盖 | Steps 3-6 | 记录提示词证据，不发布私钥 |
| 模型替换信号 | 模型身份、延迟、上游通道指纹 | Steps 5,10,13,14 | 自身特征信号，非独立证明 |
| Web3 中转审计 | 钱包敏感操作前检查 | web3/full | 场景受限，通用审计≠钱包安全 |
14 步审计覆盖的检测项目：
每次审计运行后生成结构化的 Markdown 报告，包含每步的独立发现和最终 LOW / MEDIUM / HIGH 判定结论。
图1：API Relay Audit 项目维护者 toby-bridges 的 GitHub 头像
项目提供了两种使用方式，适合不同场景：
audit.py)这是项目的主推分发方式。一个 267KB 的单文件脚本，通过 curl 子进程执行所有 HTTP 调用，Python 端仅使用标准库 + httpx。使用方式极其简洁：
curl -fsSL "https://raw.githubusercontent.com/toby-bridges/api-relay-audit/v2.3.0/audit.py" -o audit.py
python3 audit.py --key "$API_KEY" --url "$RELAY_URL" --output report.md
审计脚本会依次执行 14 个检测步骤，每步发送特定的探测请求，分析响应中的异常信号，最终汇总为一份本地可审查的 Markdown 报告。API 密钥只发给你指定的 relay URL，不会经过任何第三方。
api_relay_audit/ + scripts/)如果你想深入理解审计逻辑、定制检测规则或扩展新场景，可以使用模块化版本。代码结构按功能分为多个子模块：
| 模块 | 核心功能 |
|---|---|
client.py | HTTP 客户端封装，处理 SSE 流式响应 |
stream_integrity.py | SSE 流完整性检测，识别注入的 data 事件 |
error_leakage.py | 错误响应泄露分析，检测中转站是否暴露上游错误细节 |
tool_substitution.py | 工具调用替换检测，验证工具名称/参数是否被篡改 |
identity_patterns.py | 模型身份一致性分析，检测非预期模型泄露 |
channel_classifier.py | 上游通道分类，识别中转站背后的真实 provider |
latency_variance.py | 延迟方差分析，通过响应时间特征推断基础设施 |
infra_fingerprint.py | 基础设施指纹采集，构建中转站网络特征 |
context.py | 上下文截断检测，验证长对话是否被意外截断 |
error_diagnosis.py | 错误诊断辅助模块 |
connectivity.py | 连接性检测，验证中转站可达性和协议兼容性 |
refusal.py | 拒绝行为检测，验证模型的安全过滤是否生效 |
web3/ | Web3 专用检测模块（钱包安全相关） |
项目维护者还编写了详尽的中文代码注释文档（docs/python-code-explanation-zh.md，约 40KB），对核心逻辑做了逐行解读，大幅降低了定制和审计的学习门槛。
项目包含了 15+ 个测试文件，覆盖了几乎所有核心模块：
test_client.py / test_client_stream.py：HTTP 客户端和流式响应测试test_error_leakage.py：错误泄露检测测试test_identity_patterns.py：模型身份一致性测试test_channel_classifier.py：上游通道分类测试test_dual_distribution_parity.py：双重分布奇偶性测试test_clean_summary_flags.py：报告摘要标志清理测试test_fail_open_step_wrapper.py：容错步进包装测试测试文件总行数超过 20 万字节，体现了极高的测试驱动开发意识。
只需两步：
curl -fsSL https://.../audit.py -o audit.pypython3 audit.py --key <KEY> --url <URL> --output report.md依赖环境：Python 3.8+ + curl，没有其他要求。安装时间不超过 2 分钟。
项目提供了静态 HTML 报告查看器（web/index.html + web/data-example.json），部署在 GitHub Pages 上。要在本地或 NAS 上部署，需要借助 deploy/deploy-nas.sh 脚本。该脚本通过 sshpass + Docker 将静态文件部署到 NAS 的 nginx 容器中，适合需要内网访问或私有化部署的场景。
项目还发布了 OpenClaw Skill 和 Hermes Skill 定义文件，可以将审计能力集成到 AI Agent 工作流中。当 Agent 需要依赖第三方中转站处理编码、工具调用或钱包相关流量时，可以先调用审计 skill 生成一份本地可审查的报告，再决定是否信任该中转站。
API Relay Audit 是一个信号收集工具，而非安全证书。它的输出结果是"审计报告"，反映的是特定时间点对特定中转站的探测结果，不能替代对中转站提供商的信任评估。以下几点需要特别说明：
web3 profileAI API 中转站市场在 2024-2025 年经历了爆发式增长，但监管和透明度严重滞后。用户往往只能"相信"中转站不会作恶，却没有工具来验证。API Relay Audit 填补了这个空白——它让每个用户都有了"审计权"，不需要依赖第三方安全机构，自己就能对中转站进行可重复的安全评估。
从项目本身的数据看（上线约 3 个月，708 stars，15+ topics 覆盖），说明这个工具精准命中了市场需求。随着 AI Agent 和 Web3 AI 应用的工作流复杂度提升，对中转站安全性的需求只会越来越大。API Relay Audit 有望成为 AI 安全工具链中的基础设施级项目。
项目基本信息