ADR · 安全与评测

ADR：Uber 开源的企业级 AI 代理安全检测系统

一家科技巨头的安全焦虑：为什么 Uber 要自己造轮子

2025 年，Cursor、Claude Code、Codex 等 AI 编码工具正在全球科技公司大行其道——开发者用自然语言指挥 AI 写代码、查文档、甚至代替自己与内部系统交互。但鲜为人知的是，这些"聪明"的代理（Agent）同样可以成为攻击者的利器：Prompt 注入、数据泄露、权限滥用……当企业员工在日常工作中频繁使用 AI 代理处理邮件、文档和内部系统时，一条全新的攻击面正在悄然成形。

Uber 就是最早感受到这种焦虑的公司之一。随着内部 AI 编码工具的普及，安全团队意识到：传统的安全监控手段对 AI 代理的行为完全"看不见"——传统安全工具不知道代理在干什么，不知道它调了哪些工具，也不知道它的决策是否偏离了安全边界。

于是，ADR（Agentic AI Detection and Response） 诞生了。

2026 年，ADR 的学术论文被 MLsys 2026 接收，正式从企业内部工具走向开源社区。

什么是 ADR？四层防御体系解读

ADR 不仅仅是一个检测工具，而是一套完整的企业级 AI 代理安全体系，包含四个互补的能力模块：

1. ADR Sensor（可观测性层）

Sensor 是整个系统的"眼睛"。 它是一个 Python 库，安装在开发者工作站上，负责从 AI 编码代理（Claude Code、Cursor、Codex 等）实时收集遥测数据——包括代理的意图声明、工具调用行为、执行轨迹等。

Sensor 的核心价值在于统一化：不同 AI 代理的日志格式、数据结构差异巨大，Sensor 将这些碎片化的数据标准化为统一的结构化格式，输送到后端进行分析。Sensor 支持 macOS、Linux、Windows 三大平台，同时也能对接企业内部自动化系统和客服代理。

从代码结构看，Sensor 以 adr_sensor 包为核心，提供了清晰的接口层和示例代码，测试覆盖也比较完善。

2. ADR-Bench（基准测试层）

如果 Sensor 是眼睛，Benchmark 就是标尺。

ADR-Bench 是目前最全面的 AI 代理安全基准测试集，包含：

303 个基准测试任务，覆盖真实的企业级使用场景
133 个 MCP（Model Context Protocol）服务器，模拟真实的企业工具生态
17 种代理攻击技术的完整覆盖

MCP 是 Anthropic 主导的 AI 代理上下文协议，当前已经有 133 个主流服务支持 MCP。ADR-Bench 对这些服务器进行了系统化的安全测试，堪称 AI 代理安全领域的 "ImageNet"。

基准测试需要配置 Anthropic API Key 和 OpenAI API Key，并通过 uv sync 安装依赖后执行 main_benchmark.py。

3. ADR Detection（检测层）

Detection 是 ADR 的"大脑"——双代理检测架构。

ADR 采用了两层检测架构：

第一层：高召回率 triage（分诊）代理：快速扫描所有代理会话，对异常行为进行初步筛选，避免漏报
第二层：深度 agentic reasoning（代理推理）代理：对 triage 标记的可疑会话进行更深入的分析，利用 LLM 的推理能力判断是否存在真实威胁

这种"粗筛 + 精判"的二层架构在保证检测覆盖率的同时控制了计算成本——毕竟对每条代理日志都调用昂贵的 LLM 进行深度推理是不现实的。

检测配置通过 config_detector.yaml 管理，支持多种检测器（默认 adr 即双代理检测器，也支持 llamafirewall 等基线检测器用于 smoke test）。代码使用 Pydantic 进行数据建模，体现了良好的工程实践。

4. ADR Prevention（预防层）

预防模块当前未开源——ADR 团队预告"Stay tuned"，这意味着能够主动阻断不安全行为的主动防御机制尚在开发中。

技术架构：分层解耦，各司其职

[AI Coding Agent] ──→ [ADR Sensor] ──→ [遥测数据流]
                                           │
                    ┌──────────────────────┴──────────────────────┐
                    ↓                                              ↓
            [ADR Detection]                                [ADR-Bench]
         双代理威胁检测器                              基准测试 + MCP服务器
                    │                                              │
                    └──────────────────┬───────────────────────────┘
                                       ↓
                              [安全运营平台 / SIEM]

从代码结构看，项目分为两大子包：

Sensor/：纯 Python 包，通过 pyproject.toml 定义依赖，支持 uv 和标准 pip 安装
Detection/：基准测试框架，同样使用 uv 管理依赖，main_benchmark.py 和 main_detector.py 是核心入口

项目整体使用 Python 3.10-3.12，依赖 Pydantic 进行数据验证和建模，YAML 文件管理配置，无 Web UI，属于纯后端/研究型工具。

上手体验：门槛不低，但文档清晰

部署难度：较难。 主要障碍有三：

API Key 配置：完整运行 Detection 和 Benchmark 需要有效的 Anthropic API Key 和 OpenAI API Key，这对个人开发者来说有成本门槛
GPU 要求：运行完整基准测试涉及大量 LLM 调用，虽然 Sensor 本身不需要 GPU，但 Benchmark 的评测流程在 GPU 环境中效率更高
依赖管理：项目使用 uv 作为包管理器，对于不熟悉 uv 的用户有一定学习成本

上手路径（参考 docs/REPRODUCIBILITY.md）：

git clone https://github.com/uber/ADR
cd ADR/Detection
uv sync
export ANTHROPIC_API_KEY="***" OPENAI_API_KEY="***"
# 运行基准测试
python main_benchmark.py --task_ids 1-50 --detector adr

值得注意的是，项目提供了 llamafirewall 检测器作为"keyless smoke test"选项，无需 API Key 即可运行基础测试，这对快速验证安装很有帮助。

局限与争议：不完美的企业安全方案

ADR 并不是银弹，其局限性值得坦诚讨论：

Prevention 缺失：Detection 再精准，如果不能主动阻断，攻击仍然会发生。现阶段 ADR 只能"看见"和"告警"，无法"行动"
Sensor 的隐私代价：Sensor 运行在开发者终端上，实时收集所有代理行为数据——这本身就带来了隐私争议。企业员工是否知道自己被监控？Sensor 数据如何防止被滥用？
覆盖范围有限：目前主要覆盖 AI 编码工具，对其他类型的 AI 代理（如客服代理、办公代理）的支持尚在发展中
基准测试的时效性：AI 代理的攻击技术在快速演进，133 个 MCP 服务器和 17 种攻击技术的覆盖是否能跟上现实威胁的演化速度，是一个持续挑战

行业意义：企业 AI 安全的先行者

ADR 的开源发布有两个层面的意义：

对 AI 安全研究社区：ADR-Bench 提供了首个系统化的 AI 代理安全基准，133 个 MCP 服务器的覆盖是目前最全面的。这让安全研究者可以在标准化环境下评估不同检测方案的效果，而不是各自为战。

对企业安全团队：Uber 将内部已验证的安全方案开源，意味着其他企业不必从零开始构建 AI 代理安全能力。ADR 提供了从可观测性到威胁检测的完整思路参考。

从增长曲线看，AI 代理安全正在成为 2025-2026 年最热门的网络安全细分领域之一——随着 MCP 协议的普及和 AI 代理在企业中的深度渗透，"看不见的代理行为"带来的安全盲区将越来越不可接受。ADR 代表了一种趋势：不是等出了问题再补救，而是从一开始就在代理层面建立可观测性和防御机制。

对于关注 AI 安全的开发者，ADR 是一个值得深入研究的开源项目——它既是一个生产级系统，也是一个学术研究框架。对于关注企业落地的开发者，Sensor 模块相对独立，可以作为在团队内部引入 AI 代理可观测性的切入点。