Astronomer Agents：让 AI 代理成为数据工程师的瑞士军刀

想象一个场景：凌晨 2 点，你被 PagerDuty 告警叫醒——生产环境的某个 DAG 运行失败了。登录 Airflow Web UI，翻了 3 层菜单才找到那个任务，看日志、查依赖、改代码、再部署，一套下来半小时过去了。而现在，有了 Astronomer Agents，你只需要对 AI 说一句「查看这个 DAG 为什么失败了」，它就能帮你读日志、调 API、甚至生成修复方案。

Astronomer Agents 就是这样一套工具——它把 AI 代理（Claude Code、Cursor 等）和 Apache Airflow 数据编排平台连接起来，让数据工程师可以用自然语言操控复杂的 DAG 工作流。

背景：AI 编程工具井喷，但数据工程师被落下了

2024-2025 年，AI 编程工具迎来爆发式增长。Claude Code、Cursor、Windsurf、GitHub Copilot 等工具让软件工程师的编码效率大幅提升，但数据工程师这个群体却发现自己被「冷落」了——他们的核心工作不是写业务代码，而是维护和编排 ETL/ELT 数据管道，这些任务高度依赖 Airflow、dbt、Spark 等特定工具的上下文。

Astronomer（Apache Airflow 的商业公司，提供 Astro 云平台）敏锐地捕捉到了这个痛点。他们在 2024 年推出了 astro-airflow-mcp，将 Airflow 的 REST API 封装为 MCP（Model Context Protocol）服务器，让 AI 代理能够理解、操作 Airflow 工作流。2025 年，这一能力与一系列场景化「技能」（Skills）整合，形成了今天我们看到的 Agents monorepo。

项目的技术选型也很有趣——Astronomer 没有自己造轮子，而是选择了 MCP 协议作为与 AI 代理通信的桥梁。MCP 是 Anthropic 在 2024 年末开源的标准协议，正在快速成为 AI 工具与外部系统集成的「USB-C 接口」，得到了 Cursor、VS Code、Claude Desktop 等主流客户端的广泛支持。

核心功能：MCP Server + CLI + 技能库三件套

Astronomer Agents 是一个 monorepo，由三大核心组件构成：

1. Airflow MCP Server（astro-airflow-mcp/）

这是项目的技术核心。它是一个基于 FastMCP 框架构建的 MCP 服务器，将 Airflow REST API 的能力以工具（Tools）、资源（Resources）和提示词（Prompts）的形式暴露给 AI 代理。

两种传输模式：

• stdio 模式（默认）：通过标准输入/输出与 AI 代理通信，适用于 Claude Code、Cursor 等本地 IDE 集成
• HTTP/SSE 模式：通过 HTTP + Server-Sent Events 通信，适用于 Claude Desktop、VS Code 等桌面应用

适配器模式解决版本兼容：Airflow 2.x 和 3.x 的 API 差异巨大（路径从 /api/v1 变为 /api/v2，认证从 Basic Auth 变为 OAuth2）。项目设计了 AirflowV2Adapter 和 AirflowV3Adapter，启动时自动探测 API 版本，选择对应适配器，开发者无需关心底层差异。

三套部署模式：

• 独立部署：作为标准 ASGI 应用运行，通过 uvx astro-airflow-mcp 一键启动
• Airflow 3.x 插件：挂载到 Airflow 内置 FastAPI webserver
• Airflow 2.x 插件：通过 Flask Blueprint 注册，异步桥接到 FastMCP ASGI 应用

MCP Server 提供约 40+ 工具，覆盖 DAG 管理、任务操作、运行记录、资产（Assets）管理、诊断等核心场景。其中「Consolidated Tools」是专为 AI 代理优化的高阶工具——它们将多个细粒度 API 调用合并，减少 AI 的「工具调用往返次数」，提升响应速度。

2. Airflow CLI 工具（af 命令）

命令行工具 af 是 MCP Server 的姊妹产品，面向直接在终端操作 Airflow 的开发者。af 支持：

• 实例发现：自动扫描本地 .astro/ 目录、Docker Compose 环境，找到正在运行的 Airflow 实例
• 多层配置：支持 global → project → instance 三层配置作用域，通过 .afconf.yaml 文件管理
• 注册表缓存：本地缓存 Airflow REST API 的 OpenAPI schema，避免每次请求都远程拉取
• 遥测数据：默认收集匿名使用统计（可关闭），帮助 Astronomer 改进产品

3. 场景化技能库（skills/）

这是项目最有特色的部分。25+ 预置技能覆盖了数据工程师的典型工作场景：

• DAG 创作：authoring-dags、blueprint——从零构建或模板化生成 DAG
• 调试排障：debugging-dags、troubleshooting-astro-deployments
• 数据质量：profiling-tables、checking-freshness——数据新鲜度和质量监控
• DAG 迁移：migrating-airflow-2-to-3、dag-factory——从 Airflow 2 升级到 3
• 数据血缘：annotating-task-lineage、tracing-upstream-lineage
• dbt 集成：cosmos-dbt-core、cosmos-dbt-fusion

每个技能都是一个结构化文档，包含目标场景、工作步骤、最佳实践和参考链接。技能通过 skills.sh 框架分发，支持 25+ 种 AI 代理（Claude Code、Cursor、Copilot、Windsurf、Cline 等）。

技术架构：适配器模式 + 分层配置 + 零依赖 Airflow

项目的架构设计处处体现着务实主义：

适配器模式是核心设计决策。AirFlow 2.x 和 3.x 的 API 差异不仅在端点路径，还涉及认证机制、响应格式、错误处理等多个维度。适配器抽象（AirflowAdapter 基类 + AirflowV2Adapter/AirflowV3Adapter 实现）将版本差异封装在独立模块中，上层业务逻辑完全无需关心版本判断。

分层配置系统也值得称道。config/ 目录下的代码处理配置来源的优先级（环境变量 > 实例配置 > 项目配置 > 全局默认），支持变量插值（${AIRFLOW_API_URL}）和条件覆盖。这种设计让同一个 af 命令可以在不同环境（本地开发、CI、Staging、Production）下使用不同配置。

零侵入性是另一个亮点。MCP Server 不需要在 Airflow 环境中安装——它只需要能访问 Airflow 的 REST API 即可。这意味着即使用户运行的是完全托管的 Astro 云平台，或者自托管的 Airflow，只要开放 REST API，就能使用这套工具。

代码质量：完整测试 + 类型安全 + 严格 lint

项目使用 uv 作为包管理器（比 pip 快 10-100 倍），采用 hatchling 构建系统。代码质量保障体系非常完善：

• 完整测试套件：约 30+ 单元测试文件覆盖 adapter、config、discovery、server、telemetry 等核心模块，还包括集成测试（integration/ 目录）
• 类型标注：使用 Pydantic v2 定义数据模型，所有 API 响应都有类型校验
• 严格 lint：使用 ruff（18 类规则）和 bandit（安全扫描），覆盖 flake8、isort、pyupgrade 等工具的能力
• 预提交钩子：prek 框架管理 git hooks，确保提交代码符合规范

PyPI 发布的包名是 astro-airflow-mcp，可通过 pip install astro-airflow-mcp 或 uvx astro-airflow-mcp 快速安装。

上手体验：从安装到跑通第一个场景

安装方式非常简洁。对于 Claude Code 用户，只需两条命令即可完成集成：

claude plugin marketplace add astronomer/agents
claude plugin install astronomer-data@astronomer

安装后，Claude Code 就能「看到」Airflow 的上下文——DAG 结构、任务状态、历史运行记录。你可以用自然语言询问「最近 7 天有哪些 DAG 失败了」，AI 会自动调用 MCP 工具获取数据并回答。

使用技能同样简单：

npx skills add astronomer/agents --skill '*'

这会通过 skills.sh 将所有场景技能注入到项目中，AI 代理在遇到特定场景时会自动调用对应技能。

局限与挑战

当然，这个项目也有其局限性。首先，REST API 是硬依赖——没有 Airflow REST API 访问权限，MCP Server 完全无法工作，这排除了部分遗留部署场景。其次，AI 代理的能力上限仍然明显——复杂的 DAG 故障排查往往需要结合业务上下文，当前 AI 的推理深度仍有局限。此外，技能的质量参差不齐——Astronomer 官方维护的技能质量较高，但社区贡献的技能缺乏质量保障机制。

行业意义：一个正在生长的生态

Astronomer Agents 的出现标志着 AI × 数据工程这个交叉领域正在走向成熟。它不是简单的「把 REST API 包装成自然语言接口」，而是通过场景化技能、MCP 协议适配、分层配置等设计，真正降低了 AI 代理操作数据管道的门槛。

从增长曲线看，该仓库从 2024 年中起步，当前 star 数约 392，保持稳定增长。随着 MCP 协议生态的扩大（目前已有 25+ 客户端支持），这套工具的覆盖面还将持续扩展。对数据平台团队而言，提前在 CI/CD 流水线中集成 MCP 技能，将显著提升故障响应速度和日常运维效率。

图1：Astronomer 官方 Logo