ComfyUI-Copilot

AIDC-AI/ComfyUI-Copilot 是阿里巴巴国际数字商业（AIDC）团队打造的 ComfyUI 智能助手插件，通过 AI Agent 技术大幅简化 AI 生图工作流的构建与调试。2025年8月发布 v2.0，从"辅助工具"升级为"开发伙伴"，能自主完成工作流的生成、调试、重写和参数调优。该项目已被 ACL 2025 演示系统接收。

图1：ComfyUI-Copilot 整体架构图

背景：AI 生图的"手动档"困境

ComfyUI 是当前最受好评的 AI 生图工具之一，以节点式工作流著称——用户像搭积木一样把各个模型节点连接起来，生成风格各异的图片。然而，这种高度灵活的代价是陡峭的学习曲线。一个完整的工作流往往包含十几个甚至几十个节点，每个节点的参数都需要反复调试。新手面对空白画布，往往不知从何下手。

传统的解决方案是去网上搜别人分享的工作流模板，但这些模板往往版本不兼容、参数不匹配，导入后报错频发。ComfyUI-Copilot 正是回答这个问题的产物——它是阿里巴巴国际数字商业团队内部孵化的项目，最初是为了降低团队内部的 AI 生图门槛，后来开源贡献给社区。

核心功能：AI Agent 全程陪跑

ComfyUI-Copilot v2.0 围绕工作流生命周期提供了四大核心能力：

1. 一键生成工作流

用户在输入框中输入"我想要一个动漫风格的人物肖像工作流"，Copilot 会从本地知识库中检索匹配的模板，同时调用大语言模型（支持 GPT-4、DeepSeek-V3、通义千问等）生成一个新的定制工作流，最终返回 3 个模板 + 1 个 AI 生成方案供选择。用户点击 Accept 后，工作流自动导入 ComfyUI 画布，可直接开始生图。

2. 自动 Debug 调试

这是 v2.0 最实用的功能之一。当工作流出现报错（节点连接错误、参数越界、缺失模型等），Copilot 能自动分析错误原因，给出精确的修复建议。如果检测到缺失模型，会自动弹出下载提示，用户点击即可下载。调试全程不需要用户手动查日志或搜索解决方案。

3. 工作流智能重写

基于用户描述，Copilot 能对现有工作流进行改写：调整参数、增删节点、优化逻辑。比如用户说"把这个工作流的步数从 20 降到 10 使其更快"，Copilot 自动修改对应的采样器节点参数并验证连接正确性。

4. 本地环境感知 Agent

v2.0 的 Agent 架构升级后，能感知用户本地的 ComfyUI 环境——了解已安装的模型列表、节点配置和硬件条件。这意味着 Copilot 生成的工作流是"量身定制"的，不会推荐用户没有安装的模型。

技术架构：前后端分离的 Agent 系统

从代码结构来看，ComfyUI-Copilot 采用了清晰的前后端分离架构：

• 前端：TypeScript + React + Vite + Tailwind CSS（ui/ 目录），构建为 Web 界面嵌入 ComfyUI 的面板中，使用 WebSocket 与后端通信。

• 后端：Python + aiohttp（backend/ 目录），提供 RESTful API 和 WebSocket 服务，核心逻辑包括：

  • agent_factory.py：Agent 工厂，根据配置实例化不同类型的 Agent
  • core.py：Agent 核心调度逻辑
  • controller/：API 控制器（conversation_api、llm_api、expert_api）
  • dao/ / service/：数据访问和服务层
  • utils/：工具函数

• AI 引擎：依赖 openai-agents（OpenAI Agents SDK）实现 Agent 能力，支持 Function Calling、工具调用和 RAG（检索增强生成）。知识库来源于 ComfyUI 节点文档和社区工作流元数据。

• 存储：SQLAlchemy + SQLite，本地存储对话历史和用户配置（db/ 目录）。

图2：ComfyUI-Copilot 面板 UI

部署：零门槛的 ComfyUI 插件模式

ComfyUI-Copilot 的部署极为简单——它是 ComfyUI 的自定义节点，不需要独立部署服务：

# 方式1：git 克隆
cd ComfyUI/custom_nodes
git clone https://github.com/AIDC-AI/ComfyUI-Copilot.git
cd ComfyUI-Copilot
pip install -r requirements.txt
# 重启 ComfyUI

# 方式2：ComfyUI Manager
# 打开 ComfyUI Manager → Custom Nodes Manager → 搜索 ComfyUI-Copilot → Install

启动后，Copilot 面板出现在 ComfyUI 左侧边栏。首次使用需要填写 API Key（支持 OpenAI、LM Studio、通义千问、DeepSeek 等）。

由于 Copilot 只负责工作流编排和对话推理，不直接执行图片生成，因此对本地 GPU 没有硬性要求。Copilot 本身的资源占用极低，4GB 内存即可流畅运行。

局限与注意事项

• API 服务调整：官方在 README 中注明，由于内部服务审查，节点信息查询、任务推荐和工作流生成云端服务已暂停，用户需自备 API Key 和 Base URL。这意味着 Copilot 的部分能力（如远程知识库检索）需要用户自己部署或使用本地模型。

• ComfyUI Manager 安装不稳定：官方文档明确指出，使用 Manager 安装方式"容易出问题"，推荐使用 git 克隆方式。如果 Manager 安装报错，建议卸载后重装或手动 git clone。

• 版本兼容性：v2.0 依赖 openai-agents>=0.3.0，该包相对较新，与旧版 ComfyUI 环境可能存在依赖冲突，建议在虚拟环境中测试后再迁移。

行业意义：从工具到伙伴的范式转变

ComfyUI-Copilot 的出现反映了一个更大的趋势：AI 工具正在从"执行者"进化为"协作者"。过去，用户需要学习工具的操作逻辑；现在，工具通过 AI 理解用户的意图，反过来适配用户的工作方式。这种人机协同的思路，正是当前 AI 应用开发的主流方向。

从 GitHub Star 增长曲线来看，项目自 2025 年 2 月发布以来增长迅速，这说明社区对"AI 生图工作流自动化"的需求是真实且强烈的。随着 AI 生图模型的持续进化，像 ComfyUI 这样的专业工具会越来越强大，但同时也越来越复杂——而 Copilot 这类 AI 助手，正是解决"强大但难用"这一矛盾的答案。