Skill Recorder：录一遍操作，AI 学会你的工作流

一个真实的痛点场景

设想一个做发票对账的运营人员。她每周要打开财务系统，导出 200 份供应商发票，逐份核对金额，把异常项填进表格，再给主管发一封汇总邮件。这套流程规则清晰、步骤稳定，却要占掉她一整个下午。

传统做法是写 RPA 脚本或录制宏——但脚本工程师不会写宏，操作员也不会写脚本。Skill Recorder 提出了一条中间路线：你不用写，你只要做一遍。

按下 ⌘⇧R（Windows 是 Ctrl+Shift+R）后，你正常干活。工具在本地后台记录窗口切换、浏览器 URL、屏幕帧变化、剪贴板短预览，以及可选的终端命令输出和语音旁白。录完点 Analyze，GitHub Copilot 把这段"人话操作"反推成一段结构化的意图 + 有序步骤，你审一遍、改一改，最后一键生成两种产物：一份 Agent 可按需调用的 SKILL.md 技能，或一个按时间/事件触发的自动化任务。

它到底做了什么

理解这个项目的关键在于它的三层架构。

第一层是确定性描述器（common/describe.ts）。 没有任何 LLM 参与，它把采集到的会话 bundle 渲染成可读的文字：用户在 3 分 12 秒内跨越 4 个应用（Chrome、Excel、Slack、终端），访问 6 个站点，执行 8 条命令，留下 2 条笔记。这是"永远可用的兜底"——即使断网、没有 Copilot CLI，也保证每次录制都能产出一份描述。这一点很像编译器里的降级路径设计，工程上很克制。

第二层是 Copilot 描述器与构建器（electron/describer、electron/skillbuilder、electron/automationbuilder）。 这里才动用多轮 Copilot 对话，产出的是**计划（plan）**而非成品：计划中的每一步被显式区分为 calculation（只读、推导、格式化，无外部副作用）和 action（提交、发送、创建、删除，会改变外部世界）。这种切分让"危险面"在数据结构上就是可见的，用户在确认前能清楚看到哪些步骤会真的动手。

第三层是目标架构目录（electron/architectures/catalogues/）。 目前内置三个 catalogue：agent-skill-catalogue（通用 Agent 技能）、cowork-catalogue（Microsoft Copilot Cowork）、scout-catalogue（Microsoft Scout）。注册表用 import.meta.glob 自动发现，扩展新目标不需要改核心代码。

值得单独一提的是泛化能力：生成的不是点击回放脚本。录一次"提交这张表单"，产出的技能会优先调用 Agent 的原生工具（gh CLI、web_fetch 之类），并把"填 A 表单"泛化成"填所有同类表单"。这是它和普通 RPA 工具的根本分野。

隐私设计是硬约束，不是加分项

录制工具天然令人警觉——录屏意味着你的屏幕、你的密码、你的剪贴板全都在里面。Skill Recorder 的处理方式值得行业借鉴：

• 录制期完全本地。视频帧由 Chromium 采集，抽帧、存储、语音转写全部在机器上完成。语音转写用本地 Whisper（@huggingface/transformers），支持 99 种语言，首次使用需下载约 252 MB 模型。
• 只有点 Analyze 才上云，且上传内容有明确边界：事件时间线、抽取的屏幕图像、旁白文本，以及分析期间请求的有限长度终端输出片段。
• 本地密钥扫描（electron/sensitive/）。secretlint 规则集 + Tesseract.js OCR 双重识别，对帧图像做像素级脱敏（frame-redact.ts），并对终端命令与完整本地记录做同一套密钥/PII 扫描。
• 应用内显式告知。录制浮条上有常驻的"Records your screen and activity"面板，每次录制前都会提醒不要录入密码、令牌、API Key。

不过官方文档自己说得很直白：Review SKILL.md 提供的是"可见性，不是安全保证"。这是一个诚实的免责声明——生成的技能会不会误操作外部系统，仍然依赖用户审核和 Copilot 的判断。

上手门槛比想象的陡

项目是源码发布（source release），没有预编译二进制。安装方式是"提交锁定（commit-pinned）"一行脚本：脚本下载官方便携版 Node.js 24 运行时并校验 SHASUMS256.txt（Windows 还额外验证 OpenJS 基金会 Authenticode 签名），再从 GitHub Codeload 拉取精确提交源码，npm ci 构建，创建快捷方式后启动。全程不需要管理员权限、不需要全局装 Node.js、不需要全局装 Copilot CLI。

代价是首次安装需要几分钟，且要求机器有 GitHub 账号并具备 Copilot 使用权限。macOS 是主要目标平台，Windows 11（x64 与 ARM64）有专门的 WINDOWS-VALIDATION.md 验证文档。纯 Linux 桌面仅支持 Ubuntu。

登录流程也被打磨过：Skill Recorder 固定使用 Copilot CLI 1.0.78，走 --no-auto-update login --web-flow 浏览器 OAuth，不依赖用户自动更新缓存里的 CLI 版本（1.0.71 等旧版本不支持 --web-flow）。Windows 上会先探测本地 Microsoft Entra 租户提示，可选择企业 SSO 或个人 GitHub 账号——但文档明确说明这只是路由提示，不是雇佣证明。

现状与局限

截至 2026 年 10 月，仓库版本 0.7.0，MIT 协议，约 5300 stars、600 forks、164 次提交。开源贡献者仅 6 人（核心贡献者 GiorgioUghini 78 次提交），几乎全部活跃开发集中在微软内部——这是一个典型的"内部实验室项目开源"形态。开放 issue 中超过一半是 dependabot 依赖升级，说明仓库仍在积极维护但功能迭代节奏由内部团队主导。

几个务实的局限：

1. 强绑定 GitHub Copilot 生态。没有 Copilot 授权就完全无法使用核心价值，替代后端路径并不存在。
2. 平台覆盖窄。Linux 只支持 Ubuntu；Windows 支持虽有专门验证但历史较新。
3. 依赖安装偏重。Electron 43 + sharp + tesseract.js + onnxruntime 的组合让首次安装体积和时间都不小，libtiff 的许可证下载还遇到过 GitLab Cloudflare 挑战拦截。
4. 默认只有英文界面，简体中文本地化仍在 PR 阶段（#72 / #94 未合并）。
5. v0.x 版本号 + 47 个开放 issue，稳定性预期应相应放低。

行业意义

Skill Recorder 命中的是一个正在成型的需求：当 Agent 数量爆发，"人如何教会机器做事"就成了瓶颈。传统答案是写文档、写流程图、写 RPA 脚本——都要求人先把工作抽象成机器可读的形式。Skill Recorder 走的是另一条路：把抽象工作外包给 LLM，人只负责演示。

它的技术选型传递了清晰的行业信号：用 Electron 而非原生框架（跨平台、录屏与音频能力成熟）、用 Copilot CLI/SDK 而非直接调 OpenAI API（借力成熟的 Agent 工具生态）、用本地 Whisper + OCR 做隐私兜底（数据不出设备是硬需求）。它同时生成 SKILL.md 和 Automation 两种产物，说明微软在赌"技能"和"自动化"会融合成同一套 Agent 描述语言。

从 star 曲线看——创建于 2026 年 7 月底，四天内破 700 star，到十月破 5300——这个"演示即教具"的思路在开发者群体里引起的共鸣，比同期很多带完整发布渠道的产品都要强。

适合谁

推荐：已有稳定重复性手工流程的运营/财务/客服人员，希望把这些流程沉淀为 Agent 技能；以及愿意用自己的 Copilot 订阅做实验的开发者。

不推荐：需要开箱即用二进制、无 Node.js 环境的团队；不在 GitHub Copilot 订阅体系内、或对数据上云有严格合规要求的组织（无法在不开"敏感信息保护"的前提下完全离线使用核心分析功能）；以及纯 Linux（非 Ubuntu）桌面用户。