HoldSpeak：本地语音输入与会议智能——让 AI 成为你的工作副驾驶

一句话亮点：按住一个键说话，文字就出现在任何应用里；录一场会议，AI 自动提炼决策和待办；询问任何工作记录，答案全部带出处引用。所有数据留在本地，所有模型由你选择。

背景：为什么我们还在手动打字？

每个知识工作者每天都在做一件效率极低的事：把脑子里的话一个字一个字敲进屏幕。开会时猛记笔记，会后对着潦草的记录发呆。AI 助手回答问题时说"根据某文档"，可你根本找不到是哪个"某"。这些问题不是技术难题，而是信息流动的断链——声音、知识、工作流之间存在鸿沟，而传统工具各管各的，从不缝合。

HoldSpeak 的作者 karolswdev 正是带着这个痛点开始动手的。他的目标不是做一个"语音输入法"，而是一个本地优先的工作台——覆盖从语音输入、会议记录、知识问答到项目追踪的完整链路。249 颗星或许不算多，但对于一个横跨 macOS + Linux、深度集成 Whisper + MCP + Claude Code + Codex 的项目而言，社区的活跃度已经说明了它的实用价值。

核心功能：从"说话打字"到"AI 副驾驶"

1. 全应用语音输入（Speak Anywhere）

HoldSpeak 默认绑定 Right Option 键，按住说话、松开，文字就进入你当前的光标位置——不管那是 VS Code、Slack 还是浏览器搜索框。它不依赖系统级语音服务，而是直接用 faster-whisper（或 macOS 上的 MLX-Whisper）在本地完成语音转文字。

它的语音输入管线远不止"听见就说"这么简单：

• 上下文增强：输入前可以给 AI 提供项目背景知识，让它根据你的代码库、项目文档来"理解"你的口头表达。
• 纠错学习：如果一次输入结果不对，选择 Wrong → 手动修正 → Teach，系统会记住这条规则，下次遇到相似的语音片段自动应用。
• 学习日志：每一次输入都被记录（说了什么、输出了什么、耗时多久），学习摘要展示每条规则何时触发，Replay 功能可以让你用更新后的管线重新跑一遍老录音，看改进效果。
• 语音命令：自定义唤醒词和指令，如"打开新项目"或"开始录音"。

2. 会议全链路：从录音到闭环行动

HoldSpeak 的会议模式覆盖了一个完整会议的生命周期：

录制阶段：支持麦克风录音、系统音频混录，也可以直接导入已有的录音或转录文件。不需要云端，不会有 Bot 加入会议，隐私完全自主。

智能分析：转录完成后，14 个内置插件轮流出场，各自从不同角度解读会议记录——

插件	提取内容
决策插件	明确的决定（如"我们决定采用方案A"）
需求插件	新需求、需求变更
行动项插件	负责人 + 截止时间
风险插件	提及的已知风险
里程碑插件	关键时间节点
时间线插件	事件顺序与时间点
依赖插件	任务间的前后依赖
ADR 草稿	架构决策记录
架构图插件	系统设计可视化
利益相关者更新	对外汇报草稿

你始终在驾驶席：AI 提出的决策和待办都是"提案"形式，需要你点 Confirm 才真正写入知识库。这避免了 AI 幻觉造成的错误沉淀。

会后跟进：会议结束后，系统展示"还有什么待定"（open items）、"已确认了什么"（decisions）、以及"相比上次会议有哪些变化"（delta）。配合日历集成，还能看到下周有哪些会议需要准备。

3. 知识问答：每个答案都带出处

传统的 AI 问答常常给出"根据相关文档"这样的模糊引用，你无法验证，更无法追溯。HoldSpeak 的 Threads（对话线） 则做到了真正的可溯源回答：

• 提问对象可以是 Meeting（会议）、Note（笔记）、Artifact（产物）或 Knowledge Collection（知识集合）。
• 回答以引用列表形式呈现，每个论断都能点开原始出处。
• 可以选择 Keep 保存为 Artifact（保留原始指令和引用），或 Bin 直接关闭。
• 每个项目有独立的 Ask this project 入口，询问"谁负责什么"、"哪些任务被阻塞了"，答案来自该项目专属的记录库。

4. The Desk：知识工作的指挥台

HoldSpeak 提供了类似 Raycast/Alfred 的桌面入口界面（Web Desk），集成了：

• Attention（注意力）面板：展示跨项目的待处理事项
• Project Rooms（项目空间）：每个项目关联其文档、会议、代码和决策
• People（联系人）：加密存储的关系记录，可与日历和项目关联
• Places（地点）：不同工作环境（家/办公室/咖啡馆）下的不同上下文
• Week View（周视图）：日历与会议的融合视图

5. 编码 Agent 集成：语音操控 Claude Code

开发者可以用 HoldSpeak 直接和 Claude Code / Codex 会话——监控 Agent 进度、语音回答 Agent 的提问、语音触发自动化 hook。与 Agent 的通信记录也进入知识库，方便后续追溯。

技术架构：模块化本地 AI 工作台

HoldSpeak 的代码库（Python 69.8% + TypeScript 21.9% + Swift 5.1%）呈现出清晰的模块化架构：

• holdspeak/ 主包：核心逻辑，含语音输入、会议追踪、知识管理、活动连接器
• agent/：编码 Agent 集成层（Claude Code / Codex）
• agent/skill/：HoldSpeak 的 MCP skill 定义，通过 MCP 协议暴露 256 个工具给 AI agent
• aipi-lite/：轻量级 AI 接口协议实现
• apple/：macOS/iOS 原生集成（Swift）
• extensions/：Firefox 扩展（浏览器语音输入）
• docs/：完整的文档体系（ARCHITECTURE.md、AGENTS.md 等深度文档）

核心依赖：

• Whisper 模型：faster-whisper（Linux/x86）、mlx-whisper（Apple Silicon）
• LLM 运行时：支持本地 GGUF（llama.cpp）或 OpenAI 兼容 API
• Web UI：FastAPI + uvicorn，提供 HTTP API 和 Web 界面
• 凭证安全：cryptography + macOS Keychain / Linux Secret Service
• 日历集成：icalendar（支持 iCal 格式日历）

扩展机制：插件（plugins）、连接器（connectors）、执行器（actuators）、Agent、工作流（Workflows）、语音命令、MCP 工具——七种扩展维度，覆盖从 UI 到后端到 AI Agent 的全栈定制能力。

部署体验：本地优先，但不简陋

安装方式

pip install holdspeak          # 或
uv pip install holdspeak
uv pip install -e .            # 开发模式（推荐，自动安装所有依赖）

安装后首次运行会自动引导设置热键、选择 AI 模型（本地 GGUF / OpenAI 兼容端点 / Apple Silicon MLX）、配置麦克风。

模型选择

Whisper 推荐使用 faster-whisper + medium 模型（约 1.5GB），CPU 可跑，GPU 可加速。Apple Silicon 上 mlx-whisper 效率更高。本地 LLM 推荐 Qwen2.5 + Ollama 组合。

平台限制

目前官方仅支持 macOS（Apple Silicon 优先）和 Linux。Windows 用户可通过 WSL2 间接使用，但不在官方支持范围内——这是项目当前最大的平台短板。

Web UI 启动

holdspeak desk   # 启动 Web Desk（默认 localhost:7860）
holdspeak desk --port 9000  # 自定义端口

Web Desk 采用 FastAPI + uvicorn（热重载），支持 CORS，可从局域网访问。

容器化支持

暂无 Dockerfile 和 docker-compose，这是一个明显缺口。对于希望"一键部署到服务器"的用户，只能在容器内手动安装 Python 3.10+ 环境。考虑到项目主要面向桌面场景（麦克风访问、Web UI 本地运行），这个决策可以理解，但随着 AIPI-Lite 硬件产品线的出现，容器化需求可能会逐渐浮现。

局限与争议

1. Windows 不支持：对于 Windows 用户占比很高的开发者社区，这是最大的体验门槛。
2. pre-alpha 版本：0.4 版本明确标注为 pre-alpha，API 和配置格式可能在 1.0 前继续变化。
3. 单核心维护者：GitHub 贡献者仅 1 人（karolswdev 个人开发，5842 次提交），长期维护和响应社区依赖单一力量。
4. 本地模型配置有门槛：Whisper + LLM 的组合调优对非专业用户并不友好，文档虽全但覆盖面广，初次上手有一定认知负担。
5. 隐私的双刃剑：所有数据本地存储意味着数据安全完全取决于用户本机安全，没有云端备份意味着设备损坏可能导致工作记录永久丢失。

行业意义：本地 AI 工具链的一个样本

HoldSpeak 代表了一个趋势：把 AI 能力真正下沉到个人工作流，而不是强依赖云服务。在 Whisper 开源、llama.cpp 成熟、Ollama 易用的当下，"本地优先 + 可溯源 + 全链路整合"这条路已经走得通了。

它的 249 颗星虽然比不上主流开源项目，但在这个细分赛道（本地语音 + 会议 + 知识管理 + Agent 集成）里，它的功能密度和设计完整性远超同类。对于追求数据主权、不想被 SaaS 绑定的团队或个人，它是值得关注的选择。