Sidekick
macOS 原生本地 AI 助手，内置 llama.cpp 推理引擎，支持 RAG 知识库与 Agent 函数调用，数据永不离开设备
加载项目详情…
本应用为开源项目，仅供学习研究，请遵守其开源协议。
微信扫码咨询客服
POMOAI — 让开源 AI 即刻运行
macOS 原生本地 AI 助手，内置 llama.cpp 推理引擎，支持 RAG 知识库与 Agent 函数调用，数据永不离开设备
加载项目详情…
本应用为开源项目，仅供学习研究，请遵守其开源协议。
Sidekick 是一款运行在 macOS 上的原生应用，用户无需安装任何额外软件，即可在本地与大语言模型（LLM）对话——模型能访问你 Mac 上的文件、文件夹，甚至整个网站数据，所有对话完全离线，数据永不离开你的设备。内置 llama.cpp 推理引擎，开箱即用 Qwen3.5 等主流 GGUF 格式本地模型，也可自行接入 OpenAI 兼容 API。截至 2026 年初，该项目在 GitHub 获星超过 3200 颗。
大语言模型近年来席卷 AI 圈，但几乎所有主流产品——ChatGPT、Claude、Gemini——都有一个共同点：数据必须上传到云端服务器。这在大多数场景下无可厚非，但随着 AI 渗透进工作与学习的各个角落，一个问题开始被反复提及：那些涉及商业机密、医疗记录、个人笔记的敏感数据，真的应该交给第三方服务器处理吗？
正是这种隐私焦虑，催生了"本地优先"（Local-First）AI 应用的热潮。Sidekick 的开发者 johnbean393 正是这一思潮的践行者：用户把论文、公司文档、项目代码交给 Sidekick，模型在本地推理，数据始终存储在你自己硬盘上——不存在服务器中转，不存在日志上传。
简单类比：传统 AI 助手相当于把文件发给云端的"外包公司"处理，而 Sidekick 则相当于请了一位住在你电脑里的"私人助理"——不用网络连接，不用注册账号，不用担心信息泄露。
Sidekick 最大的产品亮点是"Expert"（专家）功能。用户可以创建多个专家知识库，每个 Expert 关联一组文件、文件夹或网站 URL。当与 Sidekick 对话时，激活特定 Expert，模型就会在对应知识库中进行 RAG（检索增强生成）——换句话说，Sidekick 不只是记忆你的对话历史，它能真正阅读并理解你指定的参考资料。
举例来说，一名历史系学生可以建立多个 Expert：English Literature（英文文学）、Mathematics（数学）、Geography（地理）、Computer Science（计算机科学），分别存入各自领域的资料。当向"计算机科学"专家提问时，Sidekick 会在相关 PDF 和文档中检索相关内容，给出带页码引用的精确回答——并支持一键跳转到原始出处。
这解决了一个非常具体的痛点：我们在撰写论文时，往往需要反复在大量参考资料中检索信息，传统的全局搜索无法理解语义，只能做关键词匹配。Sidekick 的 RAG 机制让这一过程变得智能且高效。
Sidekick 并不满足于做一款"聊天工具"。开发者为其叠加了多层进阶能力，使其更像一个本地 AI Agent 平台：
Sidekick 支持函数调用，能够串联多个工具完成任务。作者演示了一个典型场景：让 Sidekick 计算 Nvidia 2025 年第三季度的财务指标。模型自动发起 27 次工具调用，读取股价数据、执行计算、保存结果为 CSV 文件，最终呈现可视化图表。
另一个场景更具生活气息：让 Sidekick 起草一封生日聚会邀请邮件。它会自动访问你的通讯录，找到对方的邮箱地址，找到你的生日信息，在邮件客户端中生成草稿——整个过程无需手动复制粘贴。
这种"函数调用循环"是当前 AI Agent 的核心技术路线，而 Sidekick 将其完全运行在本地 Mac 上，不依赖任何云端 Agent 服务。
深度研究是 Sidekick 内置的一个专项 Agent，专门处理长周期、多步骤的调研任务。用户只需输入研究主题，Sidekick 会自动访问 50~80 个相关网页，综合信息后生成研究报告——相当于把 Perplexity AI 的深度研究能力搬到了本地，且全程无需将查询内容上传网络。
Canvas 功能让 Sidekick 支持创建、编辑和预览网站、代码和其他文本内容。用户可以在画布中编辑内容，然后向 Sidekick 描述修改需求，模型会对指定部分进行精准编辑，而不是重写整个文件。这对于快速生成网页原型或处理长文档非常有帮助。
在 macOS 15.2 及以上版本配合 Apple Intelligence，Sidekick 可以根据文本提示生成图像。不同于其他应用需要手动切换"图像生成模式"，Sidekick 内置的 CoreML 模型能自动识别图像生成意图，在检测到相关提示时自动触发生成，全程无感。
Sidekick 具备跨对话的持久记忆能力。用户告诉它"我是一个 Python 初学者，正在尝试写俄罗斯方块游戏"，后续提问"有哪些 pygame 的替代方案"时，Sidekick 会结合之前的背景信息，给出针对"初学者写俄罗斯方块"的个性化建议——随着使用时间增长，模型对用户的理解会越来越深入。
从代码结构来看，Sidekick 采用 Swift/SwiftUI 构建完整的原生 macOS 应用，而非 Electron 等跨平台框架。这意味着：
Sidekick 内置了 llama.cpp 作为推理后端。llama.cpp 是当前最流行的本地 LLM 推理框架，由 Georgi Gerganov 开发，核心优势在于：
Sidekick 的 RAG 流程通过"Expert + 知识库"的组织形式实现。每个 Expert 关联一组本地文件或网站，激活后模型在推理时动态检索相关内容，支持理论上的无限知识库规模。这是当前开源社区主流的本地 RAG 方案——不依赖任何外部向量数据库，全部在本地处理。
Sidekick 提供两种安装方式：
brew install --cask arcadi4/tap/sidekick，一行命令完成安装卸载.app 文件，按官方指南配置签名硬件要求：Apple Silicon Mac（M1/M2/M3/M4），内存 ≥ 8GB。
安装完成后，用户需要：选择模型来源（本地 GGUF 或远程 OpenAI 兼容 API），配置模型文件（本地方式需下载 GGUF 文件），创建 Expert 知识库，即可开始使用。
开发者若需从源码编译，运行 ./setup.sh <TEAM_NAME> 配置苹果开发者签名，再用 Xcode 打开项目即可。
尽管 Sidekick 是一款极具创新性的本地 AI 应用，但它也面临一些现实约束：
平台限制：Sidekick 目前仅支持 Apple Silicon Mac，无法在 Windows、Linux 或 Intel Mac 上运行。这一限制源于项目对 Swift/SwiftUI 生态和 Apple Neural Engine 的深度依赖，虽然保证了体验质量，但也将大量潜在用户排除在外。
模型量化质量折损：本地运行 GGUF 量化模型（通常为 Q4_K_M 等中等量化）在推理质量上与 FP16 全精度模型存在差距，对于需要高精度的专业任务（如法律文书分析、医疗数据解读），量化模型的表现可能不够理想。
知识库管理成本：RAG 效果高度依赖知识库的组织质量，用户需要手动维护 Expert 和文件关联，随着知识库扩大，检索精度和相关性管理会变得越来越复杂。
远程 API 的隐私悖论：Sidekick 支持接入 OpenAI 兼容 API，但一旦启用远程 API，对话内容实际上再次进入第三方服务器——与"本地优先"的核心设计理念形成张力。用户需要自行权衡隐私与模型能力之间的取舍。
Sidekick 的出现代表了本地 AI 应用的一个重要方向：让隐私保护不再是极客专属。
传统意义上，部署本地 LLM 需要掌握命令行、模型量化、推理服务配置等技术门槛，劝退了绝大多数普通用户。Sidekick 通过将这一切封装为一款点击即用的 macOS 应用，降低了本地 AI 的使用门槛——只要有一台 Apple Silicon Mac，下载安装即可使用。
从技术选型上看，Sidekick 选择 Swift + llama.cpp 组合也值得注意：Swift 保证了原生应用体验，llama.cpp 保证了模型推理的高效。这种"现代语言 + 高效推理引擎"的组合，正在成为本地 AI 应用的新范式。
图1：Sidekick 主界面——与本地模型对话，支持文件拖入和 Expert 知识库激活
图2：深度研究模式——Sidekick 自动访问多个来源，生成综合研究报告
图3：Canvas 画布——创建、编辑、预览网页和代码内容
图4：Memory 功能——跨对话记住用户背景信息，生成个性化建议
图5：Expert 知识库——向历史专家提问，获得带页码引用的学术性回答
图6：推测解码加速——在 Apple Silicon 上实现高速本地推理