private-gpt

PrivateGPT 是由 Zylon 团队发起并持续维护的开源本地 AI 应用 API 层，核心定位是“不运行模型，而是为本地模型提供生产级的应用后端——让开发者无需从零重建消息、检索、工具等基础能力，即可构建完全私有的 AI 产品”——它不满足于做一份简单的 RAG 管道封装或零散的本地推理脚本，而是将标准消息 API、文件与工件摄入、带引用的 Agentic RAG、内置工具（网页搜索/网页抓取/代码执行）、自定义工具与 MCP 连接器、数据库与 CSV 结构化访问、嵌入与编排等核心能力整合于一套完整的开源 API 层中，全部配有 brew / uv tool / Docker 一键安装、内置 Workbench UI（/ui）、兼容 Anthropic API 规范、Apache-2.0 开源协议，以及 57,000+ GitHub Stars。截至 2026 年 9 月，检索延迟 p50 仅 240ms、p95 720ms，在同类本地 RAG 平台中排名第一。

一、PrivateGPT 是什么

PrivateGPT 采用“API 优先 + 推理层解耦 + 本地优先”三位一体的架构。项目由 Zylon 团队发起并持续维护，采用 Apache-2.0 许可证，截至 2026 年 6 月已获得 57,300+ GitHub Stars、7,600+ Forks。2026 年 6 月发布的 v1.0.0 将两年的闭源分支工作合并回开源仓库，标志着项目从“语义搜索管道”升级为“完整应用后端”。

PrivateGPT 的运作机制与 Ollama、LM Studio、vLLM 等推理层工具有本质区别。PrivateGPT 不运行模型本身——它通过 OPENAI_API_BASE 连接任意 OpenAI 兼容的推理服务器（Ollama、llama.cpp、vLLM、LocalAI 等），只要求实现 /v1/chat/completions 和 /v1/models。架构上，PrivateGPT 位于推理层之上，为应用层提供消息 API、文件摄入、检索与引用、工具调用、数据库查询、代码执行、嵌入编排等高级能力。Zylon 团队用一句话概括了它与推理层的关系：“Ollama / LM Studio / vLLM / llama.cpp 回答‘如何运行一个模型’，PrivateGPT 回答‘如何在这个模型之上构建有用的 AI 应用’”。

二、PrivateGPT 能做什么

PrivateGPT 的核心能力可以精炼地概括为：讯、摄、检、具、连，围绕这五大维度提供了从模型接入到生产部署的完整路径，覆盖本地 AI 应用开发的全方位需求，具体包括：

标准消息 API（讯） ——不是“自己封装对话循环”，而是“开箱即用的流式消息接口”。提供标准化的消息 API，支持流式响应、异步处理、Token 计数。API 遵循 Anthropic API 规范，覆盖模型选择、批量/异步处理、Token 计数等能力。开发者可以像调用 Claude API 一样调用本地模型，无需为每个推理提供商重写集成代码。

文件与工件摄入（摄） ——不是“只处理纯文本”，而是“PDF、文档、CSV 的完整摄入管道”。支持上传、处理和将文档作为私有 AI 工作流的上下文。内置解析器处理纯文本及多种文档格式。摄入管道内部管理文档解析、分块、元数据提取、嵌入生成和存储。

带引用的 Agentic RAG（检） ——不是“简单的向量检索”，而是“有源可溯的智能检索”。提供带引用的检索增强生成——每条回答都附带来源，支持 Agentic RAG 模式。用户可以在 Workbench UI 中测试检索与引用功能。检索延迟 p50 240ms、p95 720ms，在 AnythingLLM、PrivateGPT、Open WebUI 的对比评测中排名第一。

内置工具与自定义扩展（具） ——不是“只能对话”，而是“内置网页搜索、网页抓取、代码执行”。内置工具镜像了 Claude API 提供的工具集——网页搜索、网页抓取、代码执行。支持自定义工具和 MCP 连接器，通过安全 AI 工作流、集成和 Agent 扩展能力。

结构化数据访问与生态集成（连） ——不是“只能处理文档”，而是“数据库、CSV、表格数据的统一访问”。通过同一个私有 API 层处理数据库、CSV 和表格数据。支持与 Claude Code、OpenCode、VS Code、Cline 等开发工具集成，以及通过 n8n 等自动化平台驱动私有 AI 工作流。

三、PrivateGPT 适合谁用

PrivateGPT 的内容设计使其适配各类希望在自己的基础设施上构建私有 AI 应用的开发者与团队，核心聚焦那些“已经能用 Ollama 跑模型，但卡在文件上传、消息接口、引用验收、UI 调试、Agent 接入”的人群，主要涵盖以下几类：

希望从“跑模型”升级为“做应用”的开发者——已经在内网用 Ollama、vLLM 跑通了模型，但真正要做文档问答时发现还需要自己解决文件上传、消息接口、引用追溯、UI 调试等一系列工程问题。PrivateGPT 提供了这些能力的开箱即用实现。

对数据隐私有严格合规要求的企业团队——需要 AI 能力但数据不能离开自有基础设施。PrivateGPT 的设计目标是“将 Claude 风格的 API 带到你自己的基础设施上”，所有推理和数据处理都在本地完成，文档、查询和响应绝不接触外部 API 或云服务。

追求 API 优先架构的技术团队——不需要一个最终的 Workspace 或 ChatGPT 式界面，而是需要标准化的本地后端来构建自己的产品。PrivateGPT 的定位是“API 才是真正的产品，内置 UI 只是测试和演示用的工作台”。

需要多模型自由切换的 AI 工程师——不希望被锁定在某个推理提供商上。PrivateGPT 通过 OpenAI 兼容接口连接任意推理服务器——Ollama、llama.cpp、vLLM、LocalAI 均可。

已使用 Claude Code / OpenCode / VS Code 等开发工具的开发者——任何支持本地 OpenAI 兼容提供商的工具，都可以与 PrivateGPT 协同工作。

四、PrivateGPT 的应用场景是什么

基于其内容设计与定位，PrivateGPT 的应用场景主要围绕私有文档问答、本地 AI 应用后端搭建、企业合规 AI 部署、多工具链集成和自动化工作流，覆盖从个人开发到企业级部署的多个场景，具体包括：

私有文档问答与知识库场景——开发者或团队需要基于内部文档构建问答系统。PrivateGPT 提供了一条“安装 PrivateGPT → 启动 Ollama 推理服务器 → 配置 OPENAI_API_BASE → 在 Workbench UI 中上传文档 → 测试带引用的检索”的完整路径。所有数据留在本地，检索来源可追溯。

本地 AI 应用后端搭建场景——团队正在开发一个 AI 驱动的产品，需要在本地模型之上构建应用层。PrivateGPT 提供了消息 API、文件摄入、检索、工具调用、数据库查询的完整后端——开发者只需关注业务逻辑，无需重建基础能力。Zylon 的评估显示，PrivateGPT 可以帮助团队避免“从零重建相同的后端原语”。

企业合规 AI 部署场景——受监管行业（金融、医疗、政府）需要在合规框架下使用 AI。PrivateGPT 的完全本地化设计和 Zylon 企业级基础设施（部署、治理、运营、用户管理、审计）为合规部署提供了基础。

多工具链集成与自动化场景——团队使用 Claude Code、OpenCode、VS Code 等开发工具，希望通过统一的私有 API 层接入本地模型能力。任何支持本地 OpenAI 兼容提供商的工具都可以与 PrivateGPT 协同工作。

从云 API 向本地 API 迁移场景——团队目前使用 OpenAI 或 Anthropic 的云 API，希望迁移到本地私有部署但不想重写应用逻辑。PrivateGPT 的 API 遵循 Anthropic 规范，迁移成本最低。

五、PrivateGPT 为什么值得关注

PrivateGPT 之所以值得关注，核心在于它将“本地 AI 从‘能跑模型’升级为‘能做应用’——提供一个 API 优先的完整应用后端”，并具备“API 优先定位、推理层解耦、Anthropic 兼容、57k Stars 社区认可、Apache-2.0 开源”的独特价值，具体体现在以下几点：

从“跑模型”到“做应用”的定位跃迁。运行本地模型只是第一步——要构建有用的 AI 应用，还需要消息管理、文件摄入、检索与引用、工具调用、数据库访问、Token 计数、嵌入编排等一整套高级能力。PrivateGPT 将这些能力打包为遵循 Claude API 规范的开源 API 层，让开发者无需从零重建这些基础原语。这种“API 优先而非应用优先”的定位，是 PrivateGPT 区别于 Open WebUI、Onyx 等工具最核心的价值。

从“推理层依赖”到“推理层解耦”的架构自由。PrivateGPT 不运行模型——它通过 OPENAI_API_BASE 连接任意 OpenAI 兼容的推理服务器。Ollama、llama.cpp、vLLM、LocalAI 均可作为后端。这意味着用户不会被锁定在任何推理提供商上，可以根据硬件、性能和成本自由切换底层推理引擎。

从“自建后端”到“Anthropic 兼容”的迁移成本最小化。PrivateGPT 的 API 遵循 Anthropic 规范，覆盖模型选择、消息 API、流式、异步、Token 计数、文件摄入、引用检索、嵌入、工具调用、网页搜索、网页抓取、自定义工具、数据库查询等能力。正在使用 Claude API 的团队可以以最小的代码改动迁移到本地私有部署。

检索延迟 p50 240ms 的实测优势。在 AnythingLLM、PrivateGPT、Open WebUI 的 2026 年对比评测中，PrivateGPT 的检索延迟最低——p50 240ms、p95 720ms，优于 AnythingLLM（310ms/880ms）和 Open WebUI（380ms/1040ms）。在本地 RAG 场景中，检索延迟直接决定用户体验，这一优势具有实际意义。

57k+ Stars + Zylon 商业产品反哺开源。PrivateGPT 在 GitHub 上获得 57,300+ Stars。Zylon.ai 作为基于 PrivateGPT 的商业产品，已关闭闭源分支并将迭代反哺到开源仓库。这种“商业产品驱动开源核心”的模式，确保了项目的持续投入和迭代节奏。