private-gpt

PrivateGPT：让文档对话 100% 私有化

你有没有过这样的困扰：想把公司内部的合同、医生的病历、律师的卷宗交给 AI 处理，但又担心数据"溜进"云端服务器？2023 年 5 月，一个名为 PrivateGPT 的开源项目横空出世，用一种"断网式 AI"的思路回答了这个问题——不需要互联网连接，AI 也能读懂你的文档。这个项目在 GitHub 上迅速积累了近 6 万颗星，成为了"私有化 AI"领域的标杆作品。

图1：PrivateGPT 内置的 Gradio 可视化界面

背景故事：隐私焦虑催生的开源项目

生成式 AI 在 2023 年初爆红，但真正让企业头疼的不是"AI 能做什么"，而是"数据能不能不给别人"。医疗、金融、法律、政府等行业面临严格的数据合规要求（HIPAA、GDPR、信息安全等级保护），将内部文档上传到第三方 AI 服务，意味着数据控制权已经易手。

PrivateGPT 最初的"原始版本"（primordial branch）就是为了解决这个矛盾而诞生的——它演示了如何在完全离线的环境下，用本地运行的 GPT 模型对本地文档进行问答。这个简单的演示项目迅速成为隐私敏感场景的入门范本，也启发了 thousands of 本地 AI 项目的诞生。

2024 年，项目由 Zylon 公司正式接管，完成了从"演示项目"到"生产级框架"的蜕变。Zylon 于 2025 年实现 $1.2M ARR 收入，完全靠自筹资金运营，团队规模 11 人，体现了开源 + 商业化的可持续路径。

工作原理：像一个私密的"图书馆管理员"

如果把 PrivateGPT 比作一个图书馆管理员，流程是这样的：

1. 入库（Ingestion）：把 PDF、Word、文本等文档扔进去，系统自动解析文本、切成小块（chunks）、生成向量嵌入（embedding），存入向量数据库。
2. 检索（Retrieval）：当你提问时，系统先把问题转成向量，在向量数据库中找出最相关的文档片段。
3. 生成（Generation）：把问题和检索到的文档片段打包成提示词（prompt），发送给 LLM（大语言模型），生成最终回答。

整个流程就是 AI 领域著名的 RAG（检索增强生成） 架构。PrivateGPT 在此基础上做了大量工程化工作：支持多种文档格式、多种向量数据库、多种 LLM 后端，用户可以自由组合。

核心技术栈

层次	技术选型	说明
Web 框架	FastAPI	遵循 OpenAI API 标准，主流 Python Web 框架
RAG 核心	LlamaIndex	提供 LLM、Embedding、VectorStore 等抽象层
依赖注入	Injector	解耦各组件，降低耦合度
LLM 后端	Ollama / OpenAI / Azure / Gemini / LlamaCPP	覆盖本地到商业 API
向量存储	Qdrant / Chroma / Milvus / PostgreSQL / ClickHouse	企业级到轻量级全覆盖
文档解析	docx2txt + LlamaIndex Readers	支持 20+ 文档格式
用户界面	Gradio	开源可视化 UI，快速上手

系统提供高级 API（封装好的 RAG 管道）和低级 API（可自定义嵌入生成、检索逻辑），兼顾易用性和灵活性。

图2：PrivateGPT 架构概览（来源：项目文档）

部署方式：三种路径怎么选

路径一：Docker 一键部署（推荐小白）

项目提供了完整的 docker-compose.yaml，支持两种模式：

• Ollama 模式：自动拉起 Ollama + PrivateGPT API 服务，通过 Docker 网络互联，最简单。
• LlamaCPP CPU 模式：纯 CPU 运行（速度慢，适合测试），无外部依赖。

一条命令启动：

docker compose --profile ollama-cuda up

路径二：本地源码部署（推荐开发者）

需要手动安装依赖：

poetry install --extras "ui vector-stores-qdrant llms-ollama embeddings-ollama"
poetry run private-gpt

路径三：API 对接（推荐集成方）

项目完全遵循 OpenAI API 规范，只需把 base_url 指向 PrivateGPT 服务地址，现有 OpenAI 应用几乎零改动迁移：

from openai import OpenAI
client = OpenAI(
    api_key="not-needed",
    base_url="http://localhost:8001/v1"  # PrivateGPT 地址
)

硬件要求与性能

模式	GPU	显存	内存	磁盘
Ollama GPU 模式	RTX 3090+	8GB+	16GB+	10GB+
Ollama CPU 模式	不需要	N/A	32GB+	10GB+
API 模式（调用 OpenAI）	不需要	N/A	4GB	5GB

如果不想折腾本地 GPU，直接使用 OpenAI/Azure/Gemini 等商业 API 模式，硬件门槛几乎为零。

优势与局限

优势：

• 真正的数据隐私：文档从不离开本地环境，适合合规敏感行业。
• 生产级质量：依赖注入架构、完整测试套件、版本化管理，不是玩具项目。
• 高度模块化：LlamaIndex 抽象层让切换 LLM/向量库非常方便。
• 活跃社区：GitHub 5.7 万星，Discord 活跃，文档完善。

局限：

• 本地 GPU 成本高：如果跑开源模型（如 Llama 3），需要专业 GPU。
• Ollama 模型下载慢：首次运行需要下载模型，在没有代理环境下可能很慢。
• 多语言文档支持一般：PDF 解析质量依赖于底层库，对复杂排版（表格、多栏）支持有限。
• 企业特性缺失：无多租户、无审计日志、无细粒度权限控制——这些都是 Zylon 商业版的卖点。

行业意义：开源如何撬动企业市场

PrivateGPT 的发展轨迹验证了一个有趣的逻辑：开源项目做技术验证，商业版本做企业变现。Zylon 并没有在开源版里塞满企业功能，而是保持其"技术框架"定位，在商业版中提供多租户、SSO、合规审计等能力。这种策略让开源社区保持了活力（不用担心功能分裂），同时商业版也有清晰的差异化价值。

从行业角度看，PrivateGPT 代表的"私有 RAG"赛道已经非常拥挤：LangChain、RAGflow、MaxKB、AnythingLLM 等项目都在争夺同一批用户。PrivateGPT 的差异化在于极简主义——没有花哨的 Agent，没有复杂的编排逻辑，就是一个干净的 RAG API。这也是它能长期保持活力的原因之一。

图3：PrivateGPT 官方 Logo

快速上手建议

如果你想尝试 PrivateGPT，建议按以下顺序：

1. 先用 Docker Ollama 模式：一条命令验证完整流程，不用折腾环境。
2. 准备文档：把你想让 AI 看的 PDF/Word 文档放到 local_data/ 目录。
3. 摄入文档：调用 /ingest 接口或用 Gradio UI 上传文档。
4. 开始提问：通过 API 或 UI 与文档对话。

---

项目基本信息

• Star 数：57,000+（GitHub 热门项目）
• 语言：Python
• 许可证：Apache 2.0
• 维护者：Zylon AI
• 官方网站：https://privategpt.dev
• 文档：https://docs.privategpt.dev/