RAG_Techniques：全球最大 RAG 教程知识库，让检索增强生成从入门到精通

一、从"大模型幻觉"说起——为什么需要 RAG

想象一下，你让 AI 阅读了公司 300 页的产品手册后，问它"我们最新的保修政策是什么"，结果它一本正经地编了一个根本不存在的条款。这种让用户哭笑不得的"一本正经胡说八道"，就是大语言模型（LLM）的幻觉问题——模型在知识边界之外的内容上容易生成看似合理、实则错误的信息。

检索增强生成（Retrieval-Augmented Generation，RAG）就是为了解决这个问题而生的技术范式。其核心思想非常直观：不要让模型凭空生成答案，而是先从可信的知识库中检索相关文档，再让模型基于这些真实内容作答。 这就像一个开卷考试：模型不再需要背下所有知识，只需学会如何正确使用检索工具。

然而，RAG 的实际实现远比概念复杂。从最简单的向量检索，到 HyDE 假设文档嵌入、GraphRAG 知识图谱增强，再到 CRAG 自适应纠正——不同的业务场景需要不同的 RAG 策略。NirDiamant/RAG_Techniques 正是这个领域的"百科全书"，它以 37 个精心配备的 Jupyter Notebook 为载体，系统梳理了从基础到前沿的几乎所有主流 RAG 技术，是 AI 开发者必备的参考手册。

图1：作者 Nir Diamant 在 Amazon 上出版的《RAG Made Simple》，与本仓库配套，已售出 1500+ 册，发布即登顶 Amazon 生成式 AI 畅销榜

二、项目背景与作者故事

本仓库的作者是 Nir Diamant（X/Twitter @NirDiamantAI），一位深耕 NLP 和 AI 工程领域的技术作者。他的个人主页和 GitHub 签名都指向了 DiamantAI Collective——一个专注于 AI 工程的社区和招聘平台。

RAG_Techniques 仓库的诞生背景非常清晰：2023 年随着大模型热潮兴起，RAG 作为将 LLM 与私有知识库结合的主流方案受到广泛关注，但彼时社区缺少系统性的学习资源。Nir 决定用自己最擅长的方式——视觉化、实战化的 Notebook 教程——来填补这个空白。

这个项目的增长速度令人印象深刻：上线后迅速积累了超过 27,500 颗 GitHub Stars，仓库内包含了 37 个完整的 RAG 技术 Notebook、19 个可直接运行的 Python 脚本、以及一套配套的评估框架。这种规模让它成为了 RAG 领域毫无争议的标杆资源库。

作者还以本仓库为基础，出版了《RAG Made Simple》书籍（Amazon 4.4 星，400+ 页），进一步将仓库中的知识体系化、文字化。这条"开源教程 → 社区验证 → 出版变现"的路径，也成为知识创作者的可参考模式。

三、核心内容：37 种 RAG 技术全覆盖

3.1 基础技术层（No. 1-5）

项目从最简单的 Simple RAG 开始，提供了 LangChain 和 LlamaIndex 两种实现方式的对照教程，让初学者能直观理解 RAG 的标准工作流：文档加载 → 分块（chunking）→ 向量化 → 相似性检索 → 生成回答。

分块策略是 RAG 中最基础也最影响效果的一环。项目详细讲解了：

• 语义分块（Semantic Chunking）：按语义边界而非固定字符数切分，保持每个块的信息完整性
• 选择最优块大小（Choose Chunk Size）：通过实验对比不同块大小对检索效果的影响

3.2 检索增强技术（No. 6-15）

检索质量直接决定生成质量。项目覆盖了多条提升检索效果的路线：

上下文丰富化：通过在每个块前后扩展上下文窗口（Context Enrichment），减少因切分导致的语义丢失。同时提供 Contextual Chunk Headers 技术，为每个块自动生成描述性标题，增强检索时的相关性判断。

查询变换（Query Transformations）：当用户提问方式与知识库表述不一致时，通过 HyDE（假设性文档嵌入）和 HyPE（假设性提示嵌入）让检索阶段主动"理解问题意图"，生成假设性答案来辅助匹配。

重排序（Reranking）：两阶段检索——先用向量快速召回 Top-K，再用 Cross-Encoder 精细排序，显著提升最终 Top-1 的准确率。项目同时提供了 LangChain 和 LlamaIndex 的实现。

融合检索（Fusion Retrieval）：将多种检索方法的结果通过 Reciprocal Rank Fusion 算法融合，弥补单一检索器的盲区。

3.3 Agentic RAG 与自反思（No. 16-22）

这是项目最具前沿性的部分，展示了如何让 RAG 系统"主动思考"：

• Self-RAG：让模型在生成过程中自我反思，必要时触发额外检索或修正答案
• Agentic RAG：构建多代理协作系统，让不同代理负责路由、检索、生成等不同子任务
• CRAG（Corrective RAG）：自动检测检索结果质量，置信度低时触发网络搜索补充
• Reliable RAG：端到端的可靠性评估与优化框架

3.4 知识图谱增强：GraphRAG（No. 23-26）

微软开源 GraphRAG 后，本仓库迅速跟进，提供了完整的实现教程：

• GraphRAG：将文档中的实体和关系构建为知识图谱，检索时不仅找相似文本块，还顺着知识图谱的关联路径扩展，显著提升跨文档总结类查询的效果
• GraphRAG with Milvus：使用 Milvus 向量数据库的实际部署教程
• Microsoft GraphRAG：微软官方实现的专项讲解

3.5 多模态 RAG（No. 27-28）

• 多模态 Captioning RAG：用视觉模型为图片生成描述文本，实现图文混合知识库的检索
• ColPali 多模态 RAG：使用 ColPali 架构，直接用视觉语言模型处理图片嵌入，解决传统 OCR + 文本方案的信息损失问题

3.6 其他前沿技术（No. 29-37）

还涵盖了 RAPTOR（树形层级索引）、MemoRAG（记忆增强）、DartBoard（多维度检索评估）、JSON-RAG（结构化数据处理）、Propositional Chunking（命题级别分块）、Retrieval with Feedback Loop（带反馈的迭代检索）、Adaptive Retrieval（自适应检索时机）等前沿探索。

四、技术栈与代码架构

从代码层面看，RAG_Techniques 的架构非常清晰：

核心技术依赖：

• LangChain / LlamaIndex：两大主流 LLM 应用框架，作为 RAG 编排层
• FAISS / Milvus：向量数据库（FAISS 用于本地快速原型，Milvus 用于生产级部署）
• OpenAI Embeddings：默认使用 OpenAI 的 text-embedding-3-large 模型
• BM25Okapi：传统关键词检索，作为向量检索的补充（fusion_retrieval 中使用）
• PyPDFLoader：PDF 文档加载（项目自带气候变化 PDF 作为样例数据）
• FitZ（PyMuPDF）：PDF 渲染处理

代码组织：

all_rag_techniques/           # 37个 Jupyter Notebook（教程）
all_rag_techniques_runnable_scripts/  # 19个纯 Python 脚本（可直接运行）
helper_functions.py           # 共享工具函数（PDF编码、文本处理等）
evaluation/                   # 评估框架（含 deep_eval、GRUSE、open-rag-eval）
tests/                        # 基础导入测试
data/                         # 示例 PDF 数据

helper_functions.py 中封装了 PDF 编码、分块、BM25 初始化等复用逻辑，是整个项目的基础设施层。每个 Notebook 都遵循"问题引入 → 原理讲解 → 代码实现 → 效果演示"的四段式结构，非常适合学习。

五、评估框架：不只是教程，还有量化方法

项目不只是教如何构建 RAG，还提供了系统性的评估工具：

• define_evaluation_metrics.ipynb：讲解 RAG 评估的核心指标体系（Faithfulness、Answer Relevancy、Context Precision/Recall、Context Entity Consistency 等）
• end-2-end_rag_evaluation.ipynb：端到端评估流程
• evaluation_deep_eval.ipynb：基于 deep_eval 库的自动化评估
• evaluation_grouse.ipynb：GRUSE 多维度检索评估框架
• open-rag-eval-example.ipynb：Open-RAG-Eval 标准基准测试示例

这套评估体系帮助开发者在实际项目中量化不同 RAG 技术的效果差异，而不是凭感觉判断。

六、适用场景与上手建议

适合的人群：

• AI 开发者：需要在自己的产品中集成 RAG 功能，快速了解各技术的优劣
• AI 爱好者：想系统理解 LLM 应用层的检索增强机制
• 学生与研究者：作为 RAG 领域的系统性学习资料，覆盖了从经典到最新的大部分论文核心思想

不适合的场景：

• 想要一个开箱即用的生产级 RAG 系统——这是教程库，不是产品框架
• 追求极致性能优化——重点在原理理解，不在工程极致

上手路径建议：从 Simple RAG（LangChain 版）开始 → 学习分块策略 → 掌握重排序 → 再根据业务场景选择高级技术（GraphRAG、Agentic RAG 等）。每个 Notebook 都有对应的 Runnable Script，适合在本地边运行边理解。

七、局限与争议

诚实地看，这个项目也有一些值得注意的局限：

1. 依赖 OpenAI：默认使用 OpenAI Embeddings 和 GPT 模型，对于想用本地开源模型（Llama、Qwen 等）的用户，需要额外配置。目前社区已有用户反馈希望增加更多开源后端的支持。
2. Notebook 形式的工程局限性：37 个 Notebook 意味着大量重复的依赖安装和配置代码，实际项目开发中难以直接复用。Runnable Scripts 版本部分缓解了这个问题，但覆盖面仍不完整。
3. 部分前沿技术更新滞后：如 MemoRAG、ColPali 等 2024 年底-2025 年新技术，目前只有单个 Notebook，深度和稳定性不如经典技术。

八、行业意义与趋势

RAG_Techniques 的存在本身就是一个信号：RAG 技术已经从"少数人研究的学术方向"演变为"每个 LLM 应用开发者都需要了解的基础技能"。这个仓库扮演了知识民主化的角色——将散落在论文、博客、工程博客中的碎片知识整合为一个系统性的学习路径。

从趋势看，RAG 正在沿着几个方向演进，而这个仓库的内容布局也反映了这个方向：

• 从文本到多模态：图片、表格、代码等非结构化内容的 RAG 处理
• 从被动检索到主动 Agent：Agentic RAG 让系统自己判断何时检索、检索什么
• 从黑盒到可解释：Explainable Retrieval、Contextual Compression 让开发者能理解 RAG 的决策过程
• 从通用到领域定制：垂直领域（金融、医疗、法律）的 RAG 最佳实践正在形成

Nir Diamant 本人也因此项目获得了可观的社区影响力，其 DiamantAI Collective 已成为连接 AI 人才与招聘方的平台。这说明高质量的技术内容本身就能创造价值——无论是对社区还是对作者本人。

---

本分析基于 GitHub 仓库 37 个 Notebook、19 个脚本及配套文档生成，所有技术描述均经过代码层面的核实。图片来源于仓库 images/ 目录并验证可访问。