Agentic RAG with LangGraph and Ollama：让大模型拥有"长期记忆"的生产级 RAG 框架

从"健忘症"说起：大模型为什么需要 Agentic RAG？

想象这样一个场景：你是一家律所的 AI 助手，用户问："我们去年为 XX 公司起草的那份并购合同，有什么关键条款需要注意？"

通用大模型大概率会一本正经地"编造"答案——因为它根本没有见过那份合同。

这背后是一个根本性矛盾：大模型的知识是训练时的"快照"，而现实世界的知识每分每秒都在更新。 检索增强生成（RAG）就是为了解决这个问题。但传统 RAG 有一个致命缺陷——它只是简单地把文档切块、向量化、再检索，没有真正的"理解"和"推理"能力。

laxmimerit/Agentic-RAG-with-LangGraph-and-Ollama 解决的就是这个问题：它基于 LangGraph 构建了一个多 Agent 协作的工作流，让大模型不仅能检索，还能思考、路由、反思、调用工具，甚至与数据库交互——就像一个真正的 AI 助手。

技术架构：LangGraph 有向图如何编排 RAG？

项目的核心架构是 LangGraph 有向无环图（DAG）工作流，用 13 个 Jupyter Notebook 由浅入深地展示了从基础到生产级的完整路径：

核心组件一览

整个系统的技术栈可以分为三层：

① 编排层：LangGraph LangGraph 是 LangChain 团队为构建有状态、多步骤 Agent 工作流而生的框架。相比 LangChain 的 Chain，LangGraph 允许你定义节点的执行顺序、分支条件、中断点（Human-in-the-Loop），以及状态的持久化。这让它天然适合复杂的 Agent 场景。

② 本地 LLM 层：Ollama Ollama 让你在本地运行各种开源大模型（Llama 3、Mistral、Qwen 等），无需 GPU 云服务。本项目使用 langchain-ollama 集成，所有 LLM 调用都经过 Ollama 处理，数据永远不会离开你的机器。

③ 记忆层：多层次持久化

• 短期记忆：LangGraph Checkpoint SQLite，基于 SQLite 的图状态快照
• 长期记忆：LangGraph Checkpoint PostgreSQL，支持跨会话的状态持久化
• 向量记忆：Chroma 向量数据库，结合 BM25 混合检索

关键能力解析

条件路由（Conditional Routing） 不同问题走不同路径：简单问题直接回答，复杂问题触发 RAG 检索，数据库问题调用 SQL Agent。这是 Agentic RAG 和普通 RAG 的本质区别——能根据问题类型动态选择处理策略。

MySQL Agent 项目专门构建了一个 SQL Agent，可以根据自然语言问题自动生成 SQL 查询，让大模型直接与 MySQL/PostgreSQL 对话，实现结构化数据问答。

Human-in-the-Loop（中断与人工介入） LangGraph 支持在关键节点中断执行，等待人工确认。这对于医疗、法律、金融等高风险场景至关重要——AI 不能自行做决策，必须有人类把关。

Docling 文档解析 支持 PDF、Word、HTML 等复杂文档的解析与向量化，采用 docling 2.66.0（已锁定版本，避免内存回归问题）。

Tavily 联网搜索 集成 Tavily API，让 Agent 具备实时联网搜索能力，弥补本地模型知识时效性不足的问题。

部署体验：本地运行的生产级 AI 助手

部署难度：困难 ⭐⭐⭐

本项目不提供 Docker 支持，需要手动配置完整的 Python 环境。

硬件要求

由于 Ollama 需要本地加载大模型，建议配置：

• GPU：NVIDIA GPU，8GB+ VRAM（运行 7B 模型），16GB+（运行 13B+ 模型）
• CPU 模式：可用，但响应速度明显下降，仅适合测试
• 内存：16GB+ RAM
• 存储：10GB+（模型文件 + 向量数据库）

部署步骤

1. 安装 Ollama：官网下载，运行 ollama pull llama3 拉取模型
2. Python 环境：3.10+，建议用 conda 或 venv
3. 依赖安装：pip install -r requirements.txt
4. 配置密钥：在 .env 中设置 TAVILY_API_KEY（可选，用于联网搜索）
5. 数据库（可选）：如启用长期记忆，启动 PostgreSQL
6. 运行：启动 Jupyter Lab，逐章运行 Notebook 或自行改写为 Python 脚本

部署形式

项目以 Jupyter Notebook 为核心交付物（13 个 .ipynb 文件），更适合学习和调试，而非直接作为服务运行。如需生产部署，需要将 Notebook 逻辑改写为 Python 模块或 FastAPI 服务。

快速部署支持度：❌ 不支持

无 Dockerfile、无 docker-compose、不支持一键启动。

项目亮点与局限

亮点

• 完全本地化：所有 LLM 调用通过 Ollama 在本地执行，数据不外传，适合企业隐私合规场景
• 混合检索：BM25 + 向量检索双路召回，结合 LangGraph 的条件路由策略，检索质量显著优于纯向量检索
• 多 Agent 协作：SQL Agent + RAG Agent + 反思 Agent，各司其职而非单一链式处理
• 持久化记忆：支持跨会话状态保持，这是大多数开源 RAG 项目缺失的能力
• 学习路径完整：13 个 Notebook 从 00 到 13，由浅入深，是极佳的 LangGraph 实战教材

局限

• 无容器化：缺乏 Docker 支持，生产部署门槛高
• 无测试：代码库中无任何测试框架和单元测试，生产稳定性存疑
• 无 License：代码无明确许可证，使用时需注意法律风险
• Jupyter Notebook 为主：不适合直接作为 Python 模块导入，需二次开发
• Ollama 模型质量依赖：本地模型效果受限于模型大小和量化精度

行业意义

Agentic RAG 代表了 RAG 技术的演进方向：从"检索 + 生成"的简单两阶段，走向"理解 → 路由 → 检索 → 反思 → 生成"的多阶段智能工作流。

LangGraph 的出现让这种复杂工作流的构建变得可维护、可调试、可持久化。结合 Ollama 的本地化能力，这个项目为那些不能把数据送云端的企业（医疗、金融、法律、政府）提供了一条可行的落地方案。

作者 laxmimerit（KGP Talkie）是一名活跃的 AI 教育者，Udemy 上有超过 10 万学生，他的课程体系覆盖了从机器学习基础到 LLM Agent 开发的完整路径。本项目是这个知识体系的最新组成部分，持续更新中。

---

本分析基于项目 README、源代码结构及依赖分析生成。报告字数约 1500 字。