vector-search-class-notes

普林斯顿 AI 长期记忆课：从理论到工业级向量搜索的全链路笔记

当 AI 开始"遗忘"：为什么向量数据库成为兵家必争之地

2023 年，大模型狂飙突进，但一个根本性问题始终悬而未决：大模型的"记忆"能持续多久？

ChatGPT 的上下文窗口再长，也装不下一个公司十年积累的产品文档；Claude 的参数再多，也记不住用户三个月前的操作偏好。当 AI 开始"遗忘"，开发者们才意识到——AI 长期记忆系统，才是这场游戏的下半场。

而向量数据库，正是这场下半场的基础设施。

那么问题来了：向量搜索背后的数学原理是什么？从近邻搜索到量化压缩，从 KD-Tree 到 HNSW，工业级方案如何炼成？

这就是普林斯顿大学 COS 597A 这门课要回答的核心问题。

---

课程背景：顶级工业界 × 顶级学术圈

这门课程的全称是"Long Term Memory in AI - Vector Search and Databases"，由普林斯顿大学 2023 年秋季学期开设，课程编号 COS 597A。

师资配置堪称豪华：

• Edo Liberty：课程主讲人，Pinecone 创始人兼 CEO。Pinecone 是全球最知名的向量数据库服务提供商，专注提供高性能向量检索基础设施。Edo 同时是耶鲁大学博士，在算法和大规模数据系统领域有深厚积累。在创办 Pinecone 之前，他在 Yahoo Labs 和 Amazon 从事大规模机器学习系统研发。
• Matthijs Douze：Meta AI 研究科学家，FAISS（Facebook AI Similarity Search）框架的核心架构师和主要开发者。FAISS 是目前开源界最流行、应用最广泛的向量搜索库，支撑了 Meta 数十亿级内容推荐和检索场景。
• Harsha Vardhan Simhadri：微软研究院首席研究员，DiskANN 算法的提出者——一种能在商用磁盘上实现十亿级向量快速检索的算法，是微软必应搜索向量化的核心技术。

三位讲师分别代表了向量搜索领域最重要的三个角色：向量数据库产品、向量搜索开源库、工业级大规模搜索系统。这种"产、学、研"三方同台授课的模式，在公开课程中极为罕见。

---

课程内容：从嵌入向量到十亿级 ANN 搜索

课程共 9 个讲座，覆盖向量搜索的完整技术栈：

第一阶段：向量基础与嵌入

第 1-3 讲从向量空间模型的基本概念出发，解释嵌入向量（Embedding）作为信息瓶颈的作用——为什么用向量表示比端到端学习更具可解释性和可扩展性。课程涵盖文本嵌入和图像嵌入的具体方法，以及向量空间中的距离度量选择。

第二阶段：索引与搜索算法

第 4 讲引入低维向量搜索问题，逐步过渡到近似近邻搜索（ANN，Approximate Nearest Neighbor Search）——因为精确搜索在十亿级数据量下计算代价不可接受。第 5 讲讲解降维技术（PCA 等）如何减少存储和计算开销。

第三阶段：工业级算法

第 6-9 讲是课程的核心，分别深入讲解：

• 量化（Quantization）：如何用有限比特表示浮点向量，平衡精度与内存
• 聚类（Clustering）：K-Means 等聚类算法在大规模向量索引中的应用
• 图索引（HNSW / DiskANN）：基于图的近似近邻搜索算法，如何在速度和精度之间取得最优平衡

---

技术架构：纯文档项目，无运行时依赖

本仓库本质上是一个 LaTeX 文档项目，而非可执行软件。

代码组件：

• bibtomarkdown.py：Python 辅助脚本，将 BibTeX 引用转换为 Markdown 格式，用于文档生成
• build.sh：Unix Shell 脚本，驱动 LaTeX 编译流程，生成 PDF 讲义
• vs.bib / vs.sty：课程自定义参考文献格式和 LaTeX 样式宏包

内容文件：

• 每个讲座对应一对 .tex（LaTeX 源码）和 .pdf（输出讲义）
• Class_08_runbook_for_students.ipynb：Jupyter Notebook 格式的学生实验手册
• images/ 目录包含课程图解（KD-Tree 构造过程、PCA 投影、向量空间模型等）

构建方式： 在类 Unix 系统（Linux / macOS）上，安装 texlive 套件（含 pdflatex、bibtex）后，执行：

git clone git@github.com:edoliberty/vector-search-class-notes.git
cd vector-search-class-notes
./build

即可在本地编译生成完整 PDF 讲义集。

在线阅读： 课程已部署至 GitHub Pages，无需本地编译即可访问：https://edoliberty.github.io/vector-search-class-notes/

---

受众与门槛：面向谁？如何学？

适合人群：

• AI 应用开发者，想深入理解 RAG（检索增强生成）的底层原理
• 数据工程师，需要选型向量数据库但不想只看广告想了解向量搜索算法的原理（量化、聚类、图索引），选择合适的 ANN 算法
• 学术研究者，想系统梳理向量搜索领域的经典算法和最新进展
• 计算机科学方向的研究生，补充大规模数据系统知识

前置知识：

• 线性代数基础（向量、矩阵、距离度量）
• 基本的数据结构和算法知识（树、图、复杂度分析）
• 对机器学习有基本了解（了解什么是嵌入向量最佳）

课程局限性：

• 课程发布于 2023 年秋季，部分内容（如最新多模态向量搜索、ColBERT 等晚于课程发布的方法）未覆盖
• 作为课程笔记，部分证明和推导较为紧凑，适合已有基础的同学深入，而非零基础入门

---

行业意义：为什么这门课值得关注？

向量搜索赛道在 2023-2024 年经历了爆发式增长。Pinecone、Weaviate、Milvus、Chroma 等向量数据库项目合计融资超过 10 亿美元。GitHub 上向量搜索相关项目的 star 增长曲线几乎呈指数形态。

而这门课的特殊价值在于：它不是向量数据库厂商的宣传材料，而是三位深度参与这一领域工业实践的从业者，从学术和工程双重视角讲授的完整知识体系。

Edo Liberty 讲授的向量数据库产品设计思维、Matthijs Douze 分享的 FAISS 内部实现细节、Harsha Simhadri 演示的 DiskANN 磁盘优化策略——这些内容在公开资料中极为稀缺。

对于希望真正理解向量搜索而不是仅仅调用 API 的开发者，这门课程笔记是目前 GitHub 上性价比最高的自学资源之一。