semantic-search-through-wikipedia-with-weaviate · RAG 与知识检索

维基百科语义搜索：用 Weaviate 打造大规模向量知识库

背景：为什么需要向量数据库做语义搜索？

想象一下，你想在一秒钟内从维基百科全部 600 万篇文章中找到"关于黑洞和时间相对论的关系"——不是精确关键词匹配，而是语义层面的理解。这种需求，传统数据库根本无法满足，而向量数据库正是为这一场景而生。

weaviate/semantic-search-through-wikipedia-with-weaviate 是由知名开源向量数据库 Weaviate 官方团队维护的演示项目。它将完整英文维基百科导入 Weaviate，展示了如何利用向量搜索技术在大规模语料上实现语义级别的信息检索。2023年5月项目归档后，其代码仍具有极高的学习和参考价值。

Weaviate 是什么？

Weaviate 是一个开源的向量搜索引擎数据库，核心特点是：

内置向量化模块：无需外部 Embedding 服务，直接在数据库内部完成文本→向量转换
GraphQL API：同时支持标量查询和向量搜索的统一查询接口
模块化架构：支持 text2vec-transformers、text2vec-contextionary、Q&A、SpellCheck 等多种模块
生产级特性：支持多副本、增量索引、Kubernetes 部署

Weaviate 在 GitHub 拥有超过 3 万颗星，是向量数据库领域的头部项目，由荷兰公司 SeMI Technologies 主导开发。

核心技术架构

该项目将 Wikipedia 数据处理拆解为三个阶段：

Step 1 - 数据预处理（process.py）

从 Wikipedia XML 数据转储中提取文章内容，包括：

使用 mwparserfromhell 解析 Wiki 标记语言，提取纯文本
过滤重定向页面和无内容页面
提取文章间的交叉引用（Cross-references），构建知识图谱关系
清理 HTML 标签、脚注、引用等噪音内容
将文章按段落拆分，每段独立生成向量

Step 2 - 数据导入（import.py）

通过 Weaviate Python 客户端将处理后的数据批量导入：

连接 Weaviate 实例，执行 GraphQL schema 定义
批量写入 articles 和 paragraphs 对象
建立 article → paragraph 的从属关系
构建 Wikipedia 文章间的 cross-reference 链接图

Step 3 - 向量化和查询

使用 Sentence-BERT（paraphrase-MiniLM-L6-v2） 模型将文本转为 384 维向量：

text2vec-transformers 模块直接集成在 Weaviate 内部
GPU 环境下使用 NVIDIA CUDA 加速推理
单一 GPU 可支持约 3000 QPS 的向量化吞吐
支持单次查询返回 top-K 相关段落

Docker Compose 部署方案

项目提供了两个 docker-compose 配置：

GPU 版本（推荐）：docker-compose-gpu.yml

Weaviate 核心服务 + Sentence-BERT 向量化推理服务
支持 4 个向量化 worker 副本，横向扩展推理能力
Q&A 模块（bert-large-uncased-whole-word-masking-finetuned-squad）支持问答
SpellCheck 模块提供拼写纠错

CPU 版本：docker-compose-no-gpu.yml

无需 NVIDIA GPU，适合体验和小规模测试
向量化速度显著低于 GPU 版本

应用场景

语义问答系统：结合 Q&A 模块，直接用自然语言提问，返回最相关段落
知识图谱构建：利用 Wikipedia 文章间的 cross-reference 构建领域知识网络
语义搜索引擎：替代传统关键词匹配，实现真正的"理解搜索"
RAG 知识库：作为 RAG（检索增强生成）系统的检索层

项目局限

项目已归档：官方于 2023年5月停止维护，但代码仍可用于学习
数据量大：完整 Wikipedia 导入需要 50GB+ 存储，完整向量索引约 30GB
GPU 强依赖：高效向量化必须使用 NVIDIA GPU，CPU 推理速度较慢
新版 Weaviate API 变化：当前使用 Weaviate v1.13.2，新版 API 有较大变化
无中文支持：Wikipedia 数据仅包含英文，不支持多语言语义搜索

行业意义

这个项目是 向量数据库 + 大规模预训练模型 结合的典型案例。它展示了：

如何将 PB 级 Wikipedia 数据转化为可检索的向量知识库
向量搜索在开放域问答（Open-domain QA）中的应用潜力
生产级向量数据库的部署和运维实践

随着 LLM 浪潮兴起，向量数据库已成为 RAG 系统的核心基础设施。Weaviate 作为开源领先者，其官方示范项目的架构设计值得深入研究。

注：本文档基于 GitHub 项目仓库代码和 Weaviate 官方博客内容整理，分析时间为 2026年7月。

维基百科语义搜索：用 Weaviate 打造大规模向量知识库

背景：为什么需要向量数据库做语义搜索？

Weaviate 是什么？

Weaviate 是一个开源的向量搜索引擎数据库，核心特点是：

内置向量化模块：无需外部 Embedding 服务，直接在数据库内部完成文本→向量转换
GraphQL API：同时支持标量查询和向量搜索的统一查询接口
模块化架构：支持 text2vec-transformers、text2vec-contextionary、Q&A、SpellCheck 等多种模块
生产级特性：支持多副本、增量索引、Kubernetes 部署

Weaviate 在 GitHub 拥有超过 3 万颗星，是向量数据库领域的头部项目，由荷兰公司 SeMI Technologies 主导开发。

核心技术架构

该项目将 Wikipedia 数据处理拆解为三个阶段：

Step 1 - 数据预处理（process.py）

从 Wikipedia XML 数据转储中提取文章内容，包括：

使用 mwparserfromhell 解析 Wiki 标记语言，提取纯文本
过滤重定向页面和无内容页面
提取文章间的交叉引用（Cross-references），构建知识图谱关系
清理 HTML 标签、脚注、引用等噪音内容
将文章按段落拆分，每段独立生成向量

Step 2 - 数据导入（import.py）

通过 Weaviate Python 客户端将处理后的数据批量导入：

连接 Weaviate 实例，执行 GraphQL schema 定义
批量写入 articles 和 paragraphs 对象
建立 article → paragraph 的从属关系
构建 Wikipedia 文章间的 cross-reference 链接图

Step 3 - 向量化和查询

使用 Sentence-BERT（paraphrase-MiniLM-L6-v2） 模型将文本转为 384 维向量：

text2vec-transformers 模块直接集成在 Weaviate 内部
GPU 环境下使用 NVIDIA CUDA 加速推理
单一 GPU 可支持约 3000 QPS 的向量化吞吐
支持单次查询返回 top-K 相关段落

Docker Compose 部署方案

项目提供了两个 docker-compose 配置：

GPU 版本（推荐）：docker-compose-gpu.yml

Weaviate 核心服务 + Sentence-BERT 向量化推理服务
支持 4 个向量化 worker 副本，横向扩展推理能力
Q&A 模块（bert-large-uncased-whole-word-masking-finetuned-squad）支持问答
SpellCheck 模块提供拼写纠错

CPU 版本：docker-compose-no-gpu.yml

无需 NVIDIA GPU，适合体验和小规模测试
向量化速度显著低于 GPU 版本

应用场景

语义问答系统：结合 Q&A 模块，直接用自然语言提问，返回最相关段落
知识图谱构建：利用 Wikipedia 文章间的 cross-reference 构建领域知识网络
语义搜索引擎：替代传统关键词匹配，实现真正的"理解搜索"
RAG 知识库：作为 RAG（检索增强生成）系统的检索层

项目局限

项目已归档：官方于 2023年5月停止维护，但代码仍可用于学习
数据量大：完整 Wikipedia 导入需要 50GB+ 存储，完整向量索引约 30GB
GPU 强依赖：高效向量化必须使用 NVIDIA GPU，CPU 推理速度较慢
新版 Weaviate API 变化：当前使用 Weaviate v1.13.2，新版 API 有较大变化
无中文支持：Wikipedia 数据仅包含英文，不支持多语言语义搜索

行业意义

这个项目是 向量数据库 + 大规模预训练模型 结合的典型案例。它展示了：

如何将 PB 级 Wikipedia 数据转化为可检索的向量知识库
向量搜索在开放域问答（Open-domain QA）中的应用潜力
生产级向量数据库的部署和运维实践

随着 LLM 浪潮兴起，向量数据库已成为 RAG 系统的核心基础设施。Weaviate 作为开源领先者，其官方示范项目的架构设计值得深入研究。

注：本文档基于 GitHub 项目仓库代码和 Weaviate 官方博客内容整理，分析时间为 2026年7月。