YT-Navigator
wassim249/YT-Navigator加载项目详情…
本应用为开源项目，仅供学习研究，请遵守其开源协议。
微信扫码咨询客服
POMOAI — 让开源 AI 即刻运行
加载项目详情…
本应用为开源项目，仅供学习研究，请遵守其开源协议。
想象你是一位科研人员，要在某个技术频道的 200 期节目中，找到所有关于「Transformer 架构优化」的内容。传统做法：逐个视频翻看标题 → 打开视频 → 拖进度条 → 判断相关性。全程耗时数小时。而 YT Navigator 的做法是：你输入一句自然语言问题，系统在几秒内返回精确到秒的相关片段，以及 AI 基于视频内容给出的综合回答。
这不是搜索标题，而是搜索视频「脑子里的东西」——这是一个典型的 RAG（检索增强生成）系统，针对 YouTube 视频场景深度定制的产品。
YT Navigator 由独立开发者 wassim249 创建于 2024 年下半年，项目获得了 Reddit r/LangChain 社区的推荐，LangChain 官方账号在 Threads 上进行了专题转发。项目定位明确：帮助研究者和内容创作者从海量视频中高效提取信息，核心解决的是「视频内容不可搜索」的痛点。
用户输入 YouTube 频道 URL 后，系统完成两件事：
整个过程支持并行处理，最多扫描 100 个视频。扫描完成后，频道内容进入「可检索状态」。
用户输入自然语言查询后，系统同时执行两条搜索路径：
两组结果合并去重后，送入 Cross-Encoder 重排序模型（ms-marco-MiniLM-L-6-v2）重新打分，最终返回分组结果——同一视频下的多个相关片段聚合展示。
这一设计的精妙之处在于：语义搜索负责「理解意图」，BM25 负责「字面精度」，Cross-Encoder 负责「综合质量」。 三者互补，极大降低了漏检率。
聊天模块是整个项目技术含量最高的部分。它基于 LangGraph 实现了一个 ReAct（Reason + Act）Agent，架构如下：
用户消息
↓
路由决策 (llama-3.1-8b-instant)
├── 非工具调用 → 直接回复
├── 无相关内容 → 静态回复
└── 工具调用 → qwen-qwq-32b ReAct 循环
├── 语义搜索工具 → pgvector 查向量
└── SQL 查询工具 → PostgreSQL 查元数据
循环直到得到满意答案
开发者为 Agent 设计了「路由层」：小模型（llama-3.1-8b-instant）负责意图分类，判断是否需要调用工具；大模型（qwen-qwq-32b）负责真正的推理生成。这是一个成本敏感的工程权衡，在保证回答质量的同时降低了 API 调用成本。
Django 模板驱动的前端提供三个核心页面：频道管理、搜索页、聊天页。搜索结果直接展示视频缩略图、相关片段文字和时间戳链接，用户点击可跳转到 YouTube 精确时间点。
┌──────────────────────────────────────────────┐
│ Django Views / Templates (UI) │
├──────────────────────────────────────────────┤
│ Agent Layer (LangGraph ReAct) │
│ ├─ Route Agent (llama-3.1-8b-instant) │
│ └─ Tool Agent (qwen-qwq-32b) │
├──────────────┬───────────────────────────────┤
│ Search Layer│ ├─ Semantic Retriever (pgvector) │
│ │ ├─ BM25 Keyword Search │
│ │ └─ Cross-Encoder Reranker │
├──────────────┴───────────────────────────────┤
│ Scraping Layer │ ├─ Scrapetube (video list) │
│ │ └─ youtube-transcript-api │
├──────────────────────────────────────────────┤
│ Data Layer │ PostgreSQL + pgvector │
└──────────────────────────────────────────────┘
| 组件 | 技术选型 | 作用 |
|---|---|---|
| Web 框架 | Django 5.1.7 | 路由、模板、会话管理 |
| LLM 推理 | Groq API (qwen-qwq-32b, llama-3.1-8b-instant) | 对话生成、路由决策 |
| Agent 框架 | LangGraph | ReAct Agent 状态机 |
| Embedding | BAAI/bge-small-en-v1.5 (HuggingFace) | 语义向量生成 |
| 向量数据库 | pgvector | 相似度检索 |
| 重排序 | cross-encoder/ms-marco-MiniLM-L-6-v2 | 结果质量提升 |
| 异步任务 | asyncpg | 批量数据写入 |
| WSGI 服务器 | Gunicorn (4 workers, 4 threads) | 生产部署 |
项目定义了四个核心模型：Channel（频道）、Video（视频）、VideoChunk（字幕块）、User（用户）。VideoChunk 是整个 RAG 系统的核心单元——它存储原始字幕文本、向量 ID 和所属视频的关联，查询时通过 JOIN 聚合回视频级别展示。
LangGraph Agent 使用 PostgreSQL 作为 Checkpointer，对话状态跨请求持久化。这意味着用户可以中途关闭页面，下次打开继续同一段对话。实现方式：异步连接池 AsyncPostgresSaver，避免阻塞主请求。
项目提供了完整的多阶段 Dockerfile，基于 python:3.13.2-slim：
libpq-dev、gcc 以编译 psycopg2--mount=type=cache 缓存 pip 下载，加速重复构建appuser 运行（安全加固）/app/.cache/huggingfacedocker-entrypoint.sh 脚本作为入口点构建命令：make build-docker，运行：make run-docker
这个文件存在但为空（0 字节）。这意味着你需要手动编写 PostgreSQL 服务编排，或者自行在本地启动 pgvector。README 中提到需要 POSTGRES_HOST=db，说明作者有 compose 编排意图，但未完成实现。
除了 Docker，还需要：
中等。主要障碍在于：pgvector 扩展的配置需要一定 PostgreSQL 经验，Groq API Key 的获取流程对国内用户有一定门槛，docker-compose 缺失导致多服务编排需要手工补全。
整个系统的智能核心来自 Groq API：路由用 llama-3.1-8b-instant，推理用 qwen-qwq-32b。一旦 Groq 服务不可用或政策变更，系统退化为纯关键词搜索。这是一个架构层面的单点风险。
字幕抓取依赖 YouTube 官方字幕接口，部分视频（无字幕、私密、版权限制）无法处理。此外，字幕语言质量参差不齐，非英语频道效果可能打折扣。
向量数据库并非开箱即用：需要启用 pgvector 扩展、理解向量维度和索引类型（HNSW vs IVF）。DBA 经验不足的团队可能在这里遇到瓶颈。
Embedding 模型（bge-small-en-v1.5）和 Reranker 模型（ms-marco-MiniLM-L-6-v2）版本固定，没有提供配置化的模型切换机制。如果需要换成更大的 embedding 模型（如 bge-large），需要修改代码而非配置。
当前实现不支持 Ollama 或其他本地推理引擎，对隐私敏感或需要离线运行的场景不友好。
YT Navigator 代表了一个明确的产品方向：将任意 YouTube 频道转化为可检索、可对话的知识库。这个模式有广泛的应用场景：
从技术角度看，该项目展示了如何将多个云服务（Groq、HuggingFace、YouTube API）组合成一个端到端产品，每个环节都有明确的工程取舍——用小模型做路由节省成本，用向量+BM25双路保证召回率，用 Cross-Encoder 保障精度。这种「最佳实践组合」本身就是有价值的参考。
YT Navigator 是一个工程完成度较高的 AI 应用 Demo，展示了从爬虫到向量检索再到 Agent 对话的全链路实现。它的核心价值不在于技术原创性，而在于产品化能力：将 RAG 管道、ReAct Agent 和 YouTube 数据源三个成熟技术组合成了一个用户可以直接使用的工具。对于想构建垂直领域知识库的开发者，这是一个值得研究的参考架构。