ThreatRAG：面向网络威胁情报的智能 RAG 分析系统

想象一个场景：深夜，企业的安全运营中心（SOC）收到了大量告警。安全分析师需要在几分钟内搞清楚：这些告警是否关联？背后是哪个攻击组织？他们的战术技术偏好是什么？传统的做法是翻阅几十份威胁情报报告，在 Google 里一个个搜索 IOC——耗时且容易遗漏。

ThreatRAG（GitHub: Ais1on/CTI-RAG）正是为解决这一痛点而生。它将 RAG（检索增强生成）技术与知识图谱、多模型路由、混合检索相结合，构建了一个专门服务于网络威胁情报（CTI）分析场景的智能后端系统，让安全分析师能够围绕攻击组织、恶意软件、漏洞等实体进行可追溯的多跳分析。

---

背景：为什么威胁情报需要 RAG？

网络威胁情报分析的核心挑战在于"碎片化"：一份 APT 报告可能只提到某组织的部分手法，另一份漏洞通告又提供了不同视角。如果仅靠关键词搜索或人工阅读，安全分析师需要花费数小时才能拼凑出完整的威胁画像。

RAG（Retrieval-Augmented Generation，检索增强生成）的思路是：让大语言模型在回答问题前，先从可信的知识库中检索相关片段，再结合上下文生成答案。这在通用场景下已相当成熟，但直接搬到 CTI 领域会遇到几个独特问题：

• 领域知识特殊：APT 组织名、CVE 编号、MITRE ATT&CK 战术 ID 等实体需要精确识别
• 关系型问题多：分析师经常问"某组织过去三年使用了哪些漏洞"，这是典型的多跳关系查询
• 多源异构数据：威胁报告格式多样（PDF/HTML/CSV），向量检索需要配合知识图谱才能准确关联

ThreatRAG 正是围绕这三个问题设计了一套完整的解决方案。

---

核心功能：从检索到分析的完整闭环

CTI RAG 问答

ThreatRAG 的核心问答模块基于 LangChain 和 LlamaIndex 构建，支持文件上传（PDF/Word/Excel）、文本分块、向量化存储和相似度检索。系统会自动识别威胁情报中的关键实体，并在回答中标注来源，方便分析师溯源。

更关键的是，它支持流式输出——前端可以实时看到 AI 的推理过程和引用来源，这在安全场景中对于建立分析师信任非常重要。通过 meta.db_id、meta.model_provider、meta.model_name 等参数，分析师可以灵活切换知识库和模型来源，进行横向对比。

知识图谱：从文本到结构的跨越

这是 ThreatRAG 与普通 RAG 系统最大的区别。它内置了一套完整的实体抽取 → 关系建模 → 图谱存储流水线：

• 使用 UIE（通用信息抽取）模型从威胁报告中自动抽取实体（攻击组织、恶意软件、漏洞、IP、域名等）和关系
• 抽取结果存入 Neo4j 图数据库，构建起可查询的威胁知识图谱
• 支持批量处理：分析师可以一次性上传整本威胁情报年鉴，系统自动生成图谱索引

Neo4j 的图查询能力让 ThreatRAG 能够回答传统向量检索无法搞定的问题，比如"距离某个 IP 两跳内所有关联的威胁实体"，或者"某攻击组织最常利用的 MITRE ATT&CK 战术是什么"。

混合检索：向量 + 图谱 + BM25 + Rerank

一个查询在 ThreatRAG 中会经过多个检索通道并行处理：

1. 向量检索：基于 DashScope text-embedding-v4 或本地 BGE-M3，将文本转为 1024 维向量
2. BM25 关键词检索：补充精确术语匹配（如 CVE 编号、哈希值）
3. 知识图谱查询：通过 Cypher 语句在 Neo4j 中检索结构化关系
4. HyDE 查询改写：用小模型先生成假设性答案，再将假设作为查询向量检索
5. Rerank 重排序：通过智谱 AI rerank 模型对多路检索结果做最终排序

这种"混合检索 + 重排序"的架构在工业级 RAG 系统中非常常见，ThreatRAG 将其与 CTI 领域的具体需求结合，实现了向量语义和结构化关系的统一利用。

多模型路由：熔断降级保障稳定性

在实际安全运营中，不同时间段的模型可用性差异很大。ThreatRAG 实现了模型熔断机制：当主模型（如 DeepSeek）响应超时或异常时，自动降级到备用模型（如 Ollama 本地模型），并记录降级原因。

支持的模型来源包括：

• OpenAI（GPT-4o-mini 等）
• DeepSeek（deepseek-chat、deepseek-reasoner）
• Ollama（本地模型，如 Qwen3:30b）
• 智谱 AI（GLM 系列）
• DashScope（阿里云通义千问）

多会话管理：团队协作的会话隔离

ThreatRAG 使用 MySQL 持久化会话和消息，Redis 加速运行时读取。每个会话绑定到 user_id，支持：

• 自动创建会话和显式创建会话
• 会话列表、详情查询、删除操作
• RabbitMQ 驱动的后台任务队列，处理文档解析和向量入库等耗时操作

---

系统架构：微服务架构的工程实践

ThreatRAG 采用了典型的微服务架构，通过 Docker Compose 编排多个独立服务：

服务	技术栈	作用
threatrag	FastAPI + Uvicorn	API 网关，处理所有前端请求
threatrag-worker	Python 多进程	异步任务处理器（文档解析、向量入库）
MySQL	MySQL 8	会话与知识库元数据持久化
Redis	Redis 7	运行时缓存、会话加速
RabbitMQ	RabbitMQ 3.13	任务队列，支持 Management UI
Neo4j	Neo4j 5	知识图谱存储
Milvus	Milvus Lite	向量数据库（可切换为全功能版）

Docker 镜像使用 python:3.11-slim 基础镜像，通过 uv 包管理器加速 Python 依赖安装，并预装了 CPU 版 PyTorch 以支持本地模型推理。所有服务通过 Docker 网络互联，配置文件通过 .env 注入，部署过程高度标准化。

---

上手体验：门槛与门槛的跨越

CLI 部署（推荐）

git clone https://github.com/Ais1on/CTI-RAG.git
cd CTI-RAG
cp .env.example .env
# 编辑 .env 填入 API Key
docker-compose up -d

系统会启动完整服务栈，API 监听在 8006 端口。初始化后可通过 Swagger UI（/docs）查看所有可用接口。

硬件与模型配置

默认配置使用 Ollama 本地模型（qwen3:30b），如需更强的推理能力，可在 config.yaml 中切换到 DeepSeek 或 OpenAI。embedding 模型默认使用 DashScope 云端服务，也可替换为本地 BGE-M3。

当前局限

• 无 Web UI：纯 API 后端，对非技术人员不友好，需要前端对接
• GPU 非必须但建议：CPU 模式下本地大模型推理速度较慢
• 初始知识库需自建：系统不附带预训练威胁情报数据，需要分析师自行导入

---

行业意义：RAG 在安全领域的深化

ThreatRAG 代表了一个趋势：垂直领域 RAG 正在从通用问答走向专业工作流。与通用 ChatPDF 不同，它深度整合了知识图谱和多跳推理能力，更接近"安全分析师助手"而非"文档问答机器人"。

从 GitHub commit 历史看，项目最近一次更新为 2026 年 5 月，仍在活跃维护中。Star 数 299（_pending 状态），在 CTI + RAG 交叉领域属于中腰部项目，具有一定的参考价值和二次开发潜力。

如果你是安全工具开发者，可以基于 ThreatRAG 构建自己的威胁情报分析平台；如果你是企业 SOC 团队，可以将其作为内部知识库的基础设施，接入现有的 SIEM/SOAR 系统。