LLM-based Text-to-SQL 最全知识库：香港理工大学 DEEP 实验室出品

图1：LLM-based Text-to-SQL 工作流程示意图。用户用自然语言提问，大模型理解问题后生成对应 SQL 查询语句，直接在数据库中执行获取答案。

在数据分析日益普及的今天，**「能不能用日常语言直接查询数据库」**一直是技术人员和非技术人员的共同痛点。传统方式需要掌握 SQL 语法，门槛高、效率低。香港理工大学 DEEP 实验室（Data Engineering and Exploration Group）推出的 Awesome-LLM-based-Text2SQL 项目，正是为了解决这一核心问题。

🎯 背景：为什么 Text-to-SQL 在大模型时代变得不一样了？

Text-to-SQL（自然语言转 SQL）并非新概念，早在 2017 年 Salesforce 就提出了 WikiSQL 数据集。但大语言模型（LLM）的出现彻底改变了游戏规则：

• 传统方法（Seq2SQL/RATSQL 等）：依赖大量标注数据和模型微调，跨领域泛化能力差，标注成本高昂
• LLM 时代：通过 In-Context Learning（上下文学习），只需提供少量示例就能在新数据库上实现不错的效果，GPT-4、Claude 等闭源模型更是将准确率推向新高
• 标志性事件：2023 年 11 月，MiniSeek 成为首个在 Spider 测试集上准确率突破 90% 的模型

该仓库基于香港理工大学团队发表在 IEEE TKDE 2025 的综述论文 —— "Next-Generation Database Interfaces: A Survey of LLM-based Text-to-SQL"，系统梳理了 2023 年大模型时代以来该领域的所有重要进展。

📂 它到底是什么：一个四层结构的 Text-to-SQL 知识百科

该项目并非一个可运行的代码工具，而是一座按学术标准构建的知识库，内容组织分为四层：

1. 基准测试（Benchmarks）——衡量能力的标尺

仓库收录了 Text-to-SQL 领域最权威的 5 大基准测试：

基准测试	代表成果	最高成绩
BIRD	业界最难的真实数据库基准，包含 12,751 个样本	AskData+GPT-4o 达到 81.95%
Spider 1.0	学术领域最广泛使用的跨域基准	MiniSeek 突破 91.2%
Spider 2.0	评估企业真实 Text-to-SQL 工作流，含多步骤操作	AgenticData+Qwen3 达 44.5%
BIRD-CRITIC	评估大模型修复真实 SQL 错误的能力	ByteBrain-Agent 达 43.33%
BIRD-INTERACT	动态交互式评估，模拟多轮对话查询	Gemini-2.5-Pro 达 20.92 分

💡 为什么 Spider 2.0 分数这么低？ 因为它模拟的是企业真实环境，包含多表连接、复杂子查询、权限校验等真实场景，难度远超学术基准。

2. 数据集（Datasets）——训练与评估的燃料

仓库收录了从 2017 年到 2026 年的所有主流 Text-to-SQL 数据集，分为两大类：

• 原始数据集：与基准测试对应，包括 Spider（200 个数据库，10,181 条）、BIRD（95 个数据库，12,751 条）、DuSQL（中文，200 个数据库）、CoSQL（对话式，200 个数据库）等
• 后标注数据集：基于 Spider 扩展的鲁棒性/对抗性测试集，如 Dr.Spider（专为测试模型抗干扰能力设计）、ADVETA（对抗性表结构扰动）等

3. 分类体系（Taxonomy）——理解技术演进的地图

这是整个仓库最有价值的内容。团队将 LLM-based Text-to-SQL 方法按技术路线分为两大类：

① In-Context Learning（上下文学习）：

• 核心思路：不微调模型，通过 prompt 工程 + 示例演示来引导大模型
• 代表方法：DIN-SQL（将任务分解为子任务）、DAIL-SQL（多样性采样）、CHASE-SQL（多路径推理）、RSL-SQL（鲁棒性 Schema Linking）、MCS-SQL（多 prompt + 多选投票）
• 最新进展：Agentar-Scale-SQL 将 Agent 架构引入 Text-to-SQL，实现测试时计算量扩展；ReFoRCE 通过自我修正和列探索提升准确率

② Fine-tuning（微调）：

• 核心思路：在开源大模型（如 CodeLLaMA、Qwen-SQL）上用 Text-to-SQL 数据微调
• 代表方法：OpenSQL（用合成中间监督信号微调）、OmniSQL（大规模合成高质量训练数据）、SQL-PaLM（将 SQL 生成能力注入 PaLM）
• 优势：推理速度快、成本低，适合私有化部署

4. 开源项目（Projects）——可复现的代码实现

收录了超过 60 个可复现的开源 Text-to-SQL 实现，按方法分类标注了论文出处（TKDE、VLDB、ICML、ACL、EMNLP 等顶会）。

🔍 核心原理：LLM 是怎么做 Text-to-SQL 的？

从技术实现看，LLM-based Text-to-SQL 的 pipeline 通常包含以下环节：

Schema Linking（模式链接）：这是最关键的一步。模型需要从用户问题中识别出需要哪些表、哪些列，与数据库 schema 对齐。RSL-SQL 证明鲁棒的 Schema Linking 能显著提升跨域泛化能力。

Prompt 构建：不同方法在 prompt 设计上差异巨大：

• DIN-SQL 将任务分解为 4 个子任务（分类 → 列选择 → 表选择 → SQL 生成）
• DAIL-SQL 通过多样性采样从训练集中选出一组高质量示例
• MCS-SQL 用多个不同 prompt 分别生成，再通过多选投票确定最终结果

结果验证：先进方法普遍引入了执行反馈机制（如 LEVER：用 SQL 执行结果验证生成质量）或自我修正循环（如 ReFoRCE）。

📊 项目现状与影响力

团队成果斐然，已在多个顶会发表相关研究：

• 📖 TKDE 2025：综述论文被数据库顶级期刊收录
• 🎓 ICML 2025：Structure-Guided LLM for Text-to-SQL
• 🏆 ICDE 2026：Knapsack Optimization-based Schema Linking 被数据工程顶会收录

截至分析时，该仓库在 GitHub 拥有 1,328 颗星，124 次 Fork，topics 覆盖 awesome、text-to-SQL、NL2SQL、LLMs 等。

⚠️ 局限性与使用建议

1. 该仓库是知识库，不是可执行工具：如果你的目标是直接调用 API 做 Text-to-SQL 转换，应该去找仓库中收录的独立项目（如 DAIL-SQL、MCS-SQL 等开源实现）
2. 基准测试成绩仅供参考：不同基准测试的评估标准不同，BIRD-CRITIC 和 BIRD-INTERACT 分数较低不代表模型效果差，而是任务本身更复杂
3. 开源模型效果仍落后于 GPT-4/Claude：Fine-tuning 方法虽然成本低，但在复杂推理场景下仍与顶级闭源模型存在差距
4. 跨数据库鲁棒性是未解决的难题：Spider-SYN 等对抗测试集显示，即使 GPT-4 在同义词替换场景下也会出现明显退化

🌟 总结：为什么值得收藏？

LLM-based Text-to-SQL 正在从学术前沿走向企业落地。BIRD 基准测试的参与团队已经从学术机构扩展到字节跳动、蚂蚁集团、腾讯等工业界力量。

DEEP-PolyU 的这个 Awesome 列表是目前该领域资料最全、更新最快的学术导航页。对于研究者，它可以帮你快速定位最新 SOTA 方法和论文出处；对于开发者，它提供了各开源实现的代码链接和性能对比，是你选型的重要参考。

无论你是数据库方向的 PhD、想把 AI 能力接入内部数据平台的工程师，还是对 NL2SQL 感兴趣的学生，这个仓库都值得 star 并定期关注更新。

---

项目地址：https://github.com/DEEP-PolyU/Awesome-LLM-based-Text2SQL | 许可协议：MIT License