Text-to-SQL 全面综述手册：NL2SQL_Handbook

想象一下这样的场景：一家电商公司的数据分析师小李，每天需要从 MySQL 数据库中提取销售数据写报告。他不懂 SQL，每次都要找工程师帮忙。后来公司接入了 ChatBI 系统，小李直接用中文问"上个月华东地区销售额最高的三个品类是什么"，系统立刻生成并执行了对应 SQL 查询，返回了数据报表。这个过程背后依赖的核心技术，就是 Text-to-SQL（自然语言转 SQL），也称 NL2SQL。

HKUSTDial/NL2SQL_Handbook 是香港科技大学（HKUST）Dial 实验室出品的 Text-to-SQL 领域全面综述手册，包含 TKDE'25 和 VLDB'24/VLDB'25 多篇顶会论文的官方仓库，是目前该领域最系统、最前沿的参考资料之一。截至目前已获得超过 1497 颗 GitHub Stars，被学术界和工业界广泛引用。

NL2SQL 任务模块概览 图1：NL2SQL 任务核心模块概览

一、项目背景与作者故事

Text-to-SQL 任务的本质是：让用户用自然语言提问，系统将其翻译成 SQL 查询语句，从而降低普通人访问关系型数据库的门槛。

香港科技大学 Dial 实验室长期深耕 NL2SQL 领域，核心成员包括刘新宇、沈书宇、李博衍等。2024年，他们发表了 VLDB'24 论文 The Dawn of Natural Language to SQL: Are We Fully Ready?，系统评估了当时 LLM 时代下 Text-to-SQL 的发展水平。2025年，进一步在 IEEE TKDE（数据工程领域顶刊）发表综述 A Survey of Text-to-SQL in the Era of LLMs: Where are we, and where are we going?，全面梳理了 LLM 时代下 Text-to-SQL 的技术演进、benchmark 演进和未来方向。

该仓库就是这两篇工作的官方配套资源库，不仅包含论文 PDF 和演讲 Slides，还维护了一个持续更新的开放文献库，涵盖 Text-to-SQL 领域的经典论文、评测基准、开源工具和最佳实践。

二、仓库结构与内容组织

NL2SQL_Handbook 仓库的内容组织非常系统：

目录	内容说明
`chapter/`	6 个核心章节：翻译方法（Translation_method）、Benchmark 数据集、后处理（Post_Processing）、预处理（Pre_Processing）、错误分析（Error_Analysis）、评测指标（Evaluation）
`report/`	35 个基准数据集的专项报告，涵盖 Spider、BIRD、SEDE、CHASE 等主流数据集的技术分析
`slides/`	4 份演讲幻灯片：NL2SQL_handbook.pdf（TKDE'25）、NL2SQL-VLDB2025.pdf、NL2SQL-VLDB2025.pptx、NL2SQL360-VLDB2024.pdf
`assets/`	17 张 SVG/PNG 架构图、流程图、研究趋势可视化图片
`src/`	代码分析工具：dataset_analyze 数据分析模块

整个仓库以 Markdown 为主要载体，代码文件少，核心价值在于文献梳理和知识结构化。

三、核心技术体系

3.1 编码策略（Encoding Strategy）

NL2SQL 中"编码"指将自然语言和数据库 schema 转换为语言模型可处理格式的过程。仓库梳理了三类编码策略：

顺序编码（Sequential Encoding）：将 NL 和 schema 按顺序拼接输入，典型方法如 RESDSQL（AAAI'23）使用排序增强编码器，对 schema 项排序过滤，降低 linking 复杂度。
图编码（Graph-based Encoding）：利用图神经网络建模表之间、列之间的关联关系，典型方法如 RAT-SQL（EMNLP'20）引入关系感知机制建模表/列关系。
分离编码（Separate Encoding）：对 NL 和 schema 分别编码再融合，适合 schema 复杂的场景。

3.2 解码策略（Decoding Strategy）

解码策略决定了模型如何逐步生成 SQL。仓库涵盖了：

自回归解码（Autoregressive Decoding）：逐 token 生成 SQL，精度高但速度慢。
非自回归解码（Non-autoregressive Decoding）：一次性并行生成所有 token，速度快但需要更复杂的对齐机制。
混合解码：结合以上两种策略的折中方案。

3.3 Schema Linking 与骨架解析

Schema Linking 是 NL2SQL 的核心难点：模型需要准确识别用户问题中涉及的表名、列名和数据库结构。RESDSQL 等方法通过解耦 Schema Linking 和骨架解析来提升效果。DIN-SQL 等方法引入中间表示层，将 NL 先转换为逻辑形式再生成 SQL。

四、评测体系（Benchmarks）

仓库收录了 35+ 个主流 Text-to-SQL 评测基准，覆盖多个维度：

按语言：英文（Spider、WikiSQL、ATIS、GeoQuery）、中文（DuSQL、CSpider、ViText2SQL）、多语言（BIRD、CHASE）
按领域：单领域（Academic、Scholar、IMDB、Yelp）和跨领域（Spider、BIRD）
按轮次：单轮（Single-turn）和多轮（Multi-turn，SParC）

重点数据集：

Spider（ACL'18）：最具影响力的跨领域 Text-to-SQL 基准，200+ 数据库、10000+ 问题，至今仍是学术界标准测试集。
BIRD（VLDB'23）：中文大规模 Text-to-SQL 数据集，引入数据库外部知识，更贴近真实场景。
SEDE：基于真实 StackOverflow 数据的最大 Text-to-SQL 数据集。
CHASE：首个中文跨领域多轮 Text-to-SQL 数据集。

五、错误分析与改进方向

仓库的 Error_Analysis.md 系统分类了当前 Text-to-SQL 系统的错误类型：

Schema Linking 错误：模型错误理解列名/表名关联。
语法错误：生成的 SQL 语法不正确。
逻辑错误：SQL 语法正确但逻辑语义偏离用户意图。
覆盖不足：模型对罕见数据库 schema 或复杂嵌套查询处理能力不足。

六、LLM 时代的新挑战

传统 PLM（预训练语言模型）时代，NL2SQL 主要依赖微调方法。进入 LLM 时代后，GPT-4、Claude 等大模型展现出了强大的零样本/少样本 Text-to-SQL 能力，但也带来新挑战：

提示工程依赖：LLM 的 Text-to-SQL 能力高度依赖 prompt 设计，Chain-of-Thought、Self-Correction 等策略效果显著。
基准饱和：Spider 等经典基准上 SOTA 准确率已超 90%，需要更难的新基准（如 BIRD）。
多语言需求：非英语场景（中文、阿拉伯语等）的 Text-to-SQL 能力仍待提升。
真实数据库理解：现有基准与生产环境数据库仍有差距，schema 复杂度、数据分布差异带来挑战。

七、资源获取与使用建议

资源类型	获取方式
TKDE'25 论文	arXiv:2408.05109
VLDB'25 论文	dbgroup.cs.tsinghua.edu.cn/ligl/papers/VLDB25-NL2SQL.pdf
VLDB'24 论文	vldb.org/pvldb/vol17/p3318-luo.pdf
综述幻灯片	`slides/NL2SQL_handbook.pdf`
配套代码库	NL2SQL360（细粒度评测工具）

该仓库适合以下人群：

学术研究者：跟踪 Text-to-SQL 最新进展，寻找研究切入点
AI 应用开发者：了解 NL2SQL 技术边界，选型参考
数据工程师：评估 NL2SQL 在企业场景的可行性

总结：NL2SQL_Handbook 不是一个可运行的项目，而是一座 Text-to-SQL 领域的知识金矿。HKUSTDial 团队以学术综述的形式，系统梳理了从传统 PLM 到 LLM 时代的技术演进路线，涵盖 35+ 评测基准、核心方法论、错误分析和未来方向。对于任何想系统了解或深入 Text-to-SQL 研究的人来说，这是目前最值得收藏的入口级资源。

Text-to-SQL 全面综述手册：NL2SQL_Handbook

NL2SQL 任务模块概览 图1：NL2SQL 任务核心模块概览

一、项目背景与作者故事

Text-to-SQL 任务的本质是：让用户用自然语言提问，系统将其翻译成 SQL 查询语句，从而降低普通人访问关系型数据库的门槛。

二、仓库结构与内容组织

NL2SQL_Handbook 仓库的内容组织非常系统：

目录	内容说明
`chapter/`	6 个核心章节：翻译方法（Translation_method）、Benchmark 数据集、后处理（Post_Processing）、预处理（Pre_Processing）、错误分析（Error_Analysis）、评测指标（Evaluation）
`report/`	35 个基准数据集的专项报告，涵盖 Spider、BIRD、SEDE、CHASE 等主流数据集的技术分析
`slides/`	4 份演讲幻灯片：NL2SQL_handbook.pdf（TKDE'25）、NL2SQL-VLDB2025.pdf、NL2SQL-VLDB2025.pptx、NL2SQL360-VLDB2024.pdf
`assets/`	17 张 SVG/PNG 架构图、流程图、研究趋势可视化图片
`src/`	代码分析工具：dataset_analyze 数据分析模块

整个仓库以 Markdown 为主要载体，代码文件少，核心价值在于文献梳理和知识结构化。

三、核心技术体系

3.1 编码策略（Encoding Strategy）

NL2SQL 中"编码"指将自然语言和数据库 schema 转换为语言模型可处理格式的过程。仓库梳理了三类编码策略：

顺序编码（Sequential Encoding）：将 NL 和 schema 按顺序拼接输入，典型方法如 RESDSQL（AAAI'23）使用排序增强编码器，对 schema 项排序过滤，降低 linking 复杂度。
图编码（Graph-based Encoding）：利用图神经网络建模表之间、列之间的关联关系，典型方法如 RAT-SQL（EMNLP'20）引入关系感知机制建模表/列关系。
分离编码（Separate Encoding）：对 NL 和 schema 分别编码再融合，适合 schema 复杂的场景。

3.2 解码策略（Decoding Strategy）

解码策略决定了模型如何逐步生成 SQL。仓库涵盖了：

自回归解码（Autoregressive Decoding）：逐 token 生成 SQL，精度高但速度慢。
非自回归解码（Non-autoregressive Decoding）：一次性并行生成所有 token，速度快但需要更复杂的对齐机制。
混合解码：结合以上两种策略的折中方案。

3.3 Schema Linking 与骨架解析

四、评测体系（Benchmarks）

仓库收录了 35+ 个主流 Text-to-SQL 评测基准，覆盖多个维度：

按语言：英文（Spider、WikiSQL、ATIS、GeoQuery）、中文（DuSQL、CSpider、ViText2SQL）、多语言（BIRD、CHASE）
按领域：单领域（Academic、Scholar、IMDB、Yelp）和跨领域（Spider、BIRD）
按轮次：单轮（Single-turn）和多轮（Multi-turn，SParC）

重点数据集：

Spider（ACL'18）：最具影响力的跨领域 Text-to-SQL 基准，200+ 数据库、10000+ 问题，至今仍是学术界标准测试集。
BIRD（VLDB'23）：中文大规模 Text-to-SQL 数据集，引入数据库外部知识，更贴近真实场景。
SEDE：基于真实 StackOverflow 数据的最大 Text-to-SQL 数据集。
CHASE：首个中文跨领域多轮 Text-to-SQL 数据集。

五、错误分析与改进方向

仓库的 Error_Analysis.md 系统分类了当前 Text-to-SQL 系统的错误类型：

Schema Linking 错误：模型错误理解列名/表名关联。
语法错误：生成的 SQL 语法不正确。
逻辑错误：SQL 语法正确但逻辑语义偏离用户意图。
覆盖不足：模型对罕见数据库 schema 或复杂嵌套查询处理能力不足。

六、LLM 时代的新挑战

提示工程依赖：LLM 的 Text-to-SQL 能力高度依赖 prompt 设计，Chain-of-Thought、Self-Correction 等策略效果显著。
基准饱和：Spider 等经典基准上 SOTA 准确率已超 90%，需要更难的新基准（如 BIRD）。
多语言需求：非英语场景（中文、阿拉伯语等）的 Text-to-SQL 能力仍待提升。
真实数据库理解：现有基准与生产环境数据库仍有差距，schema 复杂度、数据分布差异带来挑战。

七、资源获取与使用建议

资源类型	获取方式
TKDE'25 论文	arXiv:2408.05109
VLDB'25 论文	dbgroup.cs.tsinghua.edu.cn/ligl/papers/VLDB25-NL2SQL.pdf
VLDB'24 论文	vldb.org/pvldb/vol17/p3318-luo.pdf
综述幻灯片	`slides/NL2SQL_handbook.pdf`
配套代码库	NL2SQL360（细粒度评测工具）

该仓库适合以下人群：

学术研究者：跟踪 Text-to-SQL 最新进展，寻找研究切入点
AI 应用开发者：了解 NL2SQL 技术边界，选型参考
数据工程师：评估 NL2SQL 在企业场景的可行性