基于大模型的 ChatBI 实现与 Text-to-SQL 技术路线演进

7. IRNet

IRNet 神经方法用于复杂的跨领域文本到 SQL。IRNet 旨在解决两个难题：1）自然语言（NL）中表达的意图与 SQL 中的实现细节不匹配；2）大量域外词导致的列预测难题。IRNet 将合成过程分解为三个阶段，而不是端到端地合成 SQL 查询。在第一阶段，IRNet 对问题和数据库模式进行模式链接。然后，IRNet 采用基于语法的神经模型来合成 SemQL 查询，作为连接 NL 和 SQL 而设计的中间表示法。最后，IRNet 利用领域知识从合成的 SemQL 查询中确定性地推导出 SQL 查询。在极具挑战性的文本到 SQL 基准 Spider 上，IRNet 实现了 46.7% 的准确率，与之前最先进的方法相比绝对提高了 19.5%。在撰写本文时，IRNet 在 Spider 排行榜上排名第一。

8. SLSQL

在现有复杂的文本到 SQL 模型中，schema linking 通常被视为一个简单的次要组成部分，与其重要性不符。通过提供基于 Spider 文本到 SQL 数据集的 schema linking 语料库，作者系统地研究了模式链接的作用，还建立了一个简单的 BERT-based 基础'Schema-Linking SQL (SLSQL)'，以进行数据驱动的研究。研究发现，尽管结构简单，但如果 schema linking 做得好，SLSQL 在 Spider 上就会表现出良好的性能。剩下的许多错误可归因于语料库噪声。这表明 schema linking 是当前文本到 SQL 任务的关键。作者的分析研究为今后开发文本到 SQL 任务提供了 schema linking 特性方面的见解。

9. NatSQL

解决自然语言描述与相应的 SQL 查询之间的不匹配问题是文本到 SQL 转换的关键挑战。为了解决这个问题，作者提出了一种名为 Natural SQL（NatSQL）的 SQL 中间表示法（IR）。具体来说，NatSQL 保留了 SQL 的核心功能，同时对查询进行了如下简化：(1) 省去了运算符和关键字，如 GROUP BY、HAVING、FROM、JOIN ON，这些运算符和关键字通常很难在文本描述中对应找到；(2) 不再需要嵌套子查询和集合运算符；(3) 通过减少所需的模式项数量，使模式链接变得更容易。在包含复杂嵌套 SQL 查询的具有挑战性的文本到 SQL 基准测试 Spider 上，本文证明了 NatSQL 的性能优于其他 IR，并显著提高了之前几种 SOTA 模型的性能。此外，对于不支持可执行 SQL 生成的现有模型，NatSQL 可轻松使其生成可执行 SQL 查询，并达到新级别的执行精度。

第三阶段（2023 至今）：基于大模型

10. Din-SQL

目前，在具有挑战性的文本到 SQL 任务上，使用大语言模型（LLM）的微调模型和提示方法的性能存在明显差距，这是在 Spider 等数据集上进行评估后得出的结果。为了提高 LLM 在推理过程中的性能，作者研究了如何将任务分解为更小的子任务才能有效。特别是将生成问题分解为子问题，并将这些子问题的解决方案输入 LLM 是显著提高其性能的有效方法。作者用三个 LLM 进行的实验表明，这种方法能将其简单的小样本性能持续提高约 10%，使 LLM 的准确度接近或超过 SOTA。在 Spider 的 holdout 测试集上，以执行准确率计算的 SOTA 为 79.9，而在论文撰写时，使用此方法得出的新 SOTA 为 85.3。作者采用上下文学习的方法比许多经过大量微调的模型至少高出 5%。此外，在 BIRD 基准上进行评估时，此方法达到了 55.9% 的执行准确率，在其保留测试集上创造了新的 SOTA。

11. DAIL-SQL

大型语言模型（LLM）已成为文本到 SQL 任务的新范式。然而，由于缺乏系统的基准，阻碍了设计有效、高效和经济的基于 LLM 的文本到 SQL 解决方案的发展。为了应对这一挑战，在论文中首先对现有的提示工程方法（包括问题表示、示例选择和示例组织）进行了系统而广泛的比较，并根据这些实验结果阐述了它们的优缺点。在此基础上，作者提出了一种名为 DAIL-SQL 的全新集成解决方案，它以 86.6% 的执行准确率刷新了 Spider 排行榜，并树立了新的标杆。为了探索开源 LLM 的潜力，作者在各种场景中对它们进行了研究，并通过监督微调进一步提高了它们的性能。这个探索凸显了开源 LLM 在文本到 SQL 中的潜力，以及监督微调的优缺点。此外，为了实现高效、经济的基于 LLM 的文本到 SQL 解决方案，作者强调了提示工程中的标记效率，并在此指标下对之前的研究进行了比较。

12. ACT-SQL

作者研究了文本到 SQL 任务中的提示设计问题，并试图提高 LLM 在生成 SQL 查询时的推理能力。除了少量的 few-shot 上下文学习设置外，作者还采用了与模式链接类似的方法来设计思维链（CoT）提示。作者提供了一种名为 ACT-SQL 的方法来自动生成 Auto-CoT 示例，因此整个过程无需人工标注。这个方法节省了成本，因为在生成一个 SQL 查询时，用户只需使用一次 LLM 的 API 调用。此外，作者还将上下文学习方法扩展到了多轮文本到 SQL 任务。实验结果表明，LLMs 的性能可以从 ACT-SQL 方法中获益。在现有的上下文学习方法中，此方法在 Spider dev 数据集上实现了 SOTA 性能。

13. C3-SQL

本文提出了一种基于 ChatGPT 的 Zero-shot 零样本 Text-to-SQL 方法（称为 C3），核心在于 Prompt 工程的设计，给出了如何设 Prompt 来优化生成效果。该方法在 Spider holdout 测试集上的执行准确率达到了 82.3%，成为 Spider 挑战赛上最先进的零样本零样本 Text-to-SQL 方法。C3 由三个关键部分组成：清晰提示（CP）、提示校准（CH）和一致输出（CO），分别对应模型输入、模型偏差和模型输出。它为零样本 Text-to-SQL 提供了一个系统化的方法。为了验证该方法的有效性和效率，作者进行了广泛的实验。

14. CRUSH4SQL

现有的文本到 SQL 需要将整个模式与用户文本一起编码。这对于拥有数万列的大型数据库来说，成本极高也不现实。标准的密集检索技术不适合大型结构化数据库的模式子集，在这种情况下，正确的检索语义要求我们对模式元素集而不是单个元素进行排序。为此，作者提出了一个在检索过程中实现有效覆盖的两阶段流程。首先，指示 LLM 幻化出一个被认为足以回答查询的最小数据库模式。再使用幻觉模式检索实际模式的子集，将多个密集检索的结果组合在一起。值得注意的是，幻觉（通常被认为是一种麻烦）作为一种桥接机制实际上非常有用。由于没有针对大型数据库模式子集的现有基准，本文引入了三个基准。两个半合成数据集来自 SPIDER 和 BIRD 这两个著名数据集的模式联合，分别产生了 4502 个和 798 个模式元素。一个名为 SocialDB 的现实基准数据集来自一个实际的大型数据仓库，包含 17844 个模式元素。研究表明，此方法的召回率明显高于基于 SOTA 检索的增强方法。

15. MAC-SQL

基于 LLM 的 Text-to-SQL 方法在处理大型数据库和复杂用户问题时通常会出现明显的性能下降。需要多步推理的复杂用户问题时，性能会明显下降。此外，大多数现有方法都忽视了利用外部工具和模型协作的重要意义。为了解决这些挑战，本文引入了 MAC-SQL，一种新颖的基于 LLM 的 multi-agent 协作框架。MAC-SQL 框架由一个核心分解器 agent 组成，用于生成文本到 SQL，并带有两个辅助 agent 利用外部工具或模型获取较小的子数据库并改进错误的 SQL 查询。分解器 agent 与辅助 agent 协作，后者可根据需要激活，并可扩展以适应新功能或工具，以实现有效的 Text-to-SQL 解析。在 MAC-SQL 框架中，作者最初利用 GPT-4 作为所有 agent 任务的主要 LLM，以确定框架的上限。然后，作者对开源 SQL-Llama 进行微调，利用 Code Llama 7B 完成 GPT4 所做的所有任务。实验表明，SQL-Llama 的执行精度达到了 43.94，而普通 GPT4 的基准精度为 46.35。在撰写本报告时，MAC-SQL+GPT-4 的执行精度为 59.59。在 BIRD 基准进行评估时，MAC-SQL+GPT-4 的执行精度达到了 59.59，并在 holdout 测试集上达到了新的 SOTA。