XiYan-SQL:一种多生成器集成的Text-to-SQL框架

简介: XiYan-SQL 是一种创新的多生成器集成Text-to-SQL框架,通过M-Schema增强模型对数据库结构的理解,结合ICL与SFT方法提升SQL生成质量和多样性,经实验证明在多个数据集上表现优异,特别是在Spider和SQL-Eval上取得了领先成绩。

😎一种多生成器集成的Text-to-SQL框架


为了应对大型语言模型在Text-to-SQL任务中的挑战,我们引入了XiYan-SQL,这是一个全新的框架,采用多生成器集成的策略来提高候选SQL的质量。为此,我们提出了M-Schema,一种半结构化的数据库schema表示方法,旨在增强模型对于数据库结构的理解能力


然后,为了提高生成的候选SQL查询的质量和多样性,XiYan-SQL结合了ICL方法的巨大潜力和SFT方法的高可控性。一方面,我们提出了一系列训练策略,以微调模型生成高质量且具有不同偏好的候选。

另一方面,我们采用ICL的方法来提示LLM,并提出了一种基于命名实体识别的方法来选择ICL的样例,从而防止过度强调实体。


Refiner通过纠正逻辑或语法错误来进一步优化每个候选。为了应对识别最佳候选的挑战,我们微调了一个选择模型,用来区分候选SQL查询之间的细微差别。在多个方言的数据集上的实验结果表明,XiYan-SQL在不同场景中均具有鲁棒性。


总体而言,我们提出的 XiYan-SQL 在 Bird 测试中实现了 75.63% 的最佳执行准确率,在 Spider 测试集上实现了 89.65% 的最佳执行准确率,在 SQL-Eval 上实现了 69.86% 的最佳执行准确率,在 NL2GQL 上实现了 41.20% 的最佳执行准确率。该框架不仅提高了生成SQL查询的质量和多样性,而且优于以前的方法。




关键词:LLM,Text-to-SQL,NL2SQL


阿里云百炼官网网址

阿里云百炼控制台

阿里云百炼/析言官网网址

阿里云百炼/析言控制台

相关文章
|
9月前
|
SQL 数据可视化 关系型数据库
MCP与PolarDB集成技术分析:降低SQL门槛与简化数据可视化流程的机制解析
阿里云PolarDB与MCP协议融合,打造“自然语言即分析”的新范式。通过云原生数据库与标准化AI接口协同,实现零代码、分钟级从数据到可视化洞察,打破技术壁垒,提升分析效率99%,推动企业数据能力普惠化。
734 3
|
SQL 数据采集 自然语言处理
NL2SQL之DB-GPT-Hub<详解篇>:text2sql任务的微调框架和基准对比
NL2SQL之DB-GPT-Hub<详解篇>:text2sql任务的微调框架和基准对比
|
SQL 安全 Java
除了Flask框架,还有哪些框架能防止SQL注入攻击?
这些框架都在安全方面有着较好的表现,通过它们的内置机制和安全特性,可以有效地降低 SQL 注入攻击的风险。然而,无论使用哪个框架,开发者都需要具备良好的安全意识,正确配置和使用框架提供的安全功能,以确保应用的安全可靠。同时,持续关注安全更新和漏洞修复也是非常重要的。
705 162
|
SQL Java 数据库
建模底层逻辑问题之ORM框架建模中,执行SQL的过程中被抽象和组织是如何实现的
建模底层逻辑问题之ORM框架建模中,执行SQL的过程中被抽象和组织是如何实现的
221 2
|
11月前
|
SQL XML Java
配置Spring框架以连接SQL Server数据库
最后,需要集成Spring配置到应用中,这通常在 `main`方法或者Spring Boot的应用配置类中通过加载XML配置或使用注解来实现。
766 0
|
SQL 缓存 Java
框架源码私享笔记(02)Mybatis核心框架原理 | 一条SQL透析核心组件功能特性
本文详细解构了MyBatis的工作机制,包括解析配置、创建连接、执行SQL、结果封装和关闭连接等步骤。文章还介绍了MyBatis的五大核心功能特性:支持动态SQL、缓存机制(一级和二级缓存)、插件扩展、延迟加载和SQL注解,帮助读者深入了解其高效灵活的设计理念。
|
SQL 存储 人工智能
Vanna:开源 AI 检索生成框架,自动生成精确的 SQL 查询
Vanna 是一个开源的 Python RAG(Retrieval-Augmented Generation)框架,能够基于大型语言模型(LLMs)为数据库生成精确的 SQL 查询。Vanna 支持多种 LLMs、向量数据库和 SQL 数据库,提供高准确性查询,同时确保数据库内容安全私密,不外泄。
2299 7
Vanna:开源 AI 检索生成框架,自动生成精确的 SQL 查询
|
SQL 安全 PHP
PHP开发中防止SQL注入的方法,包括使用参数化查询、对用户输入进行过滤和验证、使用安全的框架和库等,旨在帮助开发者有效应对SQL注入这一常见安全威胁,保障应用安全
本文深入探讨了PHP开发中防止SQL注入的方法,包括使用参数化查询、对用户输入进行过滤和验证、使用安全的框架和库等,旨在帮助开发者有效应对SQL注入这一常见安全威胁,保障应用安全。
959 4

热门文章

最新文章