对话|DAS的数据库自治技术解读

本文涉及的产品
数据传输服务 DTS,数据同步 small 3个月
推荐场景:
数据库上云
数据传输服务 DTS,数据迁移 small 3个月
推荐场景:
MySQL数据库上云
数据传输服务 DTS,同步至SelectDB 1个月
简介: 《数据库风向标》是一档聚焦数据库新趋势与新技术的视频栏目,节目每期会请到几位资深技术大咖,与大家共话数据库热点话题。

1.jpg

点击观看完整视频:数据库风向标


>>>薛高敏(天钰)

阿里云数据库产品经理,现负责数据库自治服务DAS的产品管理、方案设计工作。

>>>陈杰(艾奥)

阿里云数据库高级算法专家,现负责数据库自治服务DAS产品实例弹性扩缩容、异常检测和SQL优化方向的研发。

>>>张涛(鼎智)

阿里云数据库研发专家,现负责DAS数据链路和查询治理方面的研发。

>>>付晗(远名)

博士,现于达摩院数据库存储实验室负责数据库智能研究,曾在ACL、CVPR等人工智能顶级会议上发表论文。


Q

薛高敏:谈到数据库,一个始终离不开的话题就是SQL。我们很多开发者在日常工作中都会接触到SQL。用户在写SQL的过程中,由于不同数据库引擎需要适配不同的SQL模板。导致用户的学习成本变高,而执行效率往往较低。如果出现故障,企业也没有兜底的方案。那么过去和现在都是如何解决这些问题的?

  艾奥:  在过去,数据库的运维工作主要依赖DBA进行人工运维。因为DBA对自己负责的数据库及相关业务有很多了解,可以针对性的优化数据库实例、解决相关问题。随着DBA人均负责的数据库实例越来越多,会基于运维知识和场景化开发相应的自动化工具,进一步提高维护的效率和标准。


在云场景下,数据库实例支持的业务越来越多样化,规模也越来越大。企业依赖传统人工运维或特定场景的标准化工具,已经无法解决所有问题。


因此,在云上出现了更多系统化的数据库实例运维工具。它能对实例进行全方位的监控,基于实例的工作负载和性能数据,做出针对性的更新定位。结合机器学习算法,对实例进行调优,达到数据库实例自治的目标。

2.png

在阿里云自治服务DAS上,针对SQL的相关问题,例如索引缺失、SQL不优等进行了相应的优化。在空间问题,容量评估、负载问题和数据安全方面,都有相应的场景化分析工具和智能化的策略。


Q

薛高敏:企业的实例数往往非常庞大,如何进行大规模的常态化治理,成为企业非常关心的话题。那么有哪些发现问题SQL的方法?

  鼎智:  发现问题SQL的方法,通常可以分为两类。第一类,在上线前发现问题并进行拦截。第二类,是基于智能辅助系统,进行半人工的治理。第三类,全自治的智能数据库。


目前DAS完全覆盖了第一种和第二种方式,作为一个智能辅助系统不断地迭代,提供更准确的归因分析能力。


与此同时,DAS也朝着全自治的目标努力。


Q

薛高敏:关于自然语言到SQL转译问题的最新研究进展。达摩院的智能数据库实验室具体做了哪些方向的探索和解决方案?

  付晗:  智能数据库实验室从2019年开始,对NL2SQL相关领域进行研究。目前,主要开展四个方向的研究。

3.png

第一个方向,提升神经网络模型的效率。我们设计了一种新的预测方式,可以在相同配置条件下,把吞吐率提升5至10倍。


第二个方向,利用数据库领域的知识,提升SQL在语法和语义上的准确性。目前已可以显著超过现有方法的准确率。


第三个方向,支持多领域的大数据库。达摩院提出了库表定位技术,可以有效支持几十个领域、上千个表的大数据库,并且保证最终的准确率不会下降。


第四个方向,无监督的NL2SQL。神经网络模型需要大量人工标注的数据,标注成本很高。达摩院的主要目标是,不需要人工标注数据实现NL2SQL。


 / End /  

相关文章
|
7天前
|
监控 Java 关系型数据库
HikariCP 高性能数据库连接池技术详解与实践指南
本文档全面介绍 HikariCP 高性能数据库连接池的核心概念、架构设计和实践应用。作为目前性能最优异的 Java 数据库连接池实现,HikariCP 以其轻量级、高性能和可靠性著称,已成为 Spring Boot 等主流框架的默认连接池选择。本文将深入探讨其连接管理机制、性能优化策略、监控配置以及与各种框架的集成方式,帮助开发者构建高性能的数据访问层。
54 8
|
6天前
|
监控 Java 关系型数据库
HikariCP 高性能数据库连接池技术详解与实践指南
本文档全面介绍 HikariCP 高性能数据库连接池的核心概念、架构设计和实践应用。作为目前性能最优异的 Java 数据库连接池实现,HikariCP 以其轻量级、高性能和可靠性著称,已成为 Spring Boot 等主流框架的默认连接池选择。本文将深入探讨其连接管理机制、性能优化策略、监控配置以及与各种框架的集成方式,帮助开发者构建高性能的数据访问层。
46 1
|
5月前
|
Cloud Native 关系型数据库 分布式数据库
|
6月前
|
存储 关系型数据库 分布式数据库
登顶TPC-C|云原生数据库PolarDB技术揭秘:单机性能优化篇
阿里云PolarDB云原生数据库在TPC-C基准测试中,以20.55亿tpmC的成绩打破性能与性价比世界纪录。此外,国产轻量版PolarDB已上线,提供更具性价比的选择。
|
5月前
|
存储 关系型数据库 分布式数据库
|
6月前
|
Cloud Native 关系型数据库 分布式数据库
登顶TPC-C|云原生数据库PolarDB技术揭秘:Limitless集群和分布式扩展篇
阿里云PolarDB云原生数据库在TPC-C基准测试中以20.55亿tpmC的成绩刷新世界纪录,展现卓越性能与性价比。其轻量版满足国产化需求,兼具高性能与低成本,适用于多种场景,推动数据库技术革新与发展。
|
19天前
|
SQL 数据管理 BI
数据库操作三基石:DDL、DML、DQL 技术入门指南
本文围绕数据库操作核心语言 DDL、DML、DQL 展开入门讲解。DDL 作为 “结构建筑师”,通过CREATE(建库 / 表)、ALTER(修改表)、DROP(删除)等命令定义数据库结构;DML 作为 “数据管理员”,以INSERT(插入)、UPDATE(更新)、DELETE(删除)操作数据表记录,需搭配WHERE条件避免误操作;DQL 作为 “数据检索师”,通过SELECT结合WHERE、ORDER BY、LIMIT等子句实现数据查询与统计。三者相辅相成,是数据库操作的基础,使用时需注意 DDL 的不可撤销性、DML 的条件约束及 DQL 的效率优化,为数据库学习与实践奠定基础。
|
5月前
|
存储 关系型数据库 分布式数据库
|
1月前
|
缓存 关系型数据库 MySQL
MySQL数据库性能调优:实用技术与策略
通过秉持以上的策略实施具体的优化措施,可以确保MySQL数据库的高效稳定运行。务必结合具体情况,动态调整优化策略,才能充分发挥数据库的性能潜力。
106 0
|
3月前
|
存储 人工智能 关系型数据库
诚邀您参加《智启云存:AI时代数据库RDS存储新突破》线上闭门技术沙龙!
诚邀您参加6月11日(周三)14:00在线上举行的《智启云存:AI时代数据库RDS存储新突破》闭门活动。免费报名并有机会获得精美礼品,快来报名吧:https://hd.aliyun.com/form/6162

相关产品

  • 数据库自治服务