对话|DAS的数据库自治技术解读

本文涉及的产品
数据传输服务 DTS,同步至DuckDB 3个月
简介: 《数据库风向标》是一档聚焦数据库新趋势与新技术的视频栏目,节目每期会请到几位资深技术大咖,与大家共话数据库热点话题。

1.jpg

点击观看完整视频:数据库风向标


>>>薛高敏(天钰)

阿里云数据库产品经理,现负责数据库自治服务DAS的产品管理、方案设计工作。

>>>陈杰(艾奥)

阿里云数据库高级算法专家,现负责数据库自治服务DAS产品实例弹性扩缩容、异常检测和SQL优化方向的研发。

>>>张涛(鼎智)

阿里云数据库研发专家,现负责DAS数据链路和查询治理方面的研发。

>>>付晗(远名)

博士,现于达摩院数据库存储实验室负责数据库智能研究,曾在ACL、CVPR等人工智能顶级会议上发表论文。


Q

薛高敏:谈到数据库,一个始终离不开的话题就是SQL。我们很多开发者在日常工作中都会接触到SQL。用户在写SQL的过程中,由于不同数据库引擎需要适配不同的SQL模板。导致用户的学习成本变高,而执行效率往往较低。如果出现故障,企业也没有兜底的方案。那么过去和现在都是如何解决这些问题的?

  艾奥:  在过去,数据库的运维工作主要依赖DBA进行人工运维。因为DBA对自己负责的数据库及相关业务有很多了解,可以针对性的优化数据库实例、解决相关问题。随着DBA人均负责的数据库实例越来越多,会基于运维知识和场景化开发相应的自动化工具,进一步提高维护的效率和标准。


在云场景下,数据库实例支持的业务越来越多样化,规模也越来越大。企业依赖传统人工运维或特定场景的标准化工具,已经无法解决所有问题。


因此,在云上出现了更多系统化的数据库实例运维工具。它能对实例进行全方位的监控,基于实例的工作负载和性能数据,做出针对性的更新定位。结合机器学习算法,对实例进行调优,达到数据库实例自治的目标。

2.png

在阿里云自治服务DAS上,针对SQL的相关问题,例如索引缺失、SQL不优等进行了相应的优化。在空间问题,容量评估、负载问题和数据安全方面,都有相应的场景化分析工具和智能化的策略。


Q

薛高敏:企业的实例数往往非常庞大,如何进行大规模的常态化治理,成为企业非常关心的话题。那么有哪些发现问题SQL的方法?

  鼎智:  发现问题SQL的方法,通常可以分为两类。第一类,在上线前发现问题并进行拦截。第二类,是基于智能辅助系统,进行半人工的治理。第三类,全自治的智能数据库。


目前DAS完全覆盖了第一种和第二种方式,作为一个智能辅助系统不断地迭代,提供更准确的归因分析能力。


与此同时,DAS也朝着全自治的目标努力。


Q

薛高敏:关于自然语言到SQL转译问题的最新研究进展。达摩院的智能数据库实验室具体做了哪些方向的探索和解决方案?

  付晗:  智能数据库实验室从2019年开始,对NL2SQL相关领域进行研究。目前,主要开展四个方向的研究。

3.png

第一个方向,提升神经网络模型的效率。我们设计了一种新的预测方式,可以在相同配置条件下,把吞吐率提升5至10倍。


第二个方向,利用数据库领域的知识,提升SQL在语法和语义上的准确性。目前已可以显著超过现有方法的准确率。


第三个方向,支持多领域的大数据库。达摩院提出了库表定位技术,可以有效支持几十个领域、上千个表的大数据库,并且保证最终的准确率不会下降。


第四个方向,无监督的NL2SQL。神经网络模型需要大量人工标注的数据,标注成本很高。达摩院的主要目标是,不需要人工标注数据实现NL2SQL。


 / End /  

相关文章
|
运维 安全 关系型数据库
参加数据库管理工具DAS训练营,赢取国潮保温杯和阿里云定制双肩包!
本训练营带您简单了解数据库自治与云安全服务,数据库自治服务提供云上RDS、PolarDB、NoSQL、ADB等数据库7*24小时异常检测、SQL自优化、安全合规审计、弹性伸缩、数据自治、锁分析等亮点功能。一站式自动化、数字化DAS集成平台,助力您畅享DBA运维智能化。
|
SQL 关系型数据库 MySQL
体验使用DAS实现数据库SQL优化,完成任务可得羊羔绒加厚坐垫!
本实验介绍如何通过数据库自治服务DAS对RDS MySQL高可用实例进行SQL优化,包含购买RDS实例并创建数据库、数据导入、生成并优化慢SQL、执行优化后的SQL语句等实验步骤。完成任务,即可领取羊羔绒加厚坐垫,限量500个,先到先得。
472 19
|
SQL 关系型数据库 分布式数据库
PolarDB产品使用问题之如何关闭或停用自治服务DAS
PolarDB产品使用合集涵盖了从创建与管理、数据管理、性能优化与诊断、安全与合规到生态与集成、运维与支持等全方位的功能和服务,旨在帮助企业轻松构建高可用、高性能且易于管理的数据库环境,满足不同业务场景的需求。用户可以通过阿里云控制台、API、SDK等方式便捷地使用这些功能,实现数据库的高效运维与持续优化。
|
机器学习/深度学习 人工智能 运维
阿里云DAS-您的专属AI专家,引领数据库自治驾驶
阿里云数据库自治服务(DAS)可以被誉为“您的专属AI专家”,它确实在引领数据库进入自治驾驶的时代。 DAS的核心优势在于其结合了多年大规模数据库集群运维调优的专家经验与机器学习等智能化技术。这
|
SQL 运维 数据库
数据库自治专家DAS在手,安心过春节!
春节期间,企业数据库可能面临的问题高发在稳定性、性能和安全性等方面,比如:会遭遇人手不足,IT支持可能会因运维工程师休假、交通通勤而受到限制,也会存在远端接入不方便、通信不畅通、处理不及时等问题。除此之外,大规模增长的商业活动促销和交易量波动增加,交易系统有可能凌晨依然存在高峰负载压力等问题,这对数据库性能是一场不小的考验,上述种种问题,都需要更精确的、更全方位的守护系统。通过DAS智能助手,能够实现7*24小时的守护,接触DBA焦虑,保障系统平稳有序运行。
746 2
|
运维 关系型数据库 分布式数据库
使用DAS实现数据库异常检测
本场景主要介绍如何使用DAS异常检测功能,对数据库PolarDB MySQL 进行异常检测,能够更为及时地发现数据库的异常变化提升数据库系统的稳定性,提高运维效率。 背景知识
|
SQL 关系型数据库 分布式数据库
使用DAS实现数据库自动SQL优化
本场景介绍如何使用DAS实现数据库自动SQL优化。
|
SQL 关系型数据库 分布式数据库
使用DAS实现数据库自动SQL限流
本场景主要介绍如何使用DAS提供SQL限流功能,通过自动SQL限流来控制数据库请求访问量和SQL并发量,保障服务的可用性。
|
关系型数据库 MySQL 分布式数据库
|
域名解析 弹性计算 运维
企业运维训练营之数据库原理与实践—RDS常见问题排除及DAS自动弹性伸缩—RDS常见问题排除及DAS自动弹性伸缩(上)
企业运维训练营之数据库原理与实践—RDS常见问题排除及DAS自动弹性伸缩—RDS常见问题排除及DAS自动弹性伸缩(上)
487 0

热门文章

最新文章

相关产品

  • 数据库自治服务