对话|DAS的数据库自治技术解读

本文涉及的产品
数据传输服务 DTS,数据同步 small 3个月
推荐场景:
数据库上云
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
数据传输服务 DTS,数据迁移 small 3个月
推荐场景:
MySQL数据库上云
简介: 《数据库风向标》是一档聚焦数据库新趋势与新技术的视频栏目,节目每期会请到几位资深技术大咖,与大家共话数据库热点话题。

1.jpg

点击观看完整视频:数据库风向标


>>>薛高敏(天钰)

阿里云数据库产品经理,现负责数据库自治服务DAS的产品管理、方案设计工作。

>>>陈杰(艾奥)

阿里云数据库高级算法专家,现负责数据库自治服务DAS产品实例弹性扩缩容、异常检测和SQL优化方向的研发。

>>>张涛(鼎智)

阿里云数据库研发专家,现负责DAS数据链路和查询治理方面的研发。

>>>付晗(远名)

博士,现于达摩院数据库存储实验室负责数据库智能研究,曾在ACL、CVPR等人工智能顶级会议上发表论文。


Q

薛高敏:谈到数据库,一个始终离不开的话题就是SQL。我们很多开发者在日常工作中都会接触到SQL。用户在写SQL的过程中,由于不同数据库引擎需要适配不同的SQL模板。导致用户的学习成本变高,而执行效率往往较低。如果出现故障,企业也没有兜底的方案。那么过去和现在都是如何解决这些问题的?

  艾奥:  在过去,数据库的运维工作主要依赖DBA进行人工运维。因为DBA对自己负责的数据库及相关业务有很多了解,可以针对性的优化数据库实例、解决相关问题。随着DBA人均负责的数据库实例越来越多,会基于运维知识和场景化开发相应的自动化工具,进一步提高维护的效率和标准。


在云场景下,数据库实例支持的业务越来越多样化,规模也越来越大。企业依赖传统人工运维或特定场景的标准化工具,已经无法解决所有问题。


因此,在云上出现了更多系统化的数据库实例运维工具。它能对实例进行全方位的监控,基于实例的工作负载和性能数据,做出针对性的更新定位。结合机器学习算法,对实例进行调优,达到数据库实例自治的目标。

2.png

在阿里云自治服务DAS上,针对SQL的相关问题,例如索引缺失、SQL不优等进行了相应的优化。在空间问题,容量评估、负载问题和数据安全方面,都有相应的场景化分析工具和智能化的策略。


Q

薛高敏:企业的实例数往往非常庞大,如何进行大规模的常态化治理,成为企业非常关心的话题。那么有哪些发现问题SQL的方法?

  鼎智:  发现问题SQL的方法,通常可以分为两类。第一类,在上线前发现问题并进行拦截。第二类,是基于智能辅助系统,进行半人工的治理。第三类,全自治的智能数据库。


目前DAS完全覆盖了第一种和第二种方式,作为一个智能辅助系统不断地迭代,提供更准确的归因分析能力。


与此同时,DAS也朝着全自治的目标努力。


Q

薛高敏:关于自然语言到SQL转译问题的最新研究进展。达摩院的智能数据库实验室具体做了哪些方向的探索和解决方案?

  付晗:  智能数据库实验室从2019年开始,对NL2SQL相关领域进行研究。目前,主要开展四个方向的研究。

3.png

第一个方向,提升神经网络模型的效率。我们设计了一种新的预测方式,可以在相同配置条件下,把吞吐率提升5至10倍。


第二个方向,利用数据库领域的知识,提升SQL在语法和语义上的准确性。目前已可以显著超过现有方法的准确率。


第三个方向,支持多领域的大数据库。达摩院提出了库表定位技术,可以有效支持几十个领域、上千个表的大数据库,并且保证最终的准确率不会下降。


第四个方向,无监督的NL2SQL。神经网络模型需要大量人工标注的数据,标注成本很高。达摩院的主要目标是,不需要人工标注数据实现NL2SQL。


 / End /  

相关实践学习
使用DAS实现数据库自动扩容和回缩
暂无
相关文章
|
20天前
|
数据库 索引
深入探索数据库索引技术:回表与索引下推解析
【10月更文挑战第15天】在数据库查询优化的领域中,回表和索引下推是两个核心概念,它们对于提高查询性能至关重要。本文将详细解释这两个术语,并探讨它们在数据库操作中的作用和影响。
43 3
|
20天前
|
数据库 索引
深入理解数据库索引技术:回表与索引下推详解
【10月更文挑战第23天】 在数据库查询性能优化中,索引的使用是提升查询效率的关键。然而,并非所有的索引都能直接加速查询。本文将深入探讨两个重要的数据库索引技术:回表和索引下推,解释它们的概念、工作原理以及对性能的影响。
41 3
|
28天前
|
存储 缓存 监控
数据库优化技术:提升性能与效率的关键策略
【10月更文挑战第15天】数据库优化技术:提升性能与效率的关键策略
54 8
|
26天前
|
存储 NoSQL 关系型数据库
数据库技术深度解析:从基础到进阶
【10月更文挑战第17天】数据库技术深度解析:从基础到进阶
55 0
|
2月前
|
存储 NoSQL 关系型数据库
非关系型数据库-MongoDB技术(二)
非关系型数据库-MongoDB技术(二)
|
2月前
|
NoSQL 关系型数据库 MongoDB
非关系型数据库-MongoDB技术(一)
非关系型数据库-MongoDB技术(一)
|
19天前
|
负载均衡 网络协议 数据库
选择适合自己的数据库多实例负载均衡技术
【10月更文挑战第23天】选择适合自己的数据库多实例负载均衡技术需要全面考虑多种因素。通过深入的分析和评估,结合自身的实际情况,能够做出明智的决策,为数据库系统的高效运行提供有力保障。
104 61
|
17天前
|
SQL Java 数据库连接
在Java应用中,数据库访问常成为性能瓶颈。连接池技术通过预建立并复用数据库连接,有效减少连接开销,提升访问效率
在Java应用中,数据库访问常成为性能瓶颈。连接池技术通过预建立并复用数据库连接,有效减少连接开销,提升访问效率。本文介绍了连接池的工作原理、优势及实现方法,并提供了HikariCP的示例代码。
31 3
|
19天前
|
缓存 负载均衡 监控
数据库多实例的负载均衡技术深入
【10月更文挑战第23天】数据库多实例负载均衡技术是确保数据库系统高效运行的重要手段。通过合理选择负载均衡策略、实时监控实例状态、不断优化调整,能够实现资源的最优分配和系统性能的提升。在实际应用中,需要根据具体情况灵活运用各种负载均衡技术,并结合其他相关技术,以满足不断变化的业务需求。
|
19天前
|
Java 数据库连接 数据库
优化之路:Java连接池技术助力数据库性能飞跃
在Java应用开发中,数据库操作常成为性能瓶颈。频繁的数据库连接建立和断开增加了系统开销,导致性能下降。本文通过问题解答形式,深入探讨Java连接池技术如何通过复用数据库连接,显著减少连接开销,提升系统性能。文章详细介绍了连接池的优势、选择标准、使用方法及优化策略,帮助开发者实现数据库性能的飞跃。
25 4

相关产品

  • 数据库自治服务