数据库也能自动驾驶?DAS全天候给你保驾护航! -阿里云开发者社区

开发者社区> 阿里云数据库> 正文

数据库也能自动驾驶?DAS全天候给你保驾护航!

简介: 2020年6月9日,“全速重构”2020阿里云·线上峰会即将隆重召开。

5-6-3.gif

阿里云峰会直播地址

2020年6月9日,“全速重构”2020阿里云·线上峰会即将隆重召开。

在此次峰会上,阿里云数据库重磅发布云原生分布式数据库 PolarDB-X 、云原生数据仓库AnalyticDB、数据库自治服务DAS、云数据库专属集群、图数据库GDB、云数据库Cassandra版、云数据库ClickHouse 7款跨时代产品,用技术倾情打造新数字时代的基石!
今天小编为大家倾情呈现全球首个数据库自动驾驶云平台DAS产品亮点!

过去10年,数据库上云俨然已成共识,云数据库相较于传统线下数据库,解决了资源、弹性、高可用、备份、监控等基本DB运维负担。但如何用好数据库,如何对数据库进行快速诊断和持续优化,对一般应用开发者而言,依然充满挑战。

阿里云基于阿里巴巴自身数据库规模化运维的专家经验,结合人工智能和机器学习技术,实现自感知、自诊断、自修复和自安全的数据库自动驾驶能力,今天依托于阿里云平台,推出数据库自治服务,正式向云上客户开放。

DAS是业界首次以独立云服务的方式实现数据库自治能力,推出六大核心自治特性,覆盖支持包括OLTP(RDS/PolarDB)、NoSQL(Redis/MongoDB)、OLTP(ADB)等各类数据库引擎,并支持混合云、SQL审计和风险识别等企业级数据库运维特性,为客户数据库的稳定安全提供全方位保驾护航。
基于数据驱动、专家经验和机器学习,从异常发现、根因分析、执行修复/优化操作、跟踪评估、反馈实现全流程闭环,无需人工干预,实现数据库的自治,保障数据库持续稳定、高效运行。

DAS 具备 6大核心自治特性

7 x 24实时异常检测:通过机器学习算法,实时对数据库的Workload进行异常检测,相比基于阈值的告警方式,能够更及时的发现数据库的异常,而不是靠故障驱动;

异常自愈:DAS发现异常后,自动进行根因分析,定位到问题后,自动执行相关止损/修复/优化操作,帮助数据库自动恢复,减少对企业业务的影响;
自动优化:基于全局workload和真实的业务场景,而不是基于单条SQL,持续的对数据库进行SQL Review和优化,就像有一个不知疲倦的专业DBA一直在守护着您的数据库;

智能调参:数据库的参数成百上千,用户的业务场景多种多样,靠人肉的方式无法将参数调整为最优的配置,DAS和达摩院合作,通过基于机器学习技术,和智能压测相结合,可以为每个数据库实例的自动推荐最优的参数模版;

AutoScale:基于机器学习,自动对数据库的业务模型、容量水位进行计算和预测,实现先知先觉式的自动扩缩容。

智能压测:为用户提供个性化的压测服务,DAS可以自动学习业务模型,自动生成无限多的接近真实业务的workload,同时提供给用户更丰富的压测场景,帮助用户解决大促、数据库选型等等问题。

和自动驾驶一样,数据库自治服务,也不是一蹴而就的,我们将数据库的自治能力划分为5层:

  • Level-0:全部靠人肉,没有任何工具/产品辅助
  • Level-1:提供基础监控、告警等信息,不输出任何建议;
  • Level-2:在某些场景下,能够输出诊断或者优化建议,但是建议是否采纳和应用,还是由人来决策,例如SQL诊断引擎
  • Level-3:在某些场景下,实现完全的自治,无需人参与,例如自动SQL限流、自动弹性伸缩
  • Level-4:实现数据库的完全自动驾驶,目前DAS正在努力做到Level-4的过程中。

为了实现数据库自治服务,我们已经实践了6年。

从2014年开始,我们开始尝试如何将DBA的经验转换成产品,为业务开发提供更高效,更智能的数据库服务。我们就构建了基于规则的SQL诊断引擎,即输入一条或者多条SQL后,SQL诊断引擎会直接输出优化建议;

2016年,CloudDBA的web版发布,同时也升级了SQL诊断引擎,在这个阶段用户可以直接在阿里云上通过C loudDBA直观的查看数据库的负载,同时进行SQL诊断和优化。

2018年我们通过在阿里巴巴的业务和场景,开始孵化和锤炼数据库自治能力,

通过Self-driving Database Platform,截止到2020年4月已经自动优化了4200万+的SQL、自动回收了超过4 PB的空间、自动优化了 27 TB的内存。

2019年11月,为了更好的服务客户,我们将混合云数据库管理HDM+ CloudDBA+自治的能力,升级为数据库自治服务DAS。

DAS 在4个方面取得了核心创新和突破:

首个全局综合自治引擎:基于根因分析以及实例全维度聚合信息,进行集中决策,冲突解决,专项自治场景决策分发,在多自治场景下实现综合自治。

首个外置式Cost-based SQL诊断:基于代价的诊断引擎,一套独立于数据库之外的优化器,并以自适应的统计信息收集机制,基于执行计划的代价评估,实现SQL精确诊断与优化建议输出。

基于Workload全局SQL优化技术:以Workload负载为优化单位,综合考虑Workload中影响整体性能的特征,如SQL执行消耗资源占比、读写比等,进行整体优化,实现负载整体性能最大化提升同时,最大化降低空间消耗。

基于机器学习的Workload异常发现与预测:基于机器的Workload异常发现,自动感知引发Workload变化的异常SQL,自动触发全局优化,变被动式优化为即时主动式全局优化。

和达摩院的相关的研究成果,也取得了国际学术界的认可:

2018年,WWW《Unsupervised Anomaly Detection via Variational Auto-Encoder forSeasonal KPIs in Web Applications》
2019年,VLDB《iBTune: Individualized Buffer Tuning for Large-scale Cloud Databases》
2020年,VLDB《Diagnosing Root Causes of Intermittent Slow Queries in Large-ScaleCloud Databases》

通过DAS,可以帮助企业节省90%的数据库管理成本,降低80%的运维风险,让用户可以更集中在业务创新,让业务持续行驶在快车道上。

更多DAS产品性能尽在2020年6月9日阿里云峰会数据库新品发布现场,我们不见不散!
预约观看:
image.png
PS.关注公众号,后台回复“峰会”即有机会免费获得阿里云数据库定制太阳伞一把
详细规则请参见:
2020年6月9号,我们准备干一件大事

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
阿里云数据库
使用钉钉扫一扫加入圈子
+ 订阅

帮用户承担一切数据库风险,给您何止是安心!

官方博客
链接