数据库也能自动驾驶?DAS全天候给你保驾护航!

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 Tair(兼容Redis),内存型 2GB
简介: 2020年6月9日,“全速重构”2020阿里云·线上峰会即将隆重召开。

5-6-3.gif

阿里云峰会直播地址

2020年6月9日,“全速重构”2020阿里云·线上峰会即将隆重召开。

在此次峰会上,阿里云数据库重磅发布云原生分布式数据库 PolarDB-X 、云原生数据仓库AnalyticDB、数据库自治服务DAS、云数据库专属集群、图数据库GDB、云数据库Cassandra版、云数据库ClickHouse 7款跨时代产品,用技术倾情打造新数字时代的基石!
今天小编为大家倾情呈现全球首个数据库自动驾驶云平台DAS产品亮点!

过去10年,数据库上云俨然已成共识,云数据库相较于传统线下数据库,解决了资源、弹性、高可用、备份、监控等基本DB运维负担。但如何用好数据库,如何对数据库进行快速诊断和持续优化,对一般应用开发者而言,依然充满挑战。

阿里云基于阿里巴巴自身数据库规模化运维的专家经验,结合人工智能和机器学习技术,实现自感知、自诊断、自修复和自安全的数据库自动驾驶能力,今天依托于阿里云平台,推出数据库自治服务,正式向云上客户开放。

DAS是业界首次以独立云服务的方式实现数据库自治能力,推出六大核心自治特性,覆盖支持包括OLTP(RDS/PolarDB)、NoSQL(Redis/MongoDB)、OLTP(ADB)等各类数据库引擎,并支持混合云、SQL审计和风险识别等企业级数据库运维特性,为客户数据库的稳定安全提供全方位保驾护航。
基于数据驱动、专家经验和机器学习,从异常发现、根因分析、执行修复/优化操作、跟踪评估、反馈实现全流程闭环,无需人工干预,实现数据库的自治,保障数据库持续稳定、高效运行。

DAS 具备 6大核心自治特性

7 x 24实时异常检测:通过机器学习算法,实时对数据库的Workload进行异常检测,相比基于阈值的告警方式,能够更及时的发现数据库的异常,而不是靠故障驱动;

异常自愈:DAS发现异常后,自动进行根因分析,定位到问题后,自动执行相关止损/修复/优化操作,帮助数据库自动恢复,减少对企业业务的影响;
自动优化:基于全局workload和真实的业务场景,而不是基于单条SQL,持续的对数据库进行SQL Review和优化,就像有一个不知疲倦的专业DBA一直在守护着您的数据库;

智能调参:数据库的参数成百上千,用户的业务场景多种多样,靠人肉的方式无法将参数调整为最优的配置,DAS和达摩院合作,通过基于机器学习技术,和智能压测相结合,可以为每个数据库实例的自动推荐最优的参数模版;

AutoScale:基于机器学习,自动对数据库的业务模型、容量水位进行计算和预测,实现先知先觉式的自动扩缩容。

智能压测:为用户提供个性化的压测服务,DAS可以自动学习业务模型,自动生成无限多的接近真实业务的workload,同时提供给用户更丰富的压测场景,帮助用户解决大促、数据库选型等等问题。

和自动驾驶一样,数据库自治服务,也不是一蹴而就的,我们将数据库的自治能力划分为5层:

  • Level-0:全部靠人肉,没有任何工具/产品辅助
  • Level-1:提供基础监控、告警等信息,不输出任何建议;
  • Level-2:在某些场景下,能够输出诊断或者优化建议,但是建议是否采纳和应用,还是由人来决策,例如SQL诊断引擎
  • Level-3:在某些场景下,实现完全的自治,无需人参与,例如自动SQL限流、自动弹性伸缩
  • Level-4:实现数据库的完全自动驾驶,目前DAS正在努力做到Level-4的过程中。

为了实现数据库自治服务,我们已经实践了6年。

从2014年开始,我们开始尝试如何将DBA的经验转换成产品,为业务开发提供更高效,更智能的数据库服务。我们就构建了基于规则的SQL诊断引擎,即输入一条或者多条SQL后,SQL诊断引擎会直接输出优化建议;

2016年,CloudDBA的web版发布,同时也升级了SQL诊断引擎,在这个阶段用户可以直接在阿里云上通过C loudDBA直观的查看数据库的负载,同时进行SQL诊断和优化。

2018年我们通过在阿里巴巴的业务和场景,开始孵化和锤炼数据库自治能力,

通过Self-driving Database Platform,截止到2020年4月已经自动优化了4200万+的SQL、自动回收了超过4 PB的空间、自动优化了 27 TB的内存。

2019年11月,为了更好的服务客户,我们将混合云数据库管理HDM+ CloudDBA+自治的能力,升级为数据库自治服务DAS。

DAS 在4个方面取得了核心创新和突破:

首个全局综合自治引擎:基于根因分析以及实例全维度聚合信息,进行集中决策,冲突解决,专项自治场景决策分发,在多自治场景下实现综合自治。

首个外置式Cost-based SQL诊断:基于代价的诊断引擎,一套独立于数据库之外的优化器,并以自适应的统计信息收集机制,基于执行计划的代价评估,实现SQL精确诊断与优化建议输出。

基于Workload全局SQL优化技术:以Workload负载为优化单位,综合考虑Workload中影响整体性能的特征,如SQL执行消耗资源占比、读写比等,进行整体优化,实现负载整体性能最大化提升同时,最大化降低空间消耗。

基于机器学习的Workload异常发现与预测:基于机器的Workload异常发现,自动感知引发Workload变化的异常SQL,自动触发全局优化,变被动式优化为即时主动式全局优化。

和达摩院的相关的研究成果,也取得了国际学术界的认可:

2018年,WWW《Unsupervised Anomaly Detection via Variational Auto-Encoder forSeasonal KPIs in Web Applications》
2019年,VLDB《iBTune: Individualized Buffer Tuning for Large-scale Cloud Databases》
2020年,VLDB《Diagnosing Root Causes of Intermittent Slow Queries in Large-ScaleCloud Databases》

通过DAS,可以帮助企业节省90%的数据库管理成本,降低80%的运维风险,让用户可以更集中在业务创新,让业务持续行驶在快车道上。

更多DAS产品性能尽在2020年6月9日阿里云峰会数据库新品发布现场,我们不见不散!
预约观看:
image.png
PS.关注公众号,后台回复“峰会”即有机会免费获得阿里云数据库定制太阳伞一把
详细规则请参见:
2020年6月9号,我们准备干一件大事

相关实践学习
使用DAS实现数据库自动扩容和回缩
暂无
目录
相关文章
|
6月前
|
运维 安全 关系型数据库
参加数据库管理工具DAS训练营,赢取国潮保温杯和阿里云定制双肩包!
本训练营带您简单了解数据库自治与云安全服务,数据库自治服务提供云上RDS、PolarDB、NoSQL、ADB等数据库7*24小时异常检测、SQL自优化、安全合规审计、弹性伸缩、数据自治、锁分析等亮点功能。一站式自动化、数字化DAS集成平台,助力您畅享DBA运维智能化。
|
5月前
|
机器学习/深度学习 人工智能 运维
阿里云DAS-您的专属AI专家,引领数据库自治驾驶
阿里云数据库自治服务(DAS)可以被誉为“您的专属AI专家”,它确实在引领数据库进入自治驾驶的时代。 DAS的核心优势在于其结合了多年大规模数据库集群运维调优的专家经验与机器学习等智能化技术。这
|
6月前
|
SQL 运维 数据库
数据库自治专家DAS在手,安心过春节!
春节期间,企业数据库可能面临的问题高发在稳定性、性能和安全性等方面,比如:会遭遇人手不足,IT支持可能会因运维工程师休假、交通通勤而受到限制,也会存在远端接入不方便、通信不畅通、处理不及时等问题。除此之外,大规模增长的商业活动促销和交易量波动增加,交易系统有可能凌晨依然存在高峰负载压力等问题,这对数据库性能是一场不小的考验,上述种种问题,都需要更精确的、更全方位的守护系统。通过DAS智能助手,能够实现7*24小时的守护,接触DBA焦虑,保障系统平稳有序运行。
422 2
|
运维 关系型数据库 分布式数据库
使用DAS实现数据库异常检测
本场景主要介绍如何使用DAS异常检测功能,对数据库PolarDB MySQL 进行异常检测,能够更为及时地发现数据库的异常变化提升数据库系统的稳定性,提高运维效率。 背景知识
|
SQL 关系型数据库 分布式数据库
使用DAS实现数据库自动SQL优化
本场景介绍如何使用DAS实现数据库自动SQL优化。
|
SQL 关系型数据库 分布式数据库
使用DAS实现数据库自动SQL限流
本场景主要介绍如何使用DAS提供SQL限流功能,通过自动SQL限流来控制数据库请求访问量和SQL并发量,保障服务的可用性。
|
关系型数据库 MySQL 分布式数据库
|
域名解析 弹性计算 运维
企业运维训练营之数据库原理与实践—RDS常见问题排除及DAS自动弹性伸缩—RDS常见问题排除及DAS自动弹性伸缩(上)
企业运维训练营之数据库原理与实践—RDS常见问题排除及DAS自动弹性伸缩—RDS常见问题排除及DAS自动弹性伸缩(上)
284 0
|
SQL 弹性计算 运维
企业运维训练营之数据库原理与实践—RDS常见问题排除及DAS自动弹性伸缩—RDS常见问题排除及DAS自动弹性伸缩(中)
企业运维训练营之数据库原理与实践—RDS常见问题排除及DAS自动弹性伸缩—RDS常见问题排除及DAS自动弹性伸缩(中)
197 0
|
SQL 存储 弹性计算
企业运维训练营之数据库原理与实践—RDS常见问题排除及DAS自动弹性伸缩—RDS常见问题排除及DAS自动弹性伸缩(下)
企业运维训练营之数据库原理与实践—RDS常见问题排除及DAS自动弹性伸缩—RDS常见问题排除及DAS自动弹性伸缩(下)
195 0