数据库自治专家DAS在手,安心过春节!

本文涉及的产品
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
数据传输服务 DTS,数据迁移 small 3个月
推荐场景:
MySQL数据库上云
简介: 春节期间,企业数据库可能面临的问题高发在稳定性、性能和安全性等方面,比如:会遭遇人手不足,IT支持可能会因运维工程师休假、交通通勤而受到限制,也会存在远端接入不方便、通信不畅通、处理不及时等问题。除此之外,大规模增长的商业活动促销和交易量波动增加,交易系统有可能凌晨依然存在高峰负载压力等问题,这对数据库性能是一场不小的考验,上述种种问题,都需要更精确的、更全方位的守护系统。通过DAS智能助手,能够实现7*24小时的守护,接触DBA焦虑,保障系统平稳有序运行。

背景

      数据库已成为企业运作的基座,随着业务上云步伐加快,数据库云上运维管理的重要性会逐渐凸显,阿里云瑶池数据库自2014年起推出国内首创数据库自治服务DAS:基于机器学习和专家经验实现7✖️24小时全天候智能DBA。时至今日,DAS功能可一站式数据库自治运维,在一个集成平台即可享受数据库自感知、自修复、自优化、自运维及自安全等众多云服务,助力畅享DBA运维智能化~

      春节期间,企业数据库可能面临的问题高发在稳定性、性能和安全性等方面,比如:会遭遇人手不足,IT支持可能会因运维工程师休假、交通通勤而受到限制,也会存在远端接入不方便、通信不畅通、处理不及时等问题。除此之外,大规模增长的商业活动促销和交易量波动增加,交易系统有可能凌晨依然存在高峰负载压力等问题,这对数据库性能是一场不小的考验,上述种种问题,都需要更精确的、更全方位的守护系统。通过DAS智能助手,能够实现7*24小时的守护,接触DBA焦虑,保障系统平稳有序运行。

      数据库面临的运维压力,聚焦稳定、高效、安全三个方面,利用DAS都能行之有效地在具体场景中见招拆招。


DAS新春版本与功能矩阵

DAS新春版本

新春之际,瑶池数据库新推出特惠:DAS经济版、DAS企业版V3。专属于企业的管理和优化数据库的高效助手。

  • DAS经济版:首次推出轻量版,包年包月,用户可获得针对实例负载、存储空间、参数类问题的快速识别,根因及建议的推送,问题可得到一键式解决。
  • DAS企业版V3:功能强劲,新推出按流量计量模式,支持冷热混合存储,按使用的场景细分功能,使用更加灵活,企业运行成本降低30%~50%

DAS功能矩阵



数据库面临X个问题

业务场景一:运维严重依赖人力,故障驱动与稳定渐行渐远


DAS自治:多维度数据库自治运维

1、24小时智能化检测: DBA日常很大一部分忧虑来源于怎么全天候管理数据库,为此DAS提供了一整套自动化运维能力,可以减少日常数据库管理对人力的依赖。特别在春节期间,大大帮助减轻人员压力。DAS的自治功能提供7×24小时常检测,智能检测融入了机器学习和数据库领域预测算法,对业务数据库持续在进行模型训练,针对宽范围的Workload(包括监控指标、SQL、锁、日志、运维事件等)进行实时异常检测,会随着训练不断自适应业务特征,当数据库状态波动能第一时间发现并预测,相比传统的阈值告警更加超前,实现1分钟“找准问题”,防范在故障之前。


2、自动SQL优化:提供“事前”调优,当数据库出现慢响应SQL,或者当前SQL对应用程序的运行效率产生较大影响时,不可避免的拖延数据库吞吐性能,DAS为此提供自动SQL优化功能。自动SQL优化的本质是改良语句、创建索引,通过植入内置优化器提供WHAT-IF功能,并沉淀了阿里云丰富的业务案例,它相比传统优化法能够自动识别问题SQL,自适应生成索引(不引发锁表)。自动SQL优化对于每一条输入的SQL语句基于全局workload优化,保证了动态最佳消除局部优化的弊端,最大程度加速业务IO。


3、自动SQL限流:担当“事后”保障,当异常被检测到有突发流量导致SQL并发量短时间里上升、部分SQL占用大量数据库资源、或者大量未创建索引的SQL被调用等问题,要在最短时间内限制问题SQL的并发度,保障数据库业务正常的运转。为保护业务稳定运转,使用自动SQL限流功能,可以自动提取SQL特征,通过关键词对问题SQL进行限流,支持自定义限流时段和限流条件,在业务量高峰期护航业务稳定。



4、自动弹性伸缩:应对业务的高峰和低谷的落差,必须要有计算规格还有存储空间扩容的能力,DAS支持未来24小时的性能使用率预测,并分析给出扩容建议;同时支持定时扩容任务,定时扩容+缩容足以顺利应对数据库负载的周期性变化。自动扩容数据库实例的计算规格,当溢出阈值时可以快速弹性适配高峰流量。并且能设置流量下降时进行计算规格回缩,避免资源浪费,存储自动扩容通过阈值判断实现。



5、其他自治功能:除了以上的三种功能,DAS还提供其他自治能力以构建出完整的自治中心,助力DBA智能化。

事件订阅如果异常、优化、弹性伸缩等事件被触发,将会根据设置的规则通知到用户。事件订阅结合监控告警,可以实现对数据库的精准管控。

碎片自动回收:借助空间分析功能可直观地查看实例的空间使用概况、空间剩余可用天数,以及数据库中某个表的空间使用情况、空间碎片、空间异常诊断等。删除或更新SQL时,会使数据在磁盘上的存储变得不连续,产生空间碎片,这导致磁盘空间浪费和数据库性能下降。而开启空间碎片自动回收后,检测到MySQL中的表达到条件(如表空间大小、碎片率)时,就会对表空间碎片进行回收(在可维护时间段,减少业务影响),让数据库“焕然一新”。


业务场景二:诊断缺少数据支撑,问题排查靠“猜”,需要专家经验

SQL洞察和审计:SQL明细查询+模版聚类诊断

传统数据库运维,在深层次诊断健康和性能问题时,往往受困于缺乏SQL的明细数据支撑,导致排查问题无从下手。又或是业务迥异,强依赖长期的个人DBA经验。DAS企业版的SQL洞察和审计功能解开了这困局,可记录SQL基础审计日志,并通过AI能力,针对性帮助总结SQL诊断问题。

1、基础审计:记录所有SQL在离线冷存,需要的时候可以查询明细数据

2、实时搜索:建立带自适应索引的SQL数据存储在热存,秒内就能返回SQL明细数据

3、SQL洞察:排查健康情况和性能问题的强力工具,对所有的DQL、DML和DDL操作进行SQL聚类分析,还可以看到每一天的相关SQL的执行耗时分布、执行来源、执行次数,并会给出更具有专业性的索引优化建议,也支持用户导出全量SQL采用其他工具分析。

4、相关SQL识别:基于图分析的聚类和定位,建立SQL模板与数据库性能指标的联系,帮助用户在业务量多的情况下分析和识别异常请求的SQL,提高问题根因定位的效率。


性能洞察:SQL资源消耗、RT分布

基于Performance Schema,DAS提供了性能洞察,可查看所有SQL的资源消耗、执行次数、扫描行数和执行耗时趋势图等,查看目标数据库不同指标的性能趋势和目标SQL的详细信息,也可通过SQL ID和关键词查询目标SQL的详细信息。与SQL洞察相比,性能洞察使用成本低,功能简洁。

性能洞察支持统计无流量表和无流量索引数据,帮助判断和清理这些数据,提高存储利用率和数据库性能。

会话管理锁分析

数据库实例出现问题时,往往是由执行的SQL导致,通过DAS会话管理可以查看实例正在执行的SQL、异常会话、是否存在锁等待等,并可通过会话分析定位热点SQL、需限流的问题SQL、使用临时空间较多SQL,并通过会话管理结束会话、执行SQL限流,快速解决CPU使用率高、活跃会话数高的问题,缓解实例负载压力,再做后续优化。

锁分析除了可分析元数据锁、事务阻塞情况等,也提供最近死锁分析、全量死锁分析,图形化展示死锁,然后可根据死锁信息结合SQL洞察进一步定位死锁原因,进行优化减少死锁发生次数。

除了实时查看会话处理正在发生的问题外,有时候需要确认已发生问题的根因。DAS在时序异常检测的基础上提供了根因分析和异常快照,在数据库实例出现问题时(如CPU使用率、活跃会话数高)保留一定的现场,包括对应时段的会话、事务、锁快照等。



业务场景三:数据运维架构全面升级,强化性能和安全,高效使用DAS

通过引入数据库自治服务(DAS),企业能够将从反应性故障处理转变为主动性故障预防,实现更高的运维效率和系统稳定性。这不仅改善数据库的运行状况,也让数据库管理员能够将注意力集中在更为战略性的任务上,例如数据架构优化和业务增长支持。

云上DAS自治,助力建立全新的数据运维架构,主要带来三大优势:

  • 第一:数据库运维自治化,通过云上DAS自治实现数据库的自动化监控、故障预警、自动化修复等功能,全面推动了数据库效率涨动、支持7X24小时全天候全方位运维保障。
  • 第二:运维成本和人力投入的极大节省,为企业带来更经济高效的数据运维解决方案。
  • 第三:自动化和智能化体系升级。企业上云使用DAS服务,数据高效运转伴随数据安全审计,改善业务模式和效率的同时也会反过来推动整个数据架构上的链路升级,帮助企业数字化转型。


怎么高效利用DAS,将能力转化成效力?

1、CPU使用率高、活跃会话数高

此场景是由于慢SQL导致,推荐开启SQL自动限流和SQL自动优化

image.png

实际使用中:用户可通过DAS智能告警设置CPU使用率等指标的阈值类告警,也可以设置DAS的时序异常检测智能告警,在收到告警时,可在自治中心查看根因分析结果,或者在会话管理中触发实时分析,用户也可以根据会话数据或者慢日志记录归纳总结,然后提交SQL限流,限制慢SQL并发度,快速缓解数据库实例负载,然后结束正在执行中的问题SQL。在临时降低负载后,可根据自治中心的慢SQL诊断结果或者手动触发获取索引建议、SQL改写建议,然后建立索引或者在业务侧改写SQL。另外,也可以开启SQL自动限流和SQL自动优化,在数据库实例出现异常时,自动触发相关操作,降低影响。



2、活跃会话数高

image.png

此场景并非由于慢SQL导致。在实际使用中:在DAS控制台配置相关指标的阈值告警或者配置智能事件告警,在收到告警时,可登录DAS控制台在自治中心查看DAS已经生成的根因分析结果,或者在会话管理、锁分析中触发实时分析,然后结束相关会话,释放连接资源,临时解决问题后,可进一步优化调整锁等待相关参数,如innodb_lock_wait_timeout,具体设置可参数参数诊断,同时也需要从业务侧优化事务相关的使用。


3、SQL洞察诊断

(1)根据SQL洞察排查死锁

根据死锁数据获取相关事务的线程ID、事务ID等,然后通过SQL洞察搜索功能,搜索对应时段相关线程执行SQL的情况(实例版本的SQL洞察支持事务ID的直接根据事务ID进行搜索)。


(2)使用SQL洞察定位根因SQL

当数据库出现性能异常时,传统方法是对全量SQL进行topN分析,该方法分析数据多耗时长、问题定位难度大。DAS的根因SQL定位可以使用SQL洞察(或性能洞察)数据,建立SQL模板与数据库异常性能指标的联系,并依据SQL模板类别对异常指标的贡献度和异常传播关系,定位根因SQL和被根因SQL影响的SQL(如有),从而辅助用户进行进一步的优化决策,如对各类问题SQL进行SQL限流、SQL优化等的操作。

进一步可对比查看该根因SQL的执行耗时分布等。


以上,数据库自治服务DAS的部分最佳案例介绍限于篇幅,了解更多咨询敬请点击下方阿里云官网!




快来关注

  1. 迎新春,送福利!!DAS推出春节特惠经济版,用户可获得针对实例负载、存储空间、参数类问题的快速识别,根因及建议的推送,问题可得到一键式解决。
  1. 了解详情请点击DAS经济版介绍。‘
  2. 立即体验DAS经济版:购买DAS经济版
  1. 【数据库自治与安全实战训练营】火热开营中,带您快速了解运维一站式自动化,助力畅享DBA运维智能化。 点击 数据库自治与实战安全训练营直达活动现场,还有精美国潮保温杯、阿里云定制背包等福利等你来拿!!
  2. 了解更多数据库自治功能,请关注阿里云官网-数据库自治服务DAS
  3. 如果您在使用DAS产品时有任何疑惑或建议,欢迎扫码进群交流。

image.png

相关文章
|
1月前
|
关系型数据库 MySQL 测试技术
数据库专家带你体验PolarDB MySQL版 Serverless的极致弹性特性!
本次基于阿里云瑶池数据库解决方案体验馆,带你体验PolarDB MySQL Serverless形态下的性能压测环境,基于可选择的标准压测工具进行压测,构造弹性场景进行压测,实时动态展示弹性能力、价格和性价比结果,压测环境可开放定制修改、可重复验证。参与活动即有机会获得鼠标、小米打印机、卫衣等精美礼品。
数据库专家带你体验PolarDB MySQL版 Serverless的极致弹性特性!
|
2月前
|
关系型数据库 MySQL 测试技术
数据库专家带你体验PolarDB MySQL版 Serverless的极致弹性特性
本次基于阿里云瑶池数据库解决方案体验馆,带你体验PolarDB MySQL Serverless形态下的性能压测环境,基于可选择的标准压测工具进行压测,构造弹性场景进行压测,实时动态展示弹性能力、价格和性价比结果,压测环境可开放定制修改、可重复验证。参与活动即有机会获得鼠标、小米打印机、卫衣等精美礼品。
|
2月前
|
运维 安全 关系型数据库
参加数据库管理工具DAS训练营,赢取国潮保温杯和阿里云定制双肩包!
本训练营带您简单了解数据库自治与云安全服务,数据库自治服务提供云上RDS、PolarDB、NoSQL、ADB等数据库7*24小时异常检测、SQL自优化、安全合规审计、弹性伸缩、数据自治、锁分析等亮点功能。一站式自动化、数字化DAS集成平台,助力您畅享DBA运维智能化。
|
2月前
|
运维 安全 关系型数据库
数据库自治与安全服务训练营火热开营!完成任务可得国潮保温杯和阿里云定制双肩包!
本训练营带您简单了解数据库自治与云安全服务,数据库自治服务提供云上RDS、PolarDB、NoSQL、ADB等数据库7*24小时异常检测、SQL自优化、安全合规审计、弹性伸缩、数据自治、锁分析等亮点功能。一站式自动化、数字化DAS集成平台,助力您畅享DBA运维智能化。
|
4月前
|
运维 关系型数据库 MySQL
MySQL DBA的必备参考,两位数据库资深专家呕心沥血之作
互联网发展至今,开源软件已经深入人心,并且受到广泛的支持和响应,很多公司在使用开源软件的同时也输出了一些好的开源产品。MySQL 作为当今世界.上最受欢迎的开源数据库产品之一,在很多互联网企业里起到了不可或缺的作用。由于MySQL的诸多特性,比如开源免费、灵活、轻量简单且越来越多的企业开始使用MySQL,在业界诞生了一大批相关从业者,他们研究MySQL的原理,探讨MySQL的架构,完善MySQL的运维,丰富MySQL的工具,促进MySQL的发展,我们称这些人为MySQL DBA,而本人也是其中之一,深感荣幸。
|
5月前
|
运维 关系型数据库 MySQL
GitHub无抗手!MySQL DBA攻坚指南一出,阿里数据库专家都解脱了
大家可能并不觉得,数据库其实非常重要,每个业内巨头,每个成熟的互联网产品都有多个数据库系统,能保证大量并发场景下不出错,并非易事。尤其是银行、电商、电信、电力、航空等实时交易重要的环境中,可靠的数据库是重中之重,稳定压倒一切。
|
7月前
|
运维 关系型数据库 分布式数据库
使用DAS实现数据库异常检测
本场景主要介绍如何使用DAS异常检测功能,对数据库PolarDB MySQL 进行异常检测,能够更为及时地发现数据库的异常变化提升数据库系统的稳定性,提高运维效率。 背景知识
226 0
|
7月前
|
SQL 关系型数据库 分布式数据库
使用DAS实现数据库自动SQL优化
本场景介绍如何使用DAS实现数据库自动SQL优化。
107 0
|
3天前
|
关系型数据库 MySQL 分布式数据库
《MySQL 简易速速上手小册》第6章:MySQL 复制和分布式数据库(2024 最新版)
《MySQL 简易速速上手小册》第6章:MySQL 复制和分布式数据库(2024 最新版)
24 2
|
5天前
|
SQL 关系型数据库 MySQL
MySQL环境搭建——“MySQL数据库”
MySQL环境搭建——“MySQL数据库”