视频-数据库 DAS 简介和备份上云方案(二)| 学习笔记

简介: 快速学习视频-数据库 DAS 简介和备份上云方案

开发者学堂课程【企业运维训练营之数据库原理与实践课程 :视频-数据库 DAS 简介和备份上云方案(二)】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/1201/detail/18303


视频-数据库 DAS 简介和备份上云方案


四:空间碎片化自动优化

image.png

接下来是第三部分,即 DAS 功能中第三部分的内容是空间碎片自动回收。它是数据库自制服务进行空间优化的一种方式。开启功能后,主实例会自动的执行 optimize table 或者 art table 等命令来回收空间的一些碎片,帮助用户整理物理碎片的功能,他在空间优化前会做一些基本的检查,主要是有三大类。

第一大类,当检测到有其中以下一项或者多项没有通过的时候,对表的空间回收就不再进行。第一种情况是当剩余的可用空间至少是需要回收表的物理空间的 3 倍,即需要的可用空间是回收空间的 3 倍,如果达不到,它就会停止。第二是表上没有附 text 的索引。第二大类情况是会检测情况,其中一项没有通过,需要等 1 到 5 分钟再次检查,直到运维窗口结束。第一种情况是目标实例没有备份任务。第二种情况是没有正在执行的表结构的变更操作。第三块是我们会查询 11 的 CPU 使用率,确保前一天或者是上周同一时段的 CPU 使用率低于70%,且当前执行 CPU 的使用率低于80%。如果这一项没有通过,也会去等 1- 5 分钟再次检查。在第三块是在执行碎片自动回收前,会检测如下三点。第一个是需要空间回收的表上没有执行时间超过 3 秒的 SQL,可能没有大量的漫查询在上面。第二个是没有悬挂的事物,这类事物是指持有所但是却超过 15 秒没有提交的事物,悬挂事物是没有这类事物的。第三块是活跃会话术小于64,这是其中的一个限制条件。一页为大家展示的就是空间碎片自动优化的一些相应的步骤,会进行一些空间的分析,生成优化任务,在运维窗口来进行执行。接下来是在运维窗口,如果到运维窗口期间会进行一些条件的检查,这些条件就是我刚才提到有一些需要结束或者是在此等待的。接下来是执行这些碎片的优化的这么一个过程。

大概的我们三个内容, DAS 的三块自动 SQL 限流,自动 SQL 优化和空间碎片自动优化。这样我们可以去控制台上为大家做简要的演示。

image.png 

五:DAS 三大自动功能演示

首先我们来到数据库自制服务的控制台,昨天可能我的同事也为大家简要的介绍到我们可以点击具体的一个实例观看,这里有一个测试实例。进来后我们可以点击具体的我们要分析的实际,我们可以点击到自治中心,在右上角有一个自制功能的开关,我们可以进行相应的选择,如果它是关闭,我们可以选择关闭或者开启。这里有选择的开启,这里就有几个选项供大家选择。

image.png

第一个就是自动索引创建,或者是删除,刚才我们的自动 SQL 优化的功能,它有两个选项,第一个是仅 SQL 诊断,第二个是 SQL 诊断并自动创自动索引创建。选择它有什么区别?第一个是说当 DAS 检测出我们这些需要优化的 SQL ,只是进行诊断,把它的优化建议给提供给客户,客户可以根据自行的需要来进行是否要进行索引的创建?如果你选择第二个 SQL 诊断并自动创建索引,索引就是默认大肆为您诊断后,它会自动的去创建索引,可以根据自己的选项来进行需求来进行选择。

第二个,我们可以在这里选择自动限流,这就是我们讲到的第一块功能,就是 SQL 自动限流。这里面它可以有几块的选项供我们去设定。比如第一个,我们 CPU 使用率大于多少的时候,其会话数量大于多少时,这里有一个且或者或可以根据自己的业务或者实际情况来判断触发的条件。这里我们选择的是 CPU 使用率大于 80% 且活跃会话数大于 60% 的时候,我们要触发自动 SQL 限流的情况,可限流的时间段,这里当然选择的是全天,最大限流时间,这里或者是持续时间大于多长时间,我们也可以根据实际循环进行选择。这里选择的是 10 分钟的持续时间,是大于 2 分钟,我们对它进行限流。还有一个小的选项是同时 q 执行中的异常SQL,这里我们也可以勾选上。

第三个是自动资源弹性,也是 CPU 平均使用率不小于90%,当我们的 CPU 使用率已经达到比较高的一个水位,我们可以进行资源的弹性的扩容。第四块我们刚才讲到空间碎片自动回收,这里有两个参数,大家可以注意,一个表空间,一个是碎片率,触发控,对第一个是这个表空间触发空间碎片自动回收。单个物理表的最小空间取值范围是 5G 到100G,默认是10G,这里是一个默认值。他需要注意的是单表空间过大,会导致回收时间非常长,所以需要客户根据实际的业务情况选择合适的数值。这里需要注意的是,数据库实例上所有的表空间如果均小于5G,或者表空间均大于100G,系统是不会进行空间碎片回收的。需要注意这么个情况。

第二是碎片率需要大于百分之多少,它才会触发空间碎片自动回收。触发空间会碎片自动回收的单个物理表的碎片率取值范围是 10% 到99%,默认是20%。也可以根据实际情况来选择优化的百分比。需要注意的是,数据库实例上所有表的碎片如果均低于10%,系统也不会进行空间碎片的回收。所以这里我们选择的是一个表空间大于实际和大于 20% 是一个默认值。我们选择确定就表示我们设置成功。

image.png

设置成功以后,我们其实还可以在这里进行事件的订阅设置。就是将上述的比如触发某个 SQL 优化或者 SQL 限流,或者是空间碎片的阈值,它可能需要发送给相关需要关心的人,开启事件的订阅服务。这里可以这个定义它的紧急程度严重或者是警告。我们选择一个相关的联系人,通知方式,又支持手机钉钉短信或者是邮件方式。我们点击确定就可以设置成功。

image.png

这里为大家介绍了 DAS 这些 SQL 限流, SQL 自动优化,还有这个空间碎片自动回收,怎么如何去设定和它的一些基本功能。

在这里我们找到一个曾经测试实际上发生的优空间优化的一个事件,我们可以点进去看他在一些表上给出了一些相应的建议,这些索引和某一些索引有重复建议,删除冗余索引。这里我可能可以看到他可能当时选的优化建议,是仅 CQ 诊断,没有进行自动的创建,只是把诊断的结果和建议提供给客户。这是一个会在资质中心的优化事件中会显示出当时的具体的优化。

image.png

我们继续回到我们的PPT。以上部分给大家重点介绍了 DAS 的 3 块内容。一个是 SQL 自动限流一些应用, SQL 自动限流它的一个基本原理,应用的一些场景,还有它在DAS 上如何设置。第二块是 SQL 的自动优化,它的一些应用场景,主要是针对大量的 Mysql 或者是否一些索引创建的需要优化的地方。第三个是空间碎片的自动优化,当然这些碎片这碎片率和一些表空间需要回收的时候,它是有一定的触发条件的,可以让我们的用户注意一下这些触发条件。

相关文章
|
3天前
|
存储 SQL 关系型数据库
|
2月前
|
SQL 存储 监控
关系型数据库做好备份
【5月更文挑战第4天】关系型数据库做好备份
44 6
关系型数据库做好备份
|
2月前
|
存储 SQL 数据库
关系型数据库物理备份
【5月更文挑战第1天】物理备份是一种快速、直接的数据库备份方式,适用于需要快速恢复的场景。但是,在选择备份方法时,应该根据具体的需求和场景来权衡物理备份和逻辑备份的优缺点。
48 4
关系型数据库物理备份
|
2月前
|
存储 NoSQL 关系型数据库
Percona XtraBackup是否支持MongoDB数据库备份?
【5月更文挑战第13天】Percona XtraBackup是否支持MongoDB数据库备份?
133 1
|
4天前
|
关系型数据库 MySQL 数据库
MySQL mysqldump教程:轻松备份与迁移数据库
MySQL mysqldump教程:轻松备份与迁移数据库
|
24天前
|
存储 运维 关系型数据库
|
22天前
|
存储 安全 Linux
使用 `db_dump` 命令备份 Berkeley DB 数据库
`db_dump` 是 Linux 中用于备份 Berkeley DB 数据库的工具,它将数据库内容转储到输出或文件。
|
3天前
|
数据库
|
3天前
|
编译器 API 数据库
技术好文共享:(xxxx)十一:SQLite3的db数据库解密(三)数据库在线备份
技术好文共享:(xxxx)十一:SQLite3的db数据库解密(三)数据库在线备份
|
26天前
|
机器学习/深度学习 人工智能 运维
阿里云DAS-您的专属AI专家,引领数据库自治驾驶
阿里云数据库自治服务(DAS)可以被誉为“您的专属AI专家”,它确实在引领数据库进入自治驾驶的时代。 DAS的核心优势在于其结合了多年大规模数据库集群运维调优的专家经验与机器学习等智能化技术。这