视频-数据库 DAS 简介和备份上云方案(二)| 学习笔记

简介: 快速学习视频-数据库 DAS 简介和备份上云方案

开发者学堂课程【企业运维训练营之数据库原理与实践课程 :视频-数据库 DAS 简介和备份上云方案(二)】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/1201/detail/18303


视频-数据库 DAS 简介和备份上云方案


四:空间碎片化自动优化

image.png

接下来是第三部分,即 DAS 功能中第三部分的内容是空间碎片自动回收。它是数据库自制服务进行空间优化的一种方式。开启功能后,主实例会自动的执行 optimize table 或者 art table 等命令来回收空间的一些碎片,帮助用户整理物理碎片的功能,他在空间优化前会做一些基本的检查,主要是有三大类。

第一大类,当检测到有其中以下一项或者多项没有通过的时候,对表的空间回收就不再进行。第一种情况是当剩余的可用空间至少是需要回收表的物理空间的 3 倍,即需要的可用空间是回收空间的 3 倍,如果达不到,它就会停止。第二是表上没有附 text 的索引。第二大类情况是会检测情况,其中一项没有通过,需要等 1 到 5 分钟再次检查,直到运维窗口结束。第一种情况是目标实例没有备份任务。第二种情况是没有正在执行的表结构的变更操作。第三块是我们会查询 11 的 CPU 使用率,确保前一天或者是上周同一时段的 CPU 使用率低于70%,且当前执行 CPU 的使用率低于80%。如果这一项没有通过,也会去等 1- 5 分钟再次检查。在第三块是在执行碎片自动回收前,会检测如下三点。第一个是需要空间回收的表上没有执行时间超过 3 秒的 SQL,可能没有大量的漫查询在上面。第二个是没有悬挂的事物,这类事物是指持有所但是却超过 15 秒没有提交的事物,悬挂事物是没有这类事物的。第三块是活跃会话术小于64,这是其中的一个限制条件。一页为大家展示的就是空间碎片自动优化的一些相应的步骤,会进行一些空间的分析,生成优化任务,在运维窗口来进行执行。接下来是在运维窗口,如果到运维窗口期间会进行一些条件的检查,这些条件就是我刚才提到有一些需要结束或者是在此等待的。接下来是执行这些碎片的优化的这么一个过程。

大概的我们三个内容, DAS 的三块自动 SQL 限流,自动 SQL 优化和空间碎片自动优化。这样我们可以去控制台上为大家做简要的演示。

image.png 

五:DAS 三大自动功能演示

首先我们来到数据库自制服务的控制台,昨天可能我的同事也为大家简要的介绍到我们可以点击具体的一个实例观看,这里有一个测试实例。进来后我们可以点击具体的我们要分析的实际,我们可以点击到自治中心,在右上角有一个自制功能的开关,我们可以进行相应的选择,如果它是关闭,我们可以选择关闭或者开启。这里有选择的开启,这里就有几个选项供大家选择。

image.png

第一个就是自动索引创建,或者是删除,刚才我们的自动 SQL 优化的功能,它有两个选项,第一个是仅 SQL 诊断,第二个是 SQL 诊断并自动创自动索引创建。选择它有什么区别?第一个是说当 DAS 检测出我们这些需要优化的 SQL ,只是进行诊断,把它的优化建议给提供给客户,客户可以根据自行的需要来进行是否要进行索引的创建?如果你选择第二个 SQL 诊断并自动创建索引,索引就是默认大肆为您诊断后,它会自动的去创建索引,可以根据自己的选项来进行需求来进行选择。

第二个,我们可以在这里选择自动限流,这就是我们讲到的第一块功能,就是 SQL 自动限流。这里面它可以有几块的选项供我们去设定。比如第一个,我们 CPU 使用率大于多少的时候,其会话数量大于多少时,这里有一个且或者或可以根据自己的业务或者实际情况来判断触发的条件。这里我们选择的是 CPU 使用率大于 80% 且活跃会话数大于 60% 的时候,我们要触发自动 SQL 限流的情况,可限流的时间段,这里当然选择的是全天,最大限流时间,这里或者是持续时间大于多长时间,我们也可以根据实际循环进行选择。这里选择的是 10 分钟的持续时间,是大于 2 分钟,我们对它进行限流。还有一个小的选项是同时 q 执行中的异常SQL,这里我们也可以勾选上。

第三个是自动资源弹性,也是 CPU 平均使用率不小于90%,当我们的 CPU 使用率已经达到比较高的一个水位,我们可以进行资源的弹性的扩容。第四块我们刚才讲到空间碎片自动回收,这里有两个参数,大家可以注意,一个表空间,一个是碎片率,触发控,对第一个是这个表空间触发空间碎片自动回收。单个物理表的最小空间取值范围是 5G 到100G,默认是10G,这里是一个默认值。他需要注意的是单表空间过大,会导致回收时间非常长,所以需要客户根据实际的业务情况选择合适的数值。这里需要注意的是,数据库实例上所有的表空间如果均小于5G,或者表空间均大于100G,系统是不会进行空间碎片回收的。需要注意这么个情况。

第二是碎片率需要大于百分之多少,它才会触发空间碎片自动回收。触发空间会碎片自动回收的单个物理表的碎片率取值范围是 10% 到99%,默认是20%。也可以根据实际情况来选择优化的百分比。需要注意的是,数据库实例上所有表的碎片如果均低于10%,系统也不会进行空间碎片的回收。所以这里我们选择的是一个表空间大于实际和大于 20% 是一个默认值。我们选择确定就表示我们设置成功。

image.png

设置成功以后,我们其实还可以在这里进行事件的订阅设置。就是将上述的比如触发某个 SQL 优化或者 SQL 限流,或者是空间碎片的阈值,它可能需要发送给相关需要关心的人,开启事件的订阅服务。这里可以这个定义它的紧急程度严重或者是警告。我们选择一个相关的联系人,通知方式,又支持手机钉钉短信或者是邮件方式。我们点击确定就可以设置成功。

image.png

这里为大家介绍了 DAS 这些 SQL 限流, SQL 自动优化,还有这个空间碎片自动回收,怎么如何去设定和它的一些基本功能。

在这里我们找到一个曾经测试实际上发生的优空间优化的一个事件,我们可以点进去看他在一些表上给出了一些相应的建议,这些索引和某一些索引有重复建议,删除冗余索引。这里我可能可以看到他可能当时选的优化建议,是仅 CQ 诊断,没有进行自动的创建,只是把诊断的结果和建议提供给客户。这是一个会在资质中心的优化事件中会显示出当时的具体的优化。

image.png

我们继续回到我们的PPT。以上部分给大家重点介绍了 DAS 的 3 块内容。一个是 SQL 自动限流一些应用, SQL 自动限流它的一个基本原理,应用的一些场景,还有它在DAS 上如何设置。第二块是 SQL 的自动优化,它的一些应用场景,主要是针对大量的 Mysql 或者是否一些索引创建的需要优化的地方。第三个是空间碎片的自动优化,当然这些碎片这碎片率和一些表空间需要回收的时候,它是有一定的触发条件的,可以让我们的用户注意一下这些触发条件。

相关实践学习
使用DAS实现数据库自动扩容和回缩
暂无
相关文章
|
3月前
|
存储 关系型数据库 MySQL
mysql数据库备份与恢复
MySQL数据库的备份与恢复是确保数据安全性和业务连续性的关键操作。
121 4
|
4月前
|
SQL 关系型数据库 MySQL
如何快速在表级别做同构或者异构数据库之间的数据迁移/备份
【8月更文挑战第17天】本文介绍在同构与异构数据库间快速迁移/备份表级数据的方法。同构迁移可利用数据库自带工具(如MySQL的`mysqldump`)或管理软件(如phpMyAdmin);异构迁移则推荐使用ETL工具(如Pentaho Data Integration)或数据库复制工具(如SymmetricDS),亦可通过编程方式实现。实施前需测试以确保数据完整准确,并注意处理兼容性问题。
176 4
|
1月前
|
SQL 关系型数据库 MySQL
体验使用DAS实现数据库SQL优化,完成任务可得羊羔绒加厚坐垫!
本实验介绍如何通过数据库自治服务DAS对RDS MySQL高可用实例进行SQL优化,包含购买RDS实例并创建数据库、数据导入、生成并优化慢SQL、执行优化后的SQL语句等实验步骤。完成任务,即可领取羊羔绒加厚坐垫,限量500个,先到先得。
147 12
|
1月前
|
关系型数据库 MySQL Linux
Linux环境下MySQL数据库自动定时备份实践
数据库备份是确保数据安全的重要措施。在Linux环境下,实现MySQL数据库的自动定时备份可以通过多种方式完成。本文将介绍如何使用`cron`定时任务和`mysqldump`工具来实现MySQL数据库的每日自动备份。
103 3
|
1月前
|
监控 关系型数据库 MySQL
Linux环境下MySQL数据库自动定时备份策略
在Linux环境下,MySQL数据库的自动定时备份是确保数据安全和可靠性的重要措施。通过设置定时任务,我们可以每天自动执行数据库备份,从而减少人为错误和提高数据恢复的效率。本文将详细介绍如何在Linux下实现MySQL数据库的自动定时备份。
46 3
|
2月前
|
存储 定位技术 数据库
介绍一下数据库的备份和恢复策略
【10月更文挑战第21】介绍一下数据库的备份和恢复策略
|
1月前
|
数据库
【赵渝强老师】数据库的备份方式
备份数据库是指将数据库中的数据及相关信息保存起来,以便在系统故障时恢复。备份对象不仅限于数据本身,还包括数据库对象、用户权限等。根据备份策略、类型和模式的不同,可分为整体/部分备份、完全/增量备份、一致/非一致备份。文中还附有相关视频讲解。
|
3月前
|
关系型数据库 MySQL 数据库
Navicat备份数据库
涵盖`Navicat`数据库备份、数据安全及备份策略等主题。文库采用精美主题,提升阅读体验。
48 1
Navicat备份数据库
|
3月前
|
SQL 数据库 数据安全/隐私保护
如何手动备份数据库?
如何手动备份数据库?
138 1
|
4月前
|
SQL 数据库
Microsoft SQL Server 2014如何来备份数据库
Microsoft SQL Server 2014如何来备份数据库
480 3