企业运维训练营之数据库原理与实践— 数据管理DMS—DMS解决方案(下)

本文涉及的产品
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
日志服务 SLS,月写入数据量 50GB 1个月
简介: 企业运维训练营之数据库原理与实践— 数据管理DMS—DMS解决方案(下)

接上篇:https://developer.aliyun.com/article/new/supportservice?spm=a2c6h.12873639.article-detail.4.23b33c7eblORNL&publish=1225557#/?_k=7a5gloimage.png

 

操作审计是监管政策的要求之一。为了方便快速定位、排查数据库问题、提供审计运作,DMS在操作日志基础上推出了操作审计功能,记录了包括SQL窗口产生的SQL语句列表、工单列表、登录列表及操作日志等信息,审计或管理人员可以随时通过控制台页面或Open API获取审计日志。

 

image.png

 

企业数据开发中,如果上线了低效或有漏洞的SQL,可能会导致数据库故障。传统的SQL审核依赖于人工,效率差且容易出错。

 

DMS提供了一种SQL审核方案,支持对上传的SQL语序进行审核并提出优化建议,避免无索引或不规范SQL。

 

DMS提供了3种系统行为动作,包括必须改进、潜在问题和建议改进。其中,必须改进会阻塞SQL执行,必须进行改进直至通过验证。

 

image.png

 

DMS内置了一些安全规范,如表要有主键、表要有备注、表不能有外键、限制大小写等。

 

DMS提供了潜在问题、建议改进、必须执行等行为动作,前二者执行后页面会弹出优化建议但不会阻塞执行,后者则必须执行。此外,优化建议也可以进行编辑。

 

除支持SQL上传审核,DMS也支持多种类型文件的审核,如代码框架XML文件、SQL文本文件、Trick数据库日志文件等。

 

image.png

 

如图中,开发审核中申请SQL审核不通过,建议改进后执行。

 

image.png

 

数据库DDL操作在数据量较大的情况下会有所阻塞,MySQL5.6版本提供了原生online DDL,覆盖大部分DDL类型,但仍有部分常见的DDL不支持,如修改列类型、修改字符长度等。

 

市面上一些开源工具支持更广泛的DDL类型,但其实现方式依赖于通过触发器实现增量数据同步。

 

Online DDL通过生成新结构临时表同步全量数据,依赖触发器保存增量数据同步到临时表中。通过触发器实现增量数据同步存在一些弊端:

 

触发器本身性能开销较大,实际是将两张表的操作关联到一个事务中。

触发器不能暂停或中断,否则就会出现变更中断或数据丢失问题。

触发器无法灵活控制,存在主备延迟问题。

 

DMS无锁表结构变更通过消费binlog事件,将原表增量变换同步到目标表中。这种方式将原表和目标表解耦,目标表的增量数据并不直接来源于原表。

 

DMS无锁表结构变更可以根据系统负载及主备延迟情况,随时中断或者放慢DDL执行速度。虽然任务执行时间较长,但其影响更小并且更健壮,任务失败只需重试即可。开启了Online DDL的数据在完成DDL操作后,表碎片率会更低。

 

image.png

 

DML执行大批量数据更新时间较长,大事务可能会导致锁表,造成数据库故障。将大批量数据更新拆分成小批量完成,不仅拆分复杂,如果更新操作没有索引,任务执行效率会变差。

 

DMS无锁表数据变更能够自动查找唯一键,根据唯一键分批拆分SQL。拆分成单个事务后,单索引SQL效率提高且不会对线上业务造成很大影响。

 

DMS无锁表数据变更还提供了动态Slip策略,批量执行后系统提供一定的Slip缓冲空间,有效缓解了大事务带来的储备延时问题,也保证主户更加稳定。

 

image.png

 

针对误删数据或错误更新数据的数据恢复问题,传统DBA管理通过数据库先恢复全量数据再恢复增量数据,这种方式成本高且时间较长,且需要数据库本身具有完善的备份方案。

 

DMS提供了一种数据追踪方式,只需要提供误操作的时间以及SQL类型、表信息等,就可以快速从 binlog中按需找到目标时间段内的相关更新,汇总形成逆向回滚数据,将回滚SQL语句在数据库中重新执行即可完成数据恢复。

相关实践学习
MySQL基础-学生管理系统数据库设计
本场景介绍如何使用DMS工具连接RDS,并使用DMS图形化工具创建数据库表。
相关文章
|
3月前
|
关系型数据库 MySQL Java
【IDEA】java后台操作mysql数据库驱动常见错误解决方案
【IDEA】java后台操作mysql数据库驱动常见错误解决方案
121 0
|
3月前
|
数据库
数据库创建之主文件不能容纳副本的解决方案
数据库创建之主文件不能容纳副本的解决方案
40 1
|
5月前
|
运维 数据库 数据库管理
云数据库问题之阿里云在运营商领域数据库替换的整体解决方案要如何实现
云数据库问题之阿里云在运营商领域数据库替换的整体解决方案要如何实现
|
5月前
|
关系型数据库 MySQL 数据库
RDS MySQL灾备服务协同解决方案构建问题之数据库备份数据的云上云下迁移如何解决
RDS MySQL灾备服务协同解决方案构建问题之数据库备份数据的云上云下迁移如何解决
|
2月前
|
运维 监控 关系型数据库
数据库管理中的自动化运维:挑战与解决方案
数据库管理中的自动化运维:挑战与解决方案
|
2月前
|
算法 安全 数据库
数据库死锁的解决方案有哪些?
【10月更文挑战第28天】数据库死锁是数据库管理中的一个常见问题
138 15
|
3月前
|
关系型数据库 MySQL 数据库
一个 MySQL 数据库死锁的案例和解决方案
本文介绍了一个 MySQL 数据库死锁的案例和解决方案。
200 3
|
3月前
|
NoSQL 数据管理 关系型数据库
利用阿里云的尖端数据库解决方案增强游戏数据管理
利用阿里云的尖端数据库解决方案增强游戏数据管理
|
3月前
|
SQL 数据库
SQL-serve数据库不能连接本地服务器的解决方案
SQL-serve数据库不能连接本地服务器的解决方案
361 0
|
6月前
|
运维 数据管理 数据库
数据管理DMS操作报错合集之数据归档时,遇到报错:"DMS获取内容为空,无须备份",该怎么办
阿里云数据管理DMS提供了全面的数据管理、数据库运维、数据安全、数据迁移与同步等功能,助力企业高效、安全地进行数据库管理和运维工作。以下是DMS产品使用合集的详细介绍。

热门文章

最新文章