企业运维训练营之数据库原理与实践— 数据管理DMS—DMS解决方案(下)

简介: 企业运维训练营之数据库原理与实践— 数据管理DMS—DMS解决方案(下)

接上篇:https://developer.aliyun.com/article/new/supportservice?spm=a2c6h.12873639.article-detail.4.23b33c7eblORNL&publish=1225557#/?_k=7a5gloimage.png

 

操作审计是监管政策的要求之一。为了方便快速定位、排查数据库问题、提供审计运作,DMS在操作日志基础上推出了操作审计功能,记录了包括SQL窗口产生的SQL语句列表、工单列表、登录列表及操作日志等信息,审计或管理人员可以随时通过控制台页面或Open API获取审计日志。

 

image.png

 

企业数据开发中,如果上线了低效或有漏洞的SQL,可能会导致数据库故障。传统的SQL审核依赖于人工,效率差且容易出错。

 

DMS提供了一种SQL审核方案,支持对上传的SQL语序进行审核并提出优化建议,避免无索引或不规范SQL。

 

DMS提供了3种系统行为动作,包括必须改进、潜在问题和建议改进。其中,必须改进会阻塞SQL执行,必须进行改进直至通过验证。

 

image.png

 

DMS内置了一些安全规范,如表要有主键、表要有备注、表不能有外键、限制大小写等。

 

DMS提供了潜在问题、建议改进、必须执行等行为动作,前二者执行后页面会弹出优化建议但不会阻塞执行,后者则必须执行。此外,优化建议也可以进行编辑。

 

除支持SQL上传审核,DMS也支持多种类型文件的审核,如代码框架XML文件、SQL文本文件、Trick数据库日志文件等。

 

image.png

 

如图中,开发审核中申请SQL审核不通过,建议改进后执行。

 

image.png

 

数据库DDL操作在数据量较大的情况下会有所阻塞,MySQL5.6版本提供了原生online DDL,覆盖大部分DDL类型,但仍有部分常见的DDL不支持,如修改列类型、修改字符长度等。

 

市面上一些开源工具支持更广泛的DDL类型,但其实现方式依赖于通过触发器实现增量数据同步。

 

Online DDL通过生成新结构临时表同步全量数据,依赖触发器保存增量数据同步到临时表中。通过触发器实现增量数据同步存在一些弊端:

 

触发器本身性能开销较大,实际是将两张表的操作关联到一个事务中。

触发器不能暂停或中断,否则就会出现变更中断或数据丢失问题。

触发器无法灵活控制,存在主备延迟问题。

 

DMS无锁表结构变更通过消费binlog事件,将原表增量变换同步到目标表中。这种方式将原表和目标表解耦,目标表的增量数据并不直接来源于原表。

 

DMS无锁表结构变更可以根据系统负载及主备延迟情况,随时中断或者放慢DDL执行速度。虽然任务执行时间较长,但其影响更小并且更健壮,任务失败只需重试即可。开启了Online DDL的数据在完成DDL操作后,表碎片率会更低。

 

image.png

 

DML执行大批量数据更新时间较长,大事务可能会导致锁表,造成数据库故障。将大批量数据更新拆分成小批量完成,不仅拆分复杂,如果更新操作没有索引,任务执行效率会变差。

 

DMS无锁表数据变更能够自动查找唯一键,根据唯一键分批拆分SQL。拆分成单个事务后,单索引SQL效率提高且不会对线上业务造成很大影响。

 

DMS无锁表数据变更还提供了动态Slip策略,批量执行后系统提供一定的Slip缓冲空间,有效缓解了大事务带来的储备延时问题,也保证主户更加稳定。

 

image.png

 

针对误删数据或错误更新数据的数据恢复问题,传统DBA管理通过数据库先恢复全量数据再恢复增量数据,这种方式成本高且时间较长,且需要数据库本身具有完善的备份方案。

 

DMS提供了一种数据追踪方式,只需要提供误操作的时间以及SQL类型、表信息等,就可以快速从 binlog中按需找到目标时间段内的相关更新,汇总形成逆向回滚数据,将回滚SQL语句在数据库中重新执行即可完成数据恢复。

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
相关文章
|
7月前
|
运维 NoSQL 容灾
告别运维噩梦:手把手教你将自建 MongoDB 平滑迁移至云数据库
程序员为何逃离自建MongoDB?扩容困难、运维复杂、高可用性差成痛点。阿里云MongoDB提供分钟级扩容、自动诊断与高可用保障,助力企业高效运维、降本增效,实现数据库“无感运维”。
|
运维 Cloud Native 数据管理
云原生数据库:下一代数据管理的趋势与挑战
【9月更文挑战第4天】云原生数据库作为下一代数据管理的趋势,正以其独特的优势引领着数据管理领域的变革。然而,在快速发展的同时,云原生数据库也面临着诸多挑战。未来,随着技术的不断进步和市场的不断成熟,云原生数据库将不断优化和完善,为企业数字化转型提供更加高效、安全、灵活的数据管理服务。同时,我们也需要关注并解决其面临的挑战,推动云原生数据库技术的健康发展。
|
人工智能 Cloud Native 多模数据库
实力见证!数据管理服务DMS、云原生多模数据库Lindorm荣获“2024技术卓越奖”
实力见证!数据管理服务DMS、云原生多模数据库Lindorm荣获“2024技术卓越奖”
318 1
|
数据管理 关系型数据库 MySQL
数据管理服务DMS支持MySQL数据库的无锁结构变更
本文介绍了使用Sysbench准备2000万数据并进行全表字段更新的操作。通过DMS的无锁变更功能,可在不锁定表的情况下完成结构修改,避免了传统方法中可能产生的锁等待问题。具体步骤包括:准备数据、提交审批、执行变更及检查表结构,确保变更过程高效且不影响业务运行。
1222 2
|
12月前
|
存储 SQL 关系型数据库
从 MySQL 到时序数据库 TDengine:Zendure 如何实现高效储能数据管理?
TDengine 助力广州疆海科技有限公司高效完成储能业务的数据分析任务,轻松应对海量功率、电能及输入输出数据的实时统计与分析,并以接近 1 : 20 的数据文件压缩率大幅降低存储成本。此外,taosX 强大的 transform 功能帮助用户完成原始数据的清洗和结构优化,而其零代码迁移能力更实现了历史数据从 TDengine OSS 与 MySQL 到 TDengine 企业版的平滑迁移,全面提升了企业的数据管理效率。本文将详细解读这一实践案例。
424 0
|
SQL 存储 运维
从建模到运维:联犀如何完美融入时序数据库 TDengine 实现物联网数据流畅管理
本篇文章是“2024,我想和 TDengine 谈谈”征文活动的三等奖作品。文章从一个具体的业务场景出发,分析了企业在面对海量时序数据时的挑战,并提出了利用 TDengine 高效处理和存储数据的方法,帮助企业解决在数据采集、存储、分析等方面的痛点。通过这篇文章,作者不仅展示了自己对数据处理技术的理解,还进一步阐释了时序数据库在行业中的潜力与应用价值,为读者提供了很多实际的操作思路和技术选型的参考。
461 1
|
关系型数据库 分布式数据库 数据库
云栖大会|从数据到决策:AI时代数据库如何实现高效数据管理?
在2024云栖大会「海量数据的高效存储与管理」专场,阿里云瑶池讲师团携手AMD、FunPlus、太美医疗科技、中石化、平安科技以及小赢科技、迅雷集团的资深技术专家深入分享了阿里云在OLTP方向的最新技术进展和行业最佳实践。
|
数据采集 人工智能 数据管理
数据管理进化论:DMS助力企业实现智能Data Mesh
Gartner分析师认为Data Mesh对企业提升数据价值交付效率具有重要意义,阿里云数据管理服务DMS给出了对于Data Mesh的核心思考,包括企业什么时候应该考虑实施Data Mesh,如何解决业务团队素养和意愿问题。结合这些思考,DMS提出了企业可行的落地策略,即企业应以数据价值不断提升为导向,基于元数据驱动的Fabric、AI等能力实现智能Data Mesh,最终形成分布式和集中化的动态平衡,以达到企业数据驱动的最佳状态。
2010 6
数据管理进化论:DMS助力企业实现智能Data Mesh
|
运维 监控 Cloud Native
云原生之运维监控实践:使用 taosKeeper 与 TDinsight 实现对 时序数据库TDengine 服务的监测告警
在数字化转型的过程中,监控与告警功能的优化对保障系统的稳定运行至关重要。本篇文章是“2024,我想和 TDengine 谈谈”征文活动的三等奖作品之一,详细介绍了如何利用 TDengine、taosKeeper 和 TDinsight 实现对 TDengine 服务的状态监控与告警功能。作者通过容器化安装 TDengine 和 Grafana,演示了如何配置 Grafana 数据源、导入 TDinsight 仪表板、以及如何设置告警规则和通知策略。欢迎大家阅读。
453 0
|
运维 关系型数据库 MySQL
运维|MySQL 数据库被黑,心力交瘁
前一阵有一个测试用的 MySQL 数据库被黑了,删库勒索的那种,这里记录一下事情经过,给自己也敲个警钟。
243 2

热门文章

最新文章