企业运维训练营之数据库原理与实践—数据库DAS简介和备份上云方案—数据上云(中)

简介: 企业运维训练营之数据库原理与实践—数据库DAS简介和备份上云方案—数据上云(中)

接上篇:https://developer.aliyun.com/article/1224101?spm=a2c6h.13148508.setting.16.7b3f4f0efVOU75image.png

 

数据订阅支持实时拉取RDS实例的增量日志,让用户通过SDK订阅增量日志,实现数据定制化消费。

 

DTS服务端的日志拉取模块从数据源抓取原始数据,经过解析、过滤、标准化流程,将这些增量数据本地化。该模块通过数据库协议连接并实时拉取远端的增量日志。

数据订阅功能具有高可用性,其原因主要在于以下两点:

 

• 其一,日志拉取模块及下游SDK通过容灾系统,一旦检测到日志拉取模块出现异常,会在健康服务节点上断点,重启日志拉取模块,保证日志拉取模块的高可用性。

 

• 其二,DTS支持服务端实现下游SDK消费进程中的高可用性。用户可以同时对一个数据订阅链路启动了多个下游SDK消费进程,服务端会同时向一个下游消费推送增量数据。当某消费进程异常后,服务端会从其他健康下游中选择一个消费进程并推送数据,从而实现了下游消费的高可用性。

 

image.png

 

普通DTS的创建方式是共享型,创建了一个 DTS任务,其资源可能在多个集群上共享。为了更好地服务不同需求的客户,DTS推出了专属集群的概念。在某一地域内,由多台相同规格的虚拟机组成集群,每一个用户都独享专属集群的资源,具有资源独享、稳定性强、高性能、低成本的特点。

 

高性能。与普通的公共集群不同,专属集群用户可将整个集群的资源分配给某一个DTS实例进行使用。能够非常方便得将源库中大批量写入的数据实时同步到目的库,提升DTS实例的同步性能。

 

资源独享和稳定性强。DTS专属集群为客户提供了独立的资源空间,实现了与其他用户DTS实例资源的隔离,不受其他DTS实例的影响。让用户可以自主控制专属集群负载,加强业务稳定性。

 

成本低。相比于公共集群,用户无需额外支付DTS专属集群中的实例费用,只需要支付DTS专属集群的资源费用。

 

image.png

 

DTS支持结构迁移、全量数据迁移和增量数据迁移,可以实现在自建应用不停服的情况下,平滑地完成从自建MySQL数据库的迁移上云。该功能要求创建RDS MySQL实例,并使用符合要求的MySQL实例版本、存储空间等。

 

迁移时需要注意:

 

• 迁移会占用源和目标的资源,建议用户低峰操作。

 

• 若源端无主键唯一约束,目的端可能出现重复数据。

 

• DTS会自动在RDS创建数据库。

 

• 失败的任务会自触发自动恢复。

 

在创建之前,源端和目的端都存在数据库账号。DTS连接源端和目的端数据库,对这些账号也有相应的要求。源端数据库以自建MySQL数据库举例,需要具有一定的结构迁移、全量迁移和增量迁移的权限,目的端实例需要具备读写权限。

 

 

在进行迁移时,结构迁移、全量数据迁移和增量数据迁移支持的迁移类型不同。结构迁移支持表、视图、触发器、存储过程等源数据;全量数据迁移支持将存量数据全部迁移到目标库上;增量数据迁移是通过读取源端binlog,将增量更新数据同步到目标数据库。

 

执行增量数据迁移还支持了一些同步DML和DDL操作,包括增、删、改以及对表、视图和索引等的操作。


接下篇:https://developer.aliyun.com/article/1224094?spm=a2c6h.13148508.setting.18.7b3f4f0efVOU75

 

相关文章
|
12月前
|
存储 人工智能 运维
日志服务&云监控全新发布,共筑企业智能运维新范式
阿里云推出Operation Intelligence新范式,通过日志服务SLS与云监控2.0,实现从感知、认知到行动闭环,推动运维迈向自决策时代。
830 1
日志服务&云监控全新发布,共筑企业智能运维新范式
|
12月前
|
机器学习/深度学习 运维 监控
别让运维只会“救火”——用数据点燃业务增长的引擎
别让运维只会“救火”——用数据点燃业务增长的引擎
394 12
|
机器学习/深度学习 存储 运维
数据别乱跑!聊聊智能运维如何减少数据丢失风险
数据别乱跑!聊聊智能运维如何减少数据丢失风险
304 4
|
传感器 边缘计算 运维
AR 虚实叠加技术在工业设备运维中的实现流程方案
AR技术通过虚实信息融合,实现工业设备参数可视化、故障立体化、操作直观化,提升运维效率与精度。结合物联网与数字孪生,打造智能运维新范式。
|
机器学习/深度学习 运维 监控
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
1215 0
|
12月前
|
运维 Prometheus 监控
别再“亡羊补牢”了!——聊聊如何优化企业的IT运维监控架构
别再“亡羊补牢”了!——聊聊如何优化企业的IT运维监控架构
452 8
|
运维 监控 机器人
别等出事才救火:实时监控数据才是运维的救命稻草
别等出事才救火:实时监控数据才是运维的救命稻草
314 8
|
存储 人工智能 运维
从“看得见”到“能决策”:Operation Intelligence 重构企业智能运维新范式
从 Observability 到 Operation Intelligence,日志服务 SLS 与云监控 2.0 协力之下,为企业打造高效、稳定、智能运营的数字化中枢,让复杂系统变得可视、可管、可优。
|
运维 Linux 网络安全
自动化真能省钱?聊聊运维自动化如何帮企业优化IT成本
自动化真能省钱?聊聊运维自动化如何帮企业优化IT成本
368 4

热门文章

最新文章