企业运维训练营之数据库原理与实践—数据库DAS简介和备份上云方案—数据上云(中)

简介: 企业运维训练营之数据库原理与实践—数据库DAS简介和备份上云方案—数据上云(中)

接上篇:https://developer.aliyun.com/article/1224101?spm=a2c6h.13148508.setting.16.7b3f4f0efVOU75image.png

 

数据订阅支持实时拉取RDS实例的增量日志,让用户通过SDK订阅增量日志,实现数据定制化消费。

 

DTS服务端的日志拉取模块从数据源抓取原始数据,经过解析、过滤、标准化流程,将这些增量数据本地化。该模块通过数据库协议连接并实时拉取远端的增量日志。

数据订阅功能具有高可用性,其原因主要在于以下两点:

 

其一,日志拉取模块及下游SDK通过容灾系统,一旦检测到日志拉取模块出现异常,会在健康服务节点上断点,重启日志拉取模块,保证日志拉取模块的高可用性。

 

其二,DTS支持服务端实现下游SDK消费进程中的高可用性。用户可以同时对一个数据订阅链路启动了多个下游SDK消费进程,服务端会同时向一个下游消费推送增量数据。当某消费进程异常后,服务端会从其他健康下游中选择一个消费进程并推送数据,从而实现了下游消费的高可用性。

 

image.png

 

普通DTS的创建方式是共享型,创建了一个 DTS任务,其资源可能在多个集群上共享。为了更好地服务不同需求的客户,DTS推出了专属集群的概念。在某一地域内,由多台相同规格的虚拟机组成集群,每一个用户都独享专属集群的资源,具有资源独享、稳定性强、高性能、低成本的特点。

 

高性能。与普通的公共集群不同,专属集群用户可将整个集群的资源分配给某一个DTS实例进行使用。能够非常方便得将源库中大批量写入的数据实时同步到目的库,提升DTS实例的同步性能。

 

资源独享和稳定性强。DTS专属集群为客户提供了独立的资源空间,实现了与其他用户DTS实例资源的隔离,不受其他DTS实例的影响。让用户可以自主控制专属集群负载,加强业务稳定性。

 

成本低。相比于公共集群,用户无需额外支付DTS专属集群中的实例费用,只需要支付DTS专属集群的资源费用。

 

image.png

 

DTS支持结构迁移、全量数据迁移和增量数据迁移,可以实现在自建应用不停服的情况下,平滑地完成从自建MySQL数据库的迁移上云。该功能要求创建RDS MySQL实例,并使用符合要求的MySQL实例版本、存储空间等。

 

迁移时需要注意:

 

迁移会占用源和目标的资源,建议用户低峰操作。

 

若源端无主键唯一约束,目的端可能出现重复数据。

 

DTS会自动在RDS创建数据库。

 

失败的任务会自触发自动恢复。

 

在创建之前,源端和目的端都存在数据库账号。DTS连接源端和目的端数据库,对这些账号也有相应的要求。源端数据库以自建MySQL数据库举例,需要具有一定的结构迁移、全量迁移和增量迁移的权限,目的端实例需要具备读写权限。

 

 

在进行迁移时,结构迁移、全量数据迁移和增量数据迁移支持的迁移类型不同。结构迁移支持表、视图、触发器、存储过程等源数据;全量数据迁移支持将存量数据全部迁移到目标库上;增量数据迁移是通过读取源端binlog,将增量更新数据同步到目标数据库。

 

执行增量数据迁移还支持了一些同步DML和DDL操作,包括增、删、改以及对表、视图和索引等的操作。


接下篇:https://developer.aliyun.com/article/1224094?spm=a2c6h.13148508.setting.18.7b3f4f0efVOU75

 

相关文章
|
SQL 关系型数据库 数据库
【YashanDB知识库】OM仲裁节点故障后手工切换方案和yasom仲裁重新部署后重新纳管数据库集群方案
本文介绍了主备数据库集群的部署、OM仲裁故障切换及重新纳管的全过程。首先通过解压软件包并调整安装参数完成数据库集群部署,接着说明了在OM仲裁故障时的手动切换方案,包括关闭自动切换开关、登录备节点执行切换命令。最后详细描述了搭建新的yasom仲裁节点以重新纳管数据库集群的步骤,如生成配置文件、初始化进程、执行托管命令等,确保新旧系统无缝衔接,保障数据服务稳定性。
|
存储 关系型数据库 分布式数据库
PolarDB开源数据库进阶课5 在线备份
本文介绍了如何在PolarDB RAC一写多读集群中进行在线备份,特别针对共享存储模式。通过使用`polar_basebackup`工具,可以将实例的本地数据和共享数据备份到本地盘中。实验环境依赖于Docker容器中用loop设备模拟的共享存储。
501 1
|
关系型数据库 MySQL 数据库
MySQL数据库上云迁移
本文介绍了将数据库迁移到RDS for Mysql的两种主要方法:停服迁移和不停服迁移。停服迁移适合可短暂中断服务的场景,通过mysqldump或DTS完成;不停服迁移适用于需保持业务连续性的场景,推荐使用DTS实现结构、全量及增量数据迁移。文中详细列出了每种方法的具体操作步骤,帮助企业根据需求选择合适的迁移方案。
420 1
MySQL数据库上云迁移
|
存储 关系型数据库 MySQL
利用Cron表达式实现MySQL数据库的定时备份
以上就是如何使用Cron表达式和mysqldump命令实现MySQL数据库的定时备份。这种方法的优点是简单易用,而且可以根据需要定制备份的时间和频率。但是,它也有一些限制,例如,它不能备份MySQL服务器的配置文件和用户账户信息,也不能实现增量备份。如果需要更复杂的备份策略,可能需要使用专门的备份工具或服务。
444 15
|
缓存 NoSQL Redis
Redis原理—2.单机数据库的实现
本文概述了Redis数据库的核心结构和操作机制。
Redis原理—2.单机数据库的实现
|
关系型数据库 Shell 网络安全
定期备份数据库:基于 Shell 脚本的自动化方案
本篇文章分享一个简单的 Shell 脚本,用于定期备份 MySQL 数据库,并自动将备份传输到远程服务器,帮助防止数据丢失。
|
消息中间件 缓存 NoSQL
缓存与数据库的一致性方案,Redis与Mysql一致性方案,大厂P8的终极方案(图解+秒懂+史上最全)
缓存与数据库的一致性方案,Redis与Mysql一致性方案,大厂P8的终极方案(图解+秒懂+史上最全)
|
SQL 弹性计算 安全
【上云基础系列04】基于标准架构的数据库升级
本文回顾了业务上云从基础到进阶的理念,涵盖基础版和全栈版架构。在“入门级:上云标准弹性架构基础版”的基础上,本文针对数据库升级,重点介绍了高可用数据库架构的升级方案,确保数据安全和业务连续性。最后,附有详细的“上云标准弹性架构”演进说明,帮助用户选择合适的架构方案。
|
SQL 存储 关系型数据库
【SQL技术】不同数据库引擎 SQL 优化方案剖析
不同数据库系统(MySQL、PostgreSQL、Doris、Hive)的SQL优化策略。存储引擎特点、SQL执行流程及常见操作(如条件查询、排序、聚合函数)的优化方法。针对各数据库,索引使用、分区裁剪、谓词下推等技术,并提供了具体的SQL示例。通用的SQL调优技巧,如避免使用`COUNT(DISTINCT)`、减少小文件问题、慎重使用`SELECT *`等。通过合理选择和应用这些优化策略,可以显著提升数据库查询性能和系统稳定性。
757 9
|
SQL 关系型数据库 MySQL
数据库数据恢复——MySQL简介和数据恢复案例
MySQL数据库数据恢复环境&故障: 本地服务器,安装的windows server操作系统。 操作系统上部署MySQL单实例,引擎类型为innodb,表空间类型为独立表空间。该MySQL数据库没有备份,未开启binlog。 人为误操作,在用Delete命令删除数据时未添加where子句进行筛选导致全表数据被删除,删除后未对该表进行任何操作。