企业运维训练营之数据库原理与实践—数据库DAS简介和备份上云方案—数据上云(中)

本文涉及的产品
RDS MySQL DuckDB 分析主实例,基础系列 4核8GB
RDS DuckDB + QuickBI 企业套餐,8核32GB + QuickBI 专业版
RDS MySQL DuckDB 分析主实例,集群系列 4核8GB
简介: 企业运维训练营之数据库原理与实践—数据库DAS简介和备份上云方案—数据上云(中)

接上篇:https://developer.aliyun.com/article/1224101?spm=a2c6h.13148508.setting.16.7b3f4f0efVOU75image.png

 

数据订阅支持实时拉取RDS实例的增量日志,让用户通过SDK订阅增量日志,实现数据定制化消费。

 

DTS服务端的日志拉取模块从数据源抓取原始数据,经过解析、过滤、标准化流程,将这些增量数据本地化。该模块通过数据库协议连接并实时拉取远端的增量日志。

数据订阅功能具有高可用性,其原因主要在于以下两点:

 

其一,日志拉取模块及下游SDK通过容灾系统,一旦检测到日志拉取模块出现异常,会在健康服务节点上断点,重启日志拉取模块,保证日志拉取模块的高可用性。

 

其二,DTS支持服务端实现下游SDK消费进程中的高可用性。用户可以同时对一个数据订阅链路启动了多个下游SDK消费进程,服务端会同时向一个下游消费推送增量数据。当某消费进程异常后,服务端会从其他健康下游中选择一个消费进程并推送数据,从而实现了下游消费的高可用性。

 

image.png

 

普通DTS的创建方式是共享型,创建了一个 DTS任务,其资源可能在多个集群上共享。为了更好地服务不同需求的客户,DTS推出了专属集群的概念。在某一地域内,由多台相同规格的虚拟机组成集群,每一个用户都独享专属集群的资源,具有资源独享、稳定性强、高性能、低成本的特点。

 

高性能。与普通的公共集群不同,专属集群用户可将整个集群的资源分配给某一个DTS实例进行使用。能够非常方便得将源库中大批量写入的数据实时同步到目的库,提升DTS实例的同步性能。

 

资源独享和稳定性强。DTS专属集群为客户提供了独立的资源空间,实现了与其他用户DTS实例资源的隔离,不受其他DTS实例的影响。让用户可以自主控制专属集群负载,加强业务稳定性。

 

成本低。相比于公共集群,用户无需额外支付DTS专属集群中的实例费用,只需要支付DTS专属集群的资源费用。

 

image.png

 

DTS支持结构迁移、全量数据迁移和增量数据迁移,可以实现在自建应用不停服的情况下,平滑地完成从自建MySQL数据库的迁移上云。该功能要求创建RDS MySQL实例,并使用符合要求的MySQL实例版本、存储空间等。

 

迁移时需要注意:

 

迁移会占用源和目标的资源,建议用户低峰操作。

 

若源端无主键唯一约束,目的端可能出现重复数据。

 

DTS会自动在RDS创建数据库。

 

失败的任务会自触发自动恢复。

 

在创建之前,源端和目的端都存在数据库账号。DTS连接源端和目的端数据库,对这些账号也有相应的要求。源端数据库以自建MySQL数据库举例,需要具有一定的结构迁移、全量迁移和增量迁移的权限,目的端实例需要具备读写权限。

 

 

在进行迁移时,结构迁移、全量数据迁移和增量数据迁移支持的迁移类型不同。结构迁移支持表、视图、触发器、存储过程等源数据;全量数据迁移支持将存量数据全部迁移到目标库上;增量数据迁移是通过读取源端binlog,将增量更新数据同步到目标数据库。

 

执行增量数据迁移还支持了一些同步DML和DDL操作,包括增、删、改以及对表、视图和索引等的操作。


接下篇:https://developer.aliyun.com/article/1224094?spm=a2c6h.13148508.setting.18.7b3f4f0efVOU75

 

相关文章
|
8月前
|
机器学习/深度学习 运维 监控
别让运维只会“救火”——用数据点燃业务增长的引擎
别让运维只会“救火”——用数据点燃业务增长的引擎
303 12
|
9月前
|
机器学习/深度学习 存储 运维
数据别乱跑!聊聊智能运维如何减少数据丢失风险
数据别乱跑!聊聊智能运维如何减少数据丢失风险
228 4
|
11月前
|
运维 监控 关系型数据库
AI 时代的 MySQL 数据库运维解决方案
本文探讨了大模型与MySQL数据库运维结合所带来的变革,介绍了构建结构化运维知识库、选择合适的大模型、设计Prompt调用策略、开发MCP Server以及建立监控优化闭环等关键步骤。通过将自然语言处理能力与数据库运维相结合,实现了故障智能诊断、SQL自动优化等功能,显著提升了MySQL运维效率和准确性。
990 18
|
11月前
|
运维 算法 机器人
阿里云AnalyticDB具身智能方案:破解机器人仿真数据、算力与运维之困
本文将介绍阿里云瑶池旗下的云原生数据仓库AnalyticDB MySQL推出的全托管云上仿真解决方案,方案采用云原生架构,为开发者提供从开发环境、仿真计算到数据管理的全链路支持。
|
10月前
|
机器学习/深度学习 运维 监控
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
968 0
|
11月前
|
SQL 存储 运维
别让运维数据“各过各的”:聊聊数据湖怎么搭,才能不成“沼泽”
别让运维数据“各过各的”:聊聊数据湖怎么搭,才能不成“沼泽”
391 0
|
9月前
|
运维 监控 机器人
别等出事才救火:实时监控数据才是运维的救命稻草
别等出事才救火:实时监控数据才是运维的救命稻草
267 8
|
11月前
|
运维 监控 关系型数据库
API天天出毛病?不如翻翻运维数据,真相都藏在这儿
API天天出毛病?不如翻翻运维数据,真相都藏在这儿
272 10
|
12月前
|
运维 监控 关系型数据库
AI 时代的 MySQL 数据库运维解决方案
本方案将大模型与MySQL运维深度融合,构建智能诊断、SQL优化与知识更新的自动化系统。通过知识库建设、大模型调用策略、MCP Server开发及监控闭环设计,全面提升数据库运维效率与准确性,实现从人工经验到智能决策的跃迁。
1165 27

热门文章

最新文章