企业运维训练营之数据库原理与实践—数据库DAS简介和备份上云方案—数据上云(中)

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: 企业运维训练营之数据库原理与实践—数据库DAS简介和备份上云方案—数据上云(中)

接上篇:https://developer.aliyun.com/article/1224101?spm=a2c6h.13148508.setting.16.7b3f4f0efVOU75image.png

 

数据订阅支持实时拉取RDS实例的增量日志,让用户通过SDK订阅增量日志,实现数据定制化消费。

 

DTS服务端的日志拉取模块从数据源抓取原始数据,经过解析、过滤、标准化流程,将这些增量数据本地化。该模块通过数据库协议连接并实时拉取远端的增量日志。

数据订阅功能具有高可用性,其原因主要在于以下两点:

 

其一,日志拉取模块及下游SDK通过容灾系统,一旦检测到日志拉取模块出现异常,会在健康服务节点上断点,重启日志拉取模块,保证日志拉取模块的高可用性。

 

其二,DTS支持服务端实现下游SDK消费进程中的高可用性。用户可以同时对一个数据订阅链路启动了多个下游SDK消费进程,服务端会同时向一个下游消费推送增量数据。当某消费进程异常后,服务端会从其他健康下游中选择一个消费进程并推送数据,从而实现了下游消费的高可用性。

 

image.png

 

普通DTS的创建方式是共享型,创建了一个 DTS任务,其资源可能在多个集群上共享。为了更好地服务不同需求的客户,DTS推出了专属集群的概念。在某一地域内,由多台相同规格的虚拟机组成集群,每一个用户都独享专属集群的资源,具有资源独享、稳定性强、高性能、低成本的特点。

 

高性能。与普通的公共集群不同,专属集群用户可将整个集群的资源分配给某一个DTS实例进行使用。能够非常方便得将源库中大批量写入的数据实时同步到目的库,提升DTS实例的同步性能。

 

资源独享和稳定性强。DTS专属集群为客户提供了独立的资源空间,实现了与其他用户DTS实例资源的隔离,不受其他DTS实例的影响。让用户可以自主控制专属集群负载,加强业务稳定性。

 

成本低。相比于公共集群,用户无需额外支付DTS专属集群中的实例费用,只需要支付DTS专属集群的资源费用。

 

image.png

 

DTS支持结构迁移、全量数据迁移和增量数据迁移,可以实现在自建应用不停服的情况下,平滑地完成从自建MySQL数据库的迁移上云。该功能要求创建RDS MySQL实例,并使用符合要求的MySQL实例版本、存储空间等。

 

迁移时需要注意:

 

迁移会占用源和目标的资源,建议用户低峰操作。

 

若源端无主键唯一约束,目的端可能出现重复数据。

 

DTS会自动在RDS创建数据库。

 

失败的任务会自触发自动恢复。

 

在创建之前,源端和目的端都存在数据库账号。DTS连接源端和目的端数据库,对这些账号也有相应的要求。源端数据库以自建MySQL数据库举例,需要具有一定的结构迁移、全量迁移和增量迁移的权限,目的端实例需要具备读写权限。

 

 

在进行迁移时,结构迁移、全量数据迁移和增量数据迁移支持的迁移类型不同。结构迁移支持表、视图、触发器、存储过程等源数据;全量数据迁移支持将存量数据全部迁移到目标库上;增量数据迁移是通过读取源端binlog,将增量更新数据同步到目标数据库。

 

执行增量数据迁移还支持了一些同步DML和DDL操作,包括增、删、改以及对表、视图和索引等的操作。


接下篇:https://developer.aliyun.com/article/1224094?spm=a2c6h.13148508.setting.18.7b3f4f0efVOU75

 

相关实践学习
使用DAS实现数据库自动扩容和回缩
暂无
相关文章
|
26天前
|
机器学习/深度学习 人工智能 运维
企业内训|LLM大模型在服务器和IT网络运维中的应用-某日企IT运维部门
本课程是为某在华日资企业集团的IT运维部门专门定制开发的企业培训课程,本课程旨在深入探讨大型语言模型(LLM)在服务器及IT网络运维中的应用,结合当前技术趋势与行业需求,帮助学员掌握LLM如何为运维工作赋能。通过系统的理论讲解与实践操作,学员将了解LLM的基本知识、模型架构及其在实际运维场景中的应用,如日志分析、故障诊断、网络安全与性能优化等。
56 2
|
3月前
|
运维 监控 Devops
DevOps文化下的企业运维转型
【8月更文挑战第22天】在数字化转型的浪潮中,DevOps不仅仅是一种技术实践,更是一种企业文化。本文将探讨如何在DevOps文化的引导下,实现企业运维的高效转型,包括理念更新、流程优化和团队协作等方面。我们将一起思考如何打破传统壁垒,构建一个更加灵活、高效和协同的运维体系,以应对不断变化的市场和技术挑战。
55 1
|
11天前
|
弹性计算 运维
新 企业级ECS集群运维管理训练营 打卡学习领好礼
新 企业级ECS集群运维管理训练营 打卡学习领好礼
50 3
|
1月前
|
运维 Prometheus 监控
运维中的自动化实践每月一次的系统维护曾经是许多企业的噩梦。不仅因为停机时间长,更因为手动操作容易出错。然而,随着自动化工具的引入,这一切正在悄然改变。本文将探讨自动化在IT运维中的重要性及其具体应用。
在当今信息技术飞速发展的时代,企业对系统的稳定性和效率要求越来越高。传统的手动运维方式已经无法满足现代企业的需求。自动化技术的引入不仅提高了运维效率,还显著降低了出错风险。本文通过几个实际案例,展示了自动化在IT运维中的具体应用,包括自动化部署、监控告警和故障排除等方面,旨在为读者提供一些实用的参考。
|
2月前
|
运维 Cloud Native Devops
云原生架构的崛起与实践云原生架构是一种通过容器化、微服务和DevOps等技术手段,帮助应用系统实现敏捷部署、弹性扩展和高效运维的技术理念。本文将探讨云原生的概念、核心技术以及其在企业中的应用实践,揭示云原生如何成为现代软件开发和运营的主流方式。##
云原生架构是现代IT领域的一场革命,它依托于容器化、微服务和DevOps等核心技术,旨在解决传统架构在应对复杂业务需求时的不足。通过采用云原生方法,企业可以实现敏捷部署、弹性扩展和高效运维,从而大幅提升开发效率和系统可靠性。本文详细阐述了云原生的核心概念、主要技术和实际应用案例,并探讨了企业在实施云原生过程中的挑战与解决方案。无论是正在转型的传统企业,还是寻求创新的互联网企业,云原生都提供了一条实现高效能、高灵活性和高可靠性的技术路径。 ##
201 3
|
3月前
|
缓存 运维 监控
打造稳定高效的数据引擎:数据库服务器运维最佳实践全解析
打造稳定高效的数据引擎:数据库服务器运维最佳实践全解析
|
2月前
|
运维 监控 安全
高效运维管理:提升企业IT系统稳定性与性能
在当今信息化时代,高效的运维管理对于企业IT系统的稳定性和性能至关重要。本文将探讨如何通过优化运维流程、引入自动化工具和建立完善的监控体系等措施,实现高效运维管理,从而提升企业的核心竞争力。
|
1月前
|
存储 机器学习/深度学习 分布式计算
大数据技术——解锁数据的力量,引领未来趋势
【10月更文挑战第5天】大数据技术——解锁数据的力量,引领未来趋势
|
5天前
|
存储 分布式计算 数据挖掘
数据架构 ODPS 是什么?
数据架构 ODPS 是什么?
50 7
|
5天前
|
存储 分布式计算 大数据
大数据 优化数据读取
【11月更文挑战第4天】
15 2

热门文章

最新文章