企业运维训练营之数据库原理与实践—数据库DAS简介和备份上云方案—数据上云(上)

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
数据库智能运维 DAS Agent,价值:99元,包含10万个字符
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 企业运维训练营之数据库原理与实践—数据库DAS简介和备份上云方案—数据上云(上)

二、 数据上云

 

image.png

 

数据传输服务(Data Transmission Service,简称DTS)是阿里云提供的实时数据流服务,支持关系型数据库、非关系型数据库,及OLAP分析型数据库等数据源间的数据交互,集数据同步、迁移、订阅、集成、加工于一体。

 

DTS能够让数据可以更好地流通,从线下流通到云上,在云上不同数据库之间流通。其优势主要在于以下几点:

 

第一,方便快捷。DTS提供可视化管理界面,不需要进行黑屏命令或其他复杂的操作,只需要在界面上进行任务的配置和流程安排,就可以创建订阅或同步任务。

 

第二,丰富多样。DTS支持的源库和目标数据库引擎丰富,支持从关系型到非关系型、从关系型到OLAP等跨引擎之间的数据传输。此外,DTS数据传输方式也十分丰富,包括数据迁移、同步、订阅、集成等方式。

 

第三,高性能。DTS采用阿里云自研的高可用架构、高性能的链路,峰值的传输数据速率可达70MB/S。

 

第四,安全可靠。DTS具有容灾、鉴权、断点续传及数据校验功能,能够保证数据的完整性和一致性。

 

image.png

 

DTS系统架构中,用户可以通过DTS控制台配置迁移、同步或订阅任务,并通过内部调度系统匹配不同的应用。例如,迁移任务需要通过迁移系统完成,同步任务需要通过数据同步系统进行。

 

另外,容灾和监控系统将不断监听任务是否正常。如出现异常,DTS将提供另外的高可用方案来保证其正常运行。

 

系统高可用性是指DTS内部每个模块都存在主备架构来保证系统的高可用性,容灾系统会实时检测每个节点的健康状况,一旦发现某个节点存在异常,会快速切换到其他节点。

 

数据源地址动态适配是指对于数据订阅及同步链路,容灾系统会监测数据源连接地址切换等变更操作,一旦发生了数据源连接地址变更,DTS会自动适配数据源新的连接地址。在数据源变更情况下保证链路稳定性,加强高可用性。

 

 

image.png

 

DTS三大功能指DTS数据迁移、数据同步和数据订阅,不同的功能有不同的应用场景。数据迁移一般用于一次性或大批量数据搬迁场景,能够将数据迁移到目标库内。例如,客户将业务从IDC、机房或线下初始化搬迁到云上时可以使用数据迁移。

 

数据迁移过程包含进行数据迁移的某一时间点及迁移过程中的数据,该时间点之前的所有数据为全量的数据迁移,迁移过程中源端数据库写入的数据即增量数据。DTS支持将增量数据迁移到目标库,以保证目标库和源库数据完整一致。

 

数据迁移过程包括结构迁移、全量数据迁移、增量数据迁移三个阶段。

 

结构迁移。DTS将在目标库中重新创建同源库保持一致的数据结构。异构数据库之间进行迁移时,DTS将会解析源库DDL代码,将代码转换成目标库语法,在目标库中创建新的结构对象。

 

全量数据迁移。DTS会将源库的存量数据全部迁移到目标库。源库保持运行状态且迁移过程中仍有数据更新时,DTS会使用增量数据读取模块来获取全量数据迁移过程中发生的数据更新。

 

增量数据迁移。当全量数据迁移完成后,DTS会检查本地存储的增量数据,并重新格式化,将数据更新到目标数据库。持续到所有进行的数据变更都复制到目标数据库,以保证源库和目标库数据完全一致。

 

image.png

 

数据同步是指将源库数据迁移到目标库,为什么需要数据同步?

 

第一,时效性高。数据同步能够将某一时刻中源端实例的数据变化,在短时间同步到目标库中,该功能在容灾或多活场景下应用广泛。

 

第二,数据变化丰富。数据同步可以完成插入数据、删除数据或数据更新的操作。虽然无法完成类似数据迁移的大批量迁移,但其时效或单个数据准确性较高。

 

数据同步包括同步初始化和数据实时同步两个阶段。初始化是将源端数据加载到目标数据库,数据实时同步是将在进行中的数据变更加载到目标库,来保证源端数据库和目标数据库中数据是一致的。

 

数据同步通过事务日志读取模块和事务日志回放模块来完成。

 

事务日志读取模块在源端实例读取原始数据,经过解析、过滤及标准格式化,最终将数据本地化,该模块会通过数据库协议连接并读取源实例的增量日志。

事务日志回放模块从日志读取模块中请求增量数据,根据用户配置的同步对象进行数据过滤。在保证事务时序和一致性的前提下,将日志同步记录到目标实例,保证两端数据一致。


接下篇:https://developer.aliyun.com/article/new/supportservice?spm=a2c6h.12873639.article-detail.5.512b396cr8HGpf&publish=1224099#/?_k=2bd0ue

相关文章
|
3月前
|
运维 监控 关系型数据库
AI 时代的 MySQL 数据库运维解决方案
本文探讨了大模型与MySQL数据库运维结合所带来的变革,介绍了构建结构化运维知识库、选择合适的大模型、设计Prompt调用策略、开发MCP Server以及建立监控优化闭环等关键步骤。通过将自然语言处理能力与数据库运维相结合,实现了故障智能诊断、SQL自动优化等功能,显著提升了MySQL运维效率和准确性。
378 18
|
4月前
|
人工智能 安全 机器人
无代码革命:10分钟打造企业专属数据库查询AI机器人
随着数字化转型加速,企业对高效智能交互解决方案的需求日益增长。阿里云AppFlow推出的AI助手产品,借助创新网页集成技术,助力企业打造专业数据库查询助手。本文详细介绍通过三步流程将AI助手转化为数据库交互工具的核心优势与操作指南,包括全场景适配、智能渲染引擎及零代码配置等三大技术突破。同时提供Web集成与企业微信集成方案,帮助企业实现便捷部署与安全管理,提升内外部用户体验。
483 12
无代码革命:10分钟打造企业专属数据库查询AI机器人
|
6月前
|
关系型数据库 分布式数据库 数据库
一库多能:阿里云PolarDB三大引擎、四种输出形态,覆盖企业数据库全场景
PolarDB是阿里云自研的新一代云原生数据库,提供极致弹性、高性能和海量存储。它包含三个版本:PolarDB-M(兼容MySQL)、PolarDB-PG(兼容PostgreSQL及Oracle语法)和PolarDB-X(分布式数据库)。支持公有云、专有云、DBStack及轻量版等多种形态,满足不同场景需求。2021年,PolarDB-PG与PolarDB-X开源,内核与商业版一致,推动国产数据库生态发展,同时兼容主流国产操作系统与芯片,获得权威安全认证。
|
4月前
|
人工智能 运维 关系型数据库
数据库运维:mysql 数据库迁移方法-mysqldump
本文介绍了MySQL数据库迁移的方法与技巧,重点探讨了数据量大小对迁移方式的影响。对于10GB以下的小型数据库,推荐使用mysqldump进行逻辑导出和source导入;10GB以上可考虑mydumper与myloader工具;100GB以上则建议物理迁移。文中还提供了统计数据库及表空间大小的SQL语句,并讲解了如何使用mysqldump导出存储过程、函数和数据结构。通过结合实际应用场景选择合适的工具与方法,可实现高效的数据迁移。
783 1
|
26天前
|
SQL 人工智能 Linux
SQL Server 2025 RC1 发布 - 从本地到云端的 AI 就绪企业数据库
SQL Server 2025 RC1 发布 - 从本地到云端的 AI 就绪企业数据库
206 5
SQL Server 2025 RC1 发布 - 从本地到云端的 AI 就绪企业数据库
|
6月前
|
存储 关系型数据库 数据挖掘
【瑶池数据库动手活动及话题本周精选(体验ADB、 SelectDB,参与 RDS 迁移训练营)】(4.21-4.27)
本文为 “瑶池数据库动手活动及话题精选” 系列第一期,聚焦 SelectDB 日志分析、AnalyticDB Zero-ETL 集成、RDS 迁移训练营三大实战,设积分、实物等多重奖励,同步开启话题互动。点击链接参与,每周解锁数据库实战新场景。
|
6月前
|
人工智能 运维 关系型数据库
|
3月前
|
机器学习/深度学习 SQL 运维
数据库出问题还靠猜?教你一招用机器学习优化运维,稳得一批!
数据库出问题还靠猜?教你一招用机器学习优化运维,稳得一批!
113 4
|
2月前
|
运维 NoSQL 容灾
告别运维噩梦:手把手教你将自建 MongoDB 平滑迁移至云数据库
程序员为何逃离自建MongoDB?扩容困难、运维复杂、高可用性差成痛点。阿里云MongoDB提供分钟级扩容、自动诊断与高可用保障,助力企业高效运维、降本增效,实现数据库“无感运维”。

热门文章

最新文章

下一篇
oss教程