开发者社区> serana_cai> 正文

数据传输DTS新功能发布—MongoDB不停机迁移

简介: 为了降低MongoDB迁移门槛,DTS于8月份正式上线MongoDB不停机迁移,实现在MongoDB迁移过程中,源数据库正常提供服务,最大程度降低应用的停机时间。
+关注继续查看

背景

随着MongoDB的普及,使用MongoDB的用户越来越多。在使用MongoDB的过程中,可能会因为上云、扩容、拆分等业务需求,需要进行 MongoDB的数据迁移。MongoDB官方提供了迁移工具mongodump/mongorestore,然而这个工具只能进行全量导入导出,为了保证迁移数据一致性,它要求数据迁移过程中,源MongoDB上的应用程序需要停机。所以,这种迁移方式对业务影响极大。为了降低MongoDB迁移门槛,DTS于8月份正式上线MongoDB不停机迁移,实现在MongoDB迁移过程中,源数据库正常提供服务,最大程度降低应用的停机时间。

本文主要介绍不停机迁移设计原理及MongoDB不停机迁移使用流程:

不停机迁移设计原理
MongoDB不停机迁移功能列表
MongoDB不停机迁移使用方式
小结

不停机迁移设计原理

__MongoDB

如上图所示,不停机迁移过程包括:

(1) 全量数据迁移,全量数据迁移会将源实例中的存量数据迁移到目标实例
(2) 增量数据迁移,增量数据迁移将迁移过程中,源实例产生的增量数据同步到目标实例

在迁移任务启动后,DTS即启动全量数据迁移及增量数据拉取及解析模块。增量数据拉取模块会实时获取源实例在全量数据迁移过程中产生的增量数据,并通过解析、封装后存储在DTS存储系统中。
当全量数据迁移完成后,DTS启动增量数据回放模块,增量数据回放模块从DTS存储系统中获取源实例产生的增量数据,同步解析、过滤、封装后同步到目标实例中。
增量数据迁移是个动态同步的过程,任务不会自动结束,所以建议在增量数据迁移达到无延迟后,即在目标实例进行业务测试,业务测试通过后,源库业务停写,然后等增量数据完全追平后,将业务切换到目标实例。由此可见,数据迁移过程中,业务停机时间,从业务停写,增量数据完全追平到业务切换到目标实例的时间,整个停机时间可以降低分钟级别。

MongoDB不停机迁移功能列表

支持实例类型

(1) 支持 自建MongoDB 到 云MongoDB实例 不停机迁移
(2) 支持 云MongoDB实例 到 云 MongoDB实例 不停机迁移

支持操作类型

(1) 支持 document 新增、删除、更新操作的同步
(2) 支持 collection 新增、删除操作的同步
(3) 支持 database 新增、删除操作的同步

MongoDB不停机迁移使用方式

本小节以用户自建MongoDB到云MongoDB实例的迁移为例,简单介绍,MongoDB不停机迁移的DTS数据迁移任务配置流程。

MongoDB连接信息配置

MongoDB___1

在这个步骤中,主要配置迁移任务名称,源MongoDB实例连接信息及目标MongoDB实例连接信息。

迁移类型及迁移对象选择

MongoDB___2

在这个步骤中,配置迁移类型及迁移对象。进行不停机迁移时,迁移类型需要配置:全量数据迁移+增量数据迁移

预检查

当上面的信息全部配置完,即可进行启动前的预检查。当预检查通过后,即可成功启动迁移任务。

当任务进入增量数据迁移阶段时,云MongoDB跟源自建MongoDB实例之间会保持数据实时同步,即自建MongoDB的更新数据都会被同步到目标云MongoDB实例。此时迁移任务不会自动结束,建议当增量数据迁移无延迟时,在云MongoDB实例上进行业务验证,如果业务验证通过后,可将业务切换到目标云MongoDB实例。

至此,完成MongoDB实例不停机迁移的任务配置。

小结

数据传输DTS致力于为用户提供关系型数据库、NoSQL及OLAP等数据源之间的数据迁移同步服务。DTS提供的MongoDB不停机迁移,可以实现在MongoDB数据迁移过程中,依赖其的应用程序停机时间降低到分钟级别。

相关链接

MongoDB不停机迁移
MySQL不停机迁移
SQLServer不停机迁移
DTS典型应用场景

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
心动《另一个伊甸》从Amazon DynamoDB迁移MongoDB
阿里云MongoDB提供了很好的保障和性能,使我们的业务成本有了明显的下降
176 0
不遂人愿的“乌托邦式”迁移上云 | 独家专访 MongoDB CTO
“借助 MongoDB,你可以很自然地用自己的语言编程,无需再借助极为复杂的 SQL 转换层。我认为,这是过去十年来数据库技术领域规模最大、最重要的一次转变。”
77 0
2020实战复盘:如何从0到1搭建数据传输平台产品DTS?(二)
2020实战复盘:如何从0到1搭建数据传输平台产品DTS?(二)
257 0
2020实战复盘:如何从0到1搭建数据传输平台产品DTS?(二)
2020实战复盘:如何从0到1搭建数据传输平台产品DTS?(二)
321 0
从MongoDB迁移到Elasticsearch后,我们减少了80%的服务器
本文介绍“为什么要从MongoDB迁移到Elasticsearch?”以及“如何从MongoDB迁移到Elasticsearch?”。
17497 0
利用DTS数据传输服务进行数据库迁移的方法汇总
最近在搞数据库迁移,顺便汇总了一下各种数据库迁移的做法。其中最主要用到的是阿里云的DTS数据传输服务产品:一种将用户的MySQL、SQLServer、Redis、Mongodb从一个地方或账号迁移到另一个地方或账号的迁移工具(仅支持数据库的迁移)。
2585 0
DTS数据传输,帮你轻松迈出上云第一步
由于云的便利性及高可靠等特性,越来越多的企业客户选择上云。大家上云遇到的第一个问题就是如何在业务不受影响的情况下,平滑得完成业务的上云迁移。在上云过程中,数据迁移无疑是重中之重。阿里云数据传输服务DTS提供的不停服数据迁移能力,能够在源数据库正常提供服务的情况下,平滑得完成业务的上云迁移。
7873 0
阿里云DTS大幅降价,低至400元即可获得实现秒级延迟的数据传输服务
为了释放更多技术红利,进一步普惠广大客户和开发者,阿里云7月上旬宣布数据传输服务(Data Transmission Service,简称DTS) 数据同步功能降价,最高降价幅度高达40%。中国大陆,最低单价低至400元/月,跨境专线同步,最低单价低至1590元/月。
2937 0
解读数据传输DTS技术架构及最佳实践
在阿里云数据库技术峰会上,阿里巴巴高级技术专家付大超(千震)针对于云计算时代最好的数据传输产品阿里云DTS的架构设计、基本原理以及相关的应用场景进行了精彩分享。帮助大家了解了阿里是如何实现异地多活和异构多活的,以及通过DTS轻松实现迁移、双同同步、容灾、订阅的真实案例。
12865 0
+关注
serana_cai
test
文章
问答
视频
文章排行榜
最热
最新
相关电子书
更多
Data as a Service - 数据即服务 -- MongoDB⾼级应⽤模式
立即下载
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
相关实验场景
更多
相关镜像