如何实现MongoDB数据的快速迁移？

作为一种 Schema Free 文档数据库，MongoDB 因其灵活的数据模型，支撑业务快速迭代研发，广受开发者欢迎并被广泛使用。在企业使用 MongoDB 承载应用的过程中，会因为业务上云/跨云/下云/跨机房迁移/跨地域迁移、或数据库版本升级、数据库整合、数据库拆分、容灾等业务场景，存在 MongoDB 迁移或同步的业务诉求。
在 MongoDB 迁移的过程中，其迁移时间、迁移数据准确性及迁移过程中业务的停机要求无疑是影响迁移能否成功的关键因素。由此，如何选择合适的迁移工具，提供高效、安全、准确的迁移能力至关重要。
1 传统数据迁移方案
传统的 MongoDB 迁移一般基于 mongodump 及 mongorestore 等导入导出工具进行数据搬迁，使用这种搬迁工具一般存在如下问题：
• 停机时间长：由于 mongodump/mongorestore 不支持增量数据的采集复制，在 MongoDB 迁移期间，要求业务停机，停服时间通常高达数小时/上天，对业务的挑战极大。特别当迁移难度较高时，通常反复多次迁移，业务停服时间更不可控。
• 可靠性不高：不提供迁移过程的观测、诊断与修复能力，迁移过程中出现错误一般需要重新迁移，迁移难度较高。
• 数据准确性难保障：此类工具因不提供对应的质量检测能力，所以迁移的数据质量一般难以保障。
• 大数据量迁移挑战：因其容灾能力不足，不能很好支撑大数据量、大表的迁移。
2 NineData 数据迁移方案
为解决用户面临的 MongoDB 迁移问题，玖章算术旗下的云原生智能数据管理平台 NineData 推出了 MongoDB 业务不停服数据迁移能力。NineData 实现了完全自动化的全量数据迁移，以及增量数据的采集复制能力。其中，增量数据迁移能力，能够在结构迁移及全量数据迁移期间，实时监听采集源 MongoDB 数据变更产生的 oplog，并在完成全量迁移后，将变更数据实时复制到目标 MongoDB，实现源/目标 MongoDB 的动态复制。基于变更数据迁移能力，在 MongoDB 数据迁移过程中，业务可以正常提供服务，无需停服。最终，业务可根据需要选择对应时间点切换到目标 MongoDB，具体流程如下图。
NineData数据迁移方案
除了提供业务不停服的迁移能力外，NineData 提供的 MongoDB 还具有如下能力：
▶︎ 大数据量或大表的迁移能力
基于智能分片、动态攒批、并发迁移、表级断点续传等多种技术能力，提供强劲迁移能力。
▶︎ 数据一致性对比
NineData 提供了 MongoDB 的数据对比能力，能够进行高效的一致性对比，快速识别差异数据，并提供对应的订正脚本，快速订正修复差异内容，有效保障迁移数据质量。
▶︎ 可观测可干预能力
NineData 提供详细的迁移状态、进展及详情信息，当出现迁移异常时，会提供多种诊断修复能力，帮助您保障任务稳定性。同时，提供迁移限流能力，您可根据业务需要，自定义迁移速度，保障 MongoDB 的稳定性。
3 一分钟启动全自动化迁移
虽然提供了比较强大的 MongoDB 迁移能力，但是 NineData 使用起来非常简单，只需要花 1 分钟时间完成任务配置，即可以完全自动化完成数据的迁移及同步过程。下面我们来看下整个任务的配置过程：
3.1 配置复制任务
NineData 配置复制任务
基于上述操作，完成复制数据源、复制对象及复制类型的选择后，即可快速启动 MongoDB 的全自动化迁移。当完成任务启动后，NineData 会自动进行全量数据迁移及增量数据复制。
当数据迁移完成后，也可以配置对应的数据对比进行数据一致性的校验，快速发现、定位并修复差异数据。下面会对刚才迁移的 mongodb 数据进行数据一致性校验。
3.2 全量数据对比
NineData全量数据对比
如图片所示，针对刚才迁移的 MongoDB 数据可以通过配置运行数据对比任务，进行精准、完整的数据对比。数据对比过程中，NineData 会对每个 Document 的内容进行精准对比，并快速发现差异内容，并针对性提供订正脚本。
至此，当数据迁移完成、数据校验及业务验证通过后，业务可以选择一个低峰期进行 MongoDB 的停机切换，切换到新的数据库，至此完成整个迁移过程。
04 写在最后
当然，除了 MongoDB 迁移外，NineData 支持 MongoDB 实例间的长期复制，可应用于数据容灾、读写分离、测试数据构建等业务场景。同时，NineData 也已支持数十种常见数据库的迁移复制。NineData 提供即开即用的 SAAS 模式，及企业专属集群模式，满足企业最高的数据安全合规要求。当前，NineData 已在运营商、金融、制造业、地产、电商等多个行业完成大规模应用实践。如果您感兴趣的话，可以登录官网https://www.ninedata.cloud/dbmigration，立即开始免费使用。