MySQL篇(三)MySQL数据实时增量迁移方案

本文涉及的产品
RDS AI 助手,专业版
RDS MySQL DuckDB 分析主实例,集群系列 4核8GB
简介: MySQL数据实时增量迁移方案。

大家好,我是小盒子。上次推文:MySQL篇(二)MySQL数据迁移、热备份及冷还原通过实践详细阐述了MySQL数据迁移及热备份方式。

今天的主题:MySQL篇(三):MySQL数据增量迁移方案。

一、前言

前面我们盘点了一些MySQL数据迁移方案方案,但是它的备份都是一次性的,虽然XtraBackup有增量备份,但是都无法做到实时增量,对应有些零级项目来说,我们需要零停机在线迁移数据库。这几天发现了一个小工具叫DBMotion,可以实现零停机在线迁移数据。

二、DBMotion概述

Squids DBMotion是一款数据库迁移/同步/订阅工具,支持迁移预检查,支持全量、增量的数据同步,支持对象和数据的校验。DBMotion致力于数据库的丝滑迁移,也可用于数据库容灾或多活场景,采用异步多线程模式,目前支持MySQL to MySQL、MongoDB to MongoDB、MySQL to ClickHouse的迁移,并在增加更多数据库的支持。支持本地化部署,默认社区办有5个免费新建任务。

如何零停机在线迁移数据库?

来自https://squids.cn/官网

DBMotion的主要特性:

  • 简单易用:用户仅需提供源端/目标信息,点击鼠标即可完成结构,数据,增量,校验全流程操作。
  • 并发高性能:全量,增量,校验过程均采用多线程模式处理,提升并行性能。
  • 零停机:采用后台初始化全量+实时增量捕获并应用模式,将整个迁移割接过程缩短至秒级,实现零停机业务切换。
  • 端到端加密:整个迁移传输链路端到端加密,保证公网数据安全。

三、下载DBMotion

官网下载docker-compose文件,如下:

https://squids.cn/product/dbmotion

其内容如下:

version: '3.0'
services:
  dts-mysql:
    image: mysql:latest
    container_name: dts-mysql
    environment:
      MYSQL_ROOT_PASSWORD: dbmotion
    command: ['mysqld', '--character-set-server=utf8mb4', '--collation-server=utf8mb4_unicode_ci', --default-time-zone=UTC]
  dts-api-server:
    image: squids/dbmotion-community:latest
    container_name: dts-api-server
    environment:
      - SERVER_MODE=DOCKER
      - MYSQL_URI=root:dbmotion@(dts-mysql)/dbmotion
    depends_on:
      - dts-mysql
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
      - /var/dbmotion:/dbmotion/log
    privileged: true
  dts-ui:
    image: squids/dbmotion-ui-community:latest
    container_name: dts-ui
    ports:
      - "30000:80"
    depends_on:
      - dts-mysql
      - dts-api-server

采用自定义网关,增加以下内容:

networks:
      - pkulaw_net
networks:
  pkulaw_net:
    external: true

自定义网络:

docker network create --driver bridge --subnet 10.128.0.0/16 --gateway 10.128.0.1 pkulaw_net

部署:

docker-compose -f docker-compose.yaml up -d

四、DBMotion实战

4.1 访问测试

浏览器访问http://192.168.10.128:30000/,如下图所示:

4.2 添加任务

4.3 选择要迁移的数据库

会自动检查数据库的设置、权限等。

4.4 创建任务,开始迁移

状态是Finished,表示已经迁移完成,但是任务并没有结束,因为勾选了增量同步。只有结束增量同步,该任务才会结束。

五、总结

经过实践DBMotion可以支持迁移预检查,这个是比较友好的,可以对比源端和目标端的数据库差异配置,支持全量、增量的数据同步。

#往期精彩内容#

1、MySQL篇(二)MySQL数据迁移、热备份及冷还原

2、MySQL篇(一)MySQL InnoDB Cluster集群搭建

3、Elasticsearch篇(一):ES 的分片平衡问题

4、二进制部署etcd集群(企业级)

5、Infinispan篇(三):如何对生产的Infinispan进行调优?


相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
相关文章
|
4月前
|
关系型数据库 MySQL 数据库
自建数据库如何迁移至RDS MySQL实例
数据库迁移是一项复杂且耗时的工程,需考虑数据安全、完整性及业务中断影响。使用阿里云数据传输服务DTS,可快速、平滑完成迁移任务,将应用停机时间降至分钟级。您还可通过全量备份自建数据库并恢复至RDS MySQL实例,实现间接迁移上云。
|
4月前
|
运维 监控 关系型数据库
MySQL高可用方案:MHA与Galera Cluster对比
本文深入对比了MySQL高可用方案MHA与Galera Cluster的架构原理及适用场景。MHA适用于读写分离、集中写入的场景,具备高效写性能与简单运维优势;而Galera Cluster提供强一致性与多主写入能力,适合对数据一致性要求严格的业务。通过架构对比、性能分析及运维复杂度评估,帮助读者根据自身业务需求选择最合适的高可用方案。
|
5月前
|
存储 运维 关系型数据库
从MySQL到云数据库,数据库迁移真的有必要吗?
本文探讨了企业在业务增长背景下,是否应从 MySQL 迁移至云数据库的决策问题。分析了 MySQL 的优势与瓶颈,对比了云数据库在存储计算分离、自动化运维、多负载支持等方面的优势,并提出判断迁移必要性的五个关键问题及实施路径,帮助企业理性决策并落地迁移方案。
|
6月前
|
SQL 人工智能 关系型数据库
如何实现MySQL百万级数据的查询?
本文探讨了在MySQL中对百万级数据进行排序分页查询的优化策略。面对五百万条数据,传统的浅分页和深分页查询效率较低,尤其深分页因偏移量大导致性能显著下降。通过为排序字段添加索引、使用联合索引、手动回表等方法,有效提升了查询速度。最终建议根据业务需求选择合适方案:浅分页可加单列索引,深分页推荐联合索引或子查询优化,同时结合前端传递最后一条数据ID的方式实现高效翻页。
369 0
|
5月前
|
存储 关系型数据库 MySQL
修复.net Framework4.x连接MYSQL时遇到utf8mb3字符集不支持错误方案。
通过上述步骤大多数情况下能够解决由于UTF-encoding相关错误所带来影响,在实施过程当中要注意备份重要信息以防止意外发生造成无法挽回损失,并且逐一排查确认具体原因以采取针对性措施解除障碍。
341 12
|
5月前
|
存储 关系型数据库 MySQL
在CentOS 8.x上安装Percona Xtrabackup工具备份MySQL数据步骤。
以上就是在CentOS8.x上通过Perconaxtabbackup工具对Mysql进行高效率、高可靠性、无锁定影响地实现在线快速全量及增加式数据库资料保存与恢复流程。通过以上流程可以有效地将Mysql相关资料按需求完成定期或不定期地保存与灾难恢复需求。
485 10
|
6月前
|
SQL 关系型数据库 MySQL
解决MySQL "ONLY_FULL_GROUP_BY" 错误的方案
在实际操作中,应优先考虑修正查询,使之符合 `ONLY_FULL_GROUP_BY`模式的要求,从而既保持了查询的准确性,也避免了潜在的不一致和难以预测的结果。只有在完全理解查询的业务逻辑及其后果,并且需要临时解决问题的情况下,才选择修改SQL模式或使用 `ANY_VALUE()`等方法作为短期解决方案。
826 8
|
5月前
|
监控 NoSQL 关系型数据库
保障Redis与MySQL数据一致性的强化方案
在设计时,需要充分考虑到业务场景和系统复杂度,避免为了追求一致性而过度牺牲系统性能。保持简洁但有效的策略往往比采取过于复杂的方案更加实际。同时,各种方案都需要在实际业务场景中经过慎重评估和充分测试才可以投入生产环境。
335 0
|
6月前
|
SQL 存储 缓存
MySQL 如何高效可靠处理持久化数据
本文详细解析了 MySQL 的 SQL 执行流程、crash-safe 机制及性能优化策略。内容涵盖连接器、分析器、优化器、执行器与存储引擎的工作原理,深入探讨 redolog 与 binlog 的两阶段提交机制,并分析日志策略、组提交、脏页刷盘等关键性能优化手段,帮助提升数据库稳定性与执行效率。
177 0
|
分布式计算 关系型数据库 MySQL
E-Mapreduce如何处理RDS的数据
目前网站的一些业务数据存在了数据库中,这些数据往往需要做进一步的分析,如:需要跟一些日志数据关联分析,或者需要进行一些如机器学习的分析。在阿里云上,目前E-Mapreduce可以满足这类进一步分析的需求。
5109 0

推荐镜像

更多