MySQL篇(三)MySQL数据实时增量迁移方案

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群版 2核4GB 100GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: MySQL数据实时增量迁移方案。

大家好,我是小盒子。上次推文:MySQL篇(二)MySQL数据迁移、热备份及冷还原通过实践详细阐述了MySQL数据迁移及热备份方式。

今天的主题:MySQL篇(三):MySQL数据增量迁移方案。

一、前言

前面我们盘点了一些MySQL数据迁移方案方案,但是它的备份都是一次性的,虽然XtraBackup有增量备份,但是都无法做到实时增量,对应有些零级项目来说,我们需要零停机在线迁移数据库。这几天发现了一个小工具叫DBMotion,可以实现零停机在线迁移数据。

二、DBMotion概述

Squids DBMotion是一款数据库迁移/同步/订阅工具,支持迁移预检查,支持全量、增量的数据同步,支持对象和数据的校验。DBMotion致力于数据库的丝滑迁移,也可用于数据库容灾或多活场景,采用异步多线程模式,目前支持MySQL to MySQL、MongoDB to MongoDB、MySQL to ClickHouse的迁移,并在增加更多数据库的支持。支持本地化部署,默认社区办有5个免费新建任务。

如何零停机在线迁移数据库?

来自https://squids.cn/官网

DBMotion的主要特性:

  • 简单易用:用户仅需提供源端/目标信息,点击鼠标即可完成结构,数据,增量,校验全流程操作。
  • 并发高性能:全量,增量,校验过程均采用多线程模式处理,提升并行性能。
  • 零停机:采用后台初始化全量+实时增量捕获并应用模式,将整个迁移割接过程缩短至秒级,实现零停机业务切换。
  • 端到端加密:整个迁移传输链路端到端加密,保证公网数据安全。

三、下载DBMotion

官网下载docker-compose文件,如下:

https://squids.cn/product/dbmotion

其内容如下:

version: '3.0'
services:
  dts-mysql:
    image: mysql:latest
    container_name: dts-mysql
    environment:
      MYSQL_ROOT_PASSWORD: dbmotion
    command: ['mysqld', '--character-set-server=utf8mb4', '--collation-server=utf8mb4_unicode_ci', --default-time-zone=UTC]
  dts-api-server:
    image: squids/dbmotion-community:latest
    container_name: dts-api-server
    environment:
      - SERVER_MODE=DOCKER
      - MYSQL_URI=root:dbmotion@(dts-mysql)/dbmotion
    depends_on:
      - dts-mysql
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
      - /var/dbmotion:/dbmotion/log
    privileged: true
  dts-ui:
    image: squids/dbmotion-ui-community:latest
    container_name: dts-ui
    ports:
      - "30000:80"
    depends_on:
      - dts-mysql
      - dts-api-server

采用自定义网关,增加以下内容:

networks:
      - pkulaw_net
networks:
  pkulaw_net:
    external: true

自定义网络:

docker network create --driver bridge --subnet 10.128.0.0/16 --gateway 10.128.0.1 pkulaw_net

部署:

docker-compose -f docker-compose.yaml up -d

四、DBMotion实战

4.1 访问测试

浏览器访问http://192.168.10.128:30000/,如下图所示:

4.2 添加任务

4.3 选择要迁移的数据库

会自动检查数据库的设置、权限等。

4.4 创建任务,开始迁移

状态是Finished,表示已经迁移完成,但是任务并没有结束,因为勾选了增量同步。只有结束增量同步,该任务才会结束。

五、总结

经过实践DBMotion可以支持迁移预检查,这个是比较友好的,可以对比源端和目标端的数据库差异配置,支持全量、增量的数据同步。

#往期精彩内容#

1、MySQL篇(二)MySQL数据迁移、热备份及冷还原

2、MySQL篇(一)MySQL InnoDB Cluster集群搭建

3、Elasticsearch篇(一):ES 的分片平衡问题

4、二进制部署etcd集群(企业级)

5、Infinispan篇(三):如何对生产的Infinispan进行调优?


相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
1天前
|
分布式计算 DataWorks 关系型数据库
DataWorks产品使用合集之ODPS数据怎么Merge到MySQL数据库
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
1天前
|
DataWorks 关系型数据库 MySQL
DataWorks产品使用合集之mysql节点如何插入数据
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
3天前
|
关系型数据库 MySQL 数据库
MySQL 复制A的表结构和数据到表B
在MySQL中复制表A至表B可通过不同方法实现。一种是先用`CREATE TABLE B LIKE A;`复制结构,再用`INSERT INTO B SELECT * FROM A;`填充数据。另一种更简便的方法是直接使用`CREATE TABLE B AS SELECT * FROM A;`一次性完成结构和数据的复制。还有一种高级方法是通过`SHOW CREATE TABLE A;`获取表A的创建语句,手动调整后创建表B,如有需要再用`INSERT INTO ... SELECT`复制数据。注意权限问题、跨数据库复制时需指定数据库名,以及大表复制时可能影响性能。
|
6天前
|
消息中间件 数据采集 关系型数据库
大数据-业务数据采集-FlinkCDC 读取 MySQL 数据存入 Kafka
大数据-业务数据采集-FlinkCDC 读取 MySQL 数据存入 Kafka
24 1
|
6天前
|
数据采集 关系型数据库 MySQL
大数据-业务数据采集-FlinkCDC The MySQL server is not configured to use a ROW binlog_format
大数据-业务数据采集-FlinkCDC The MySQL server is not configured to use a ROW binlog_format
16 1
|
1天前
|
SQL DataWorks 关系型数据库
DataWorks操作报错合集之如何处理数据同步时(mysql->hive)报:Render instance failed
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
|
2天前
|
canal 关系型数据库 MySQL
"揭秘阿里数据同步黑科技Canal:从原理到实战,手把手教你玩转MySQL数据秒级同步,让你的数据处理能力瞬间飙升,成为技术界的新晋网红!"
【8月更文挑战第18天】Canal是一款由阿里巴巴开源的高性能数据同步系统,它通过解析MySQL的增量日志(Binlog),提供低延迟、可靠的数据订阅和消费功能。Canal模拟MySQL Slave与Master间的交互协议来接收并解析Binary Log,支持数据的增量同步。配置简单直观,包括Server和Instance两层配置。在实战中,Canal可用于数据库镜像、实时备份等多种场景,通过集成Canal Client可实现数据的消费和处理,如更新缓存或写入消息队列。
28 0
|
分布式计算 关系型数据库 MySQL
E-Mapreduce如何处理RDS的数据
目前网站的一些业务数据存在了数据库中,这些数据往往需要做进一步的分析,如:需要跟一些日志数据关联分析,或者需要进行一些如机器学习的分析。在阿里云上,目前E-Mapreduce可以满足这类进一步分析的需求。
4954 0
|
6天前
|
存储 关系型数据库 MySQL
MySQL——数据库备份上传到阿里云OSS存储
MySQL——数据库备份上传到阿里云OSS存储
23 0
|
1天前
|
SQL 存储 关系型数据库
数据库-MySQL-01(一)
数据库-MySQL-01(一)
13 4