AI 助理
备案控制台
开发者社区 数据库 文章 正文

【TiDB原理与实战详解】4、DM 迁移和TiCDC数据同步～学不会? 不存在的！

2024-08-30 23
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
RDS MySQL Serverless 基础系列，0.5-2RCU 50GB
推荐场景：
学生管理系统数据库设计 搭建个人博客
云数据库 Redis 版，标准版 2GB
推荐场景：
搭建游戏排行榜
云数据库 RDS MySQL，集群系列 2核4GB
推荐场景：
搭建个人博客
简介： TiDB Data Migration (DM) 和 TiCDC 是两款用于数据库迁移和同步的强大工具。DM 支持将兼容 MySQL 协议的数据库（如 MySQL、MariaDB）的数据异步迁移到 TiDB 中，具备全量和增量数据传输能力，并能合并分库分表的数据。TiCDC 则专注于 TiDB 的增量同步，利用 TiKV 日志实现高可用性和水平扩展，支持多种下游系统和输出格式。两者均可通过 TiUP 工具进行部署与管理，简化了集群的安装、配置及任务管理过程。

DM工具数据迁移

1、简介

    DM全称TiDB Data Migration , 支持兼容mysql协议的数据库（MySQL、MariaDB、Aurora MySQL），将数据（异步）迁移到TiDB中。支持全量和增量数据传输。可以过滤数据，可以将分库分表的数据合并迁移到TiDB中。

image.png

2、DM集群安装配置

生产最低配置(可扩容)

组件 数量
DM-maste 3
DM-worker 3
Granfana 1

image.png

使用一个新的机器

1、TiUP安装

wget https://tiup-mirrors.pingcap.com/install.sh 
sh install.sh 
source .bash_profile

# 升级到最新版本
tiup update --self

2、安装DM并更新

tiup install dm dmctl  && tiup update  dm dmctl

3、编辑配置文件

# 生成MD配置模版
tiup dm  template >dm.yaml

# 创建配置目录
mkdir /data/tidb/dm/deploy -p
mkdir /data/tidb/dm/date -p

# 修改配置文件
vim  dm.yaml
global:
  user: "tidb"
  ssh_port: 22
  deploy_dir: "/data/tidb/dm/deploy"
  data_dir: "/data/tidb/dm/data"
  # arch: "amd64"

master_servers:
  - host: 10.10.8.106

worker_servers:
  - host: 10.10.8.106

4、部署启动DM

# 查看dm版本
tiup list dm-master

# 指定版本安装DM集群并启动
tiup dm deploy dm-test  v5.5.0-nightly-20220107  /root/dm.yaml --user root -p  # ssh的root密码,dm-test为集群名称

# 启动DM集群
tiup dm start dm-test

# 查看DM集群信息
tiup  dm list

# 查看dm-test集群详细信息
tiup  dm  display dm-test

5、缩容节点

tiup dm scale-in <cluster-name> -N <node-id>

3、DM 同步任务管理

image.png

需求：

使用10.10.8.106上的DM工具将10.10.8.50上的mysql实例的test库中的t1表同步到10.10.8.107中。

创建数据源(上游需要同步的数据库)

# 创建dm配置文件目录
mkdir -p /root/dmconf

# 编辑配置文件
vim /root/dmconf/source1.yaml
# MySQL1 配置信息

source-id: "mysql-replica-01"

# DM-worker 是否使用全局事务标识符 (GTID) 拉取 binlog。使用前提是在上游 MySQL 已开启 GTID 模式true或false。
enable-gtid: true

from:
  host: "10.10.8.50"
  user: "dba"
  password: "Passw0rd@!QAZ"
  port: 3306

将数据源加载到DM集群

tiup dmctl --master-addr 10.10.8.106:8261 operate-source create /root/dmconf/source3.yaml

编辑任务文件

vim /root/dmconf/task.yaml
# 任务名，多个同时运行的任务不能重名。
name: "test"
# 全量+增量 (all) 迁移模式。
task-mode: "all"
# 下游 TiDB 配置信息。
target-database:
  host: "10.10.8.107"
  port: 4000
  user: "dba"
  password: "tkamc.00"

# 当前数据迁移任务需要的全部上游 MySQL 实例配置。
mysql-instances:
-
  # 上游实例或者复制组 ID，参考 `inventory.ini` 的 `source_id` 或者 `dm-master.toml` 的 `source-id 配置`。
  source-id: "mysql-replica-01"
  # 需要迁移的库名或表名的黑白名单的配置项名称，用于引用全局的黑白名单配置，全局配置见下面的 `block-allow-list` 的配置。
  block-allow-list: "global"          # 如果 DM 版本早于 v2.0.0-beta.2 则使用 black-white-list。
  # dump 处理单元的配置项名称，用于引用全局的 dump 处理单元配置。
  mydumper-config-name: "global"


# 黑白名单全局配置，各实例通过配置项名引用。
block-allow-list:                     # 如果 DM 版本早于 v2.0.0-beta.2 则使用 black-white-list。
  global:
    do-tables:                        # 需要迁移的上游表的白名单。
    - db-name: "test"              # 需要迁移的表的库名。
      tbl-name: "t1"          # 需要迁移的表的名称。

# dump 处理单元全局配置，各实例通过配置项名引用。
mydumpers:
  global:
    extra-args: ""

启动任务

tiup dmctl --master-addr 10.10.8.106:8261 start-task /root/dmconf/task.yaml

查询任务

tiup dmctl --master-addr 10.10.8.106:8261 query-status

停止任务

tiup dmctl --master-addr 10.10.8.106:8261 stop-task test

TiCDC 数据同步工具

1、简介

TiCDC是一个通过拉取TiKV日志实现的TiDB增量同步工具，具有还原数据到与上游任意 TSO 一致状态的能力，同时提供开放数据协议，支持其他系统订阅数据变更。TiCDC 运行时是无状态的，借助 PD 内部的 etcd 实现高可用。TiCDC 集群支持创建多个同步任务，向多个不同的下游进行数据同步，TiCDC的数据源必须是TiDB。

  • 数据高可用：TiCDC 从 TiKV 获取变更日志，意味着只要 TiKV 具备高可用就能保证数据的高可用，遇到 TiCDC 全部异常关闭的极端情况，后续启动还能正常获取数据。
  • 水平扩展：支持组建多 TiCDC 节点集群，将同步任务均匀地调度到不同节点上，面对海量数据时，可以通过添加节点解决同步压力过大的问题。
  • 自动故障转移：当集群中的一个 TiCDC 节点意外退出时，该节点上的同步任务会自动调度到其余的 TiCDC 节点上。
  • 支持多种下游系统和输出多种格式：目前已经支持兼容 MySQL 协议的数据库、Kafka 和 Pulsar 分布式流处理系统，支持输出的格式有 Apache Avro，Maxwell 和 Canal
1、属于增量同步，不会同步以前的数据，只同步开启同步后的数据。
2、只能同步带主键自增的表，想同步所有需要配置参数。
3、如果源端有库名而被同步端无库名或表名，需要在被同步端创建库名或表名。

2、部署TiCDC

编写配置文件(官方建议最少两台服务器)

vim scale-out.yaml 
cdc_servers:
  - host: 10.10.8.143
    gc-ttl: 86400
    data_dir: /data/deploy/install/data/cdc-8300

运行扩容命令

tiup cluster scale-out test scale-out.yaml  # test为集群名

查看集群状态

tiup cluster display test

缩容节点

tiup cluster scale-in test --node 10.10.8.143:8300 # 删除
tiup cluster display test

升级到5.2.2

tiup update --self && \
tiup update --all && \
tiup cluster upgrade test v5.2.2

修改配置并生效

tiup cluster edit-config test # 进入编辑界面编辑server_configs:里的cdc 编辑完成后保存
# 修改完毕后执行 tiup cluster reload -R cdc 命令重新加载配置。

3、使用TiCDC

查询TiCDC信息

tiup ctl:v5.3.0 cdc capture list  --pd=http://10.10.8.107:2379
[
  {
    "id": "8f847f99-d56f-44a0-b28a-d9ed81c30f64",
    "is-owner": true,
    "address": "10.10.8.143:8300"
  }
]
id： 服务进程的 ID。
is-owner： 表示该服务进程是否为 owner 节点。
address： 该服务进程对外提供接口的地址。

配置mysql时区兼容

find /  -name 'mysql_tzinfo_to_sql' # 查找文件路径
/usr/bin/mysql_tzinfo_to_sql /usr/share/zoneinfo | mysql -u root mysql -p # 导入到数据库

创建同步任务

tiup ctl:v5.3.0 cdc changefeed create --pd=http://10.10.8.107:2379 --sink-uri="mysql://dba:Passw0rd@10.10.8.143:3306/" --changefeed-id="simple-replication-task" --sort-engine="unified"

查询同步任务列表

tiup ctl:v5.3.0 cdc changefeed list  --pd=http://10.10.8.107:2379

checkpoint 即为 TiCDC 已经将该时间点前的数据同步到了下游。
state 为该同步任务的状态：
normal: 正常同步
stopped: 停止同步（手动暂停）
error: 停止同步（出错）
removed: 已删除任务（只在指定 --all 选项时才会显示该状态的任务。未指定时，可通过 query 查询该状态的任务）
finished: 任务已经同步到指定 target-ts，处于已完成状态（只在指定 --all 选项时才会显示该状态的任务。未指定时，可通过 query 查询该状态的任务）。

查看指定任务的详细信息

tiup ctl:v5.3.0 cdc changefeed query --pd=http://10.10.8.107:2379  --changefeed-id="simple-replication-task"

暂停指定任务

tiup ctl:v5.3.0 cdc changefeed pause --pd=http://10.10.8.107:2379  --changefeed-id="simple-replication-task"

继续暂停的任务

tiup ctl:v5.3.0 cdc changefeed resume   --pd=http://10.10.8.107:2379  --changefeed-id="simple-replication-task"

删除指定任务

tiup ctl:v5.3.0 cdc changefeed remove --pd=http://10.10.8.107:2379  --changefeed-id="simple-replication-task"

4、环形同步（实验特性）

环形同步功能支持在多个独立的 TiDB 集群间同步数据。比如有三个 TiDB 集群 A、B 和 C，它们都有一个数据表 test.user_data，并且各自对它有数据写入。环形同步功能可以将 A、B 和 C 对 test.user_data 的写入同步其它集群上，使三个集群上的 test.user_data 达到最终一致。

5、同步没有有效索引的表

从 v4.0.8 开始，TiCDC 支持通过修改任务配置来同步没有有效索引的表。若要开启该特性，需要在 changefeed 配置文件的根级别进行如下指定：

vim  changefeed.toml  # 需要指定配置文件启动任务
enable-old-value = true
force-replicate = true

6、使用同步任务配置文件

示例配置

vim  changefeed.toml
# 指定配置文件中涉及的库名、表名是否为大小写敏感
# 该配置会同时影响 filter 和 sink 相关配置，默认为 true
case-sensitive = true

# 是否输出 old value，从 v4.0.5 开始支持，从 v5.0 开始默认为 true
enable-old-value = true

# 复制没有主键自增的表
force-replicate = true

# 过滤参数配置
[filter]
# 忽略指定 start_ts 的事务
ignore-txn-start-ts = [1, 2]

# 过滤器规则
# 过滤规则语法：https://docs.pingcap.com/zh/tidb/stable/table-filter#表库过滤语法
rules = ['*.*', '!test.*']

[mounter]
# mounter 线程数，用于解码 TiKV 输出的数据
worker-num = 16

[sink]
# 对于 MQ 类的 Sink，可以通过 dispatchers 配置 event 分发器
# 支持 default、ts、rowid、table 四种分发器，分发规则如下：
# - default：有多个唯一索引（包括主键）时按照 table 模式分发；只有一个唯一索引（或主键）按照 rowid 模式分发；如果开启了 old value 特性，按照 table 分发
# - ts：以行变更的 commitTs 做 Hash 计算并进行 event 分发
# - rowid：以表的主键或者唯一索引列名和列值做 Hash 计算并进行 event 分发
# - table：以表的 schema 名和 table 名做 Hash 计算并进行 event 分发
# matcher 的匹配语法和过滤器规则语法相同
dispatchers = [
    {matcher = ['test1.*', 'test2.*'], dispatcher = "ts"},
    {matcher = ['test3.*', 'test4.*'], dispatcher = "rowid"},
]
# 对于 MQ 类的 Sink，可以指定消息的协议格式
# 目前支持 default、canal、avro 和 maxwell 四种协议。default 为 TiCDC Open Protocol
protocol = "default"

[cyclic-replication]
# 是否开启环形同步
enable = false
# 当前 TiCDC 的复制 ID
replica-id = 1
# 需要过滤掉的同步 ID
filter-replica-ids = [2,3]
# 是否同步 DDL
sync-ddl = true

编写配置文件

vim  changefeed.toml
# 指定配置文件中涉及的库名、表名是否为大小写敏感
# 该配置会同时影响 filter 和 sink 相关配置，默认为 true
case-sensitive = true

# 是否输出 old value，从 v4.0.5 开始支持，从 v5.0 开始默认为 true
enable-old-value = true

# 复制没有主键自增的表
force-replicate = true



# 过滤参数配置
[filter]
# 忽略指定 start_ts 的事务
ignore-txn-start-ts = [1, 2]

# 过滤器规则
# 过滤规则语法：https://docs.pingcap.com/zh/tidb/stable/table-filter#表库过滤语法
rules = ['*.*', '!test.*']

[mounter]
# mounter 线程数，用于解码 TiKV 输出的数据
worker-num = 32


[cyclic-replication]
# 是否开启环形同步
enable = false
# 当前 TiCDC 的复制 ID
replica-id = 1
# 需要过滤掉的同步 ID
filter-replica-ids = [2,3]
# 是否同步 DDL
sync-ddl = true

指定配置文件开启任务

tiup ctl:v5.3.0 cdc changefeed create --pd=http://10.10.8.107:2379 --sink-uri="mysql://dba:Passw0rd@10.10.8.143:3306/" --changefeed-id="mysql-test1" --sort-engine="unified"  --config changefeed.toml

查看任务列表

tiup ctl:v5.3.0 cdc changefeed list  --pd=http://10.10.8.107:2379

其他操作同上

7、子任务管理

查询所有子任务信息

tiup ctl:v5.3.0 cdc processor list  --pd=http://10.10.8.107:2379

指定capture-id查询

tiup ctl:v5.3.0 cdc  processor query --pd=http://10.10.8.107:2379   --changefeed-id=mysql-test1   --capture-id=8f847f99-d56f-44a0-b28a-d9ed81c30f64
文章标签：
云数据库 RDS MySQL 版
关系型数据库
MySQL
数据库
索引
调度
关键词：
实战数据同步
原理数据同步
原理实战数据同步
dm数据同步
迁移数据同步
相关实践学习
如何在云端创建MySQL数据库
开始实验后，系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心，利用清洁计算为万物互联的新世界提供源源不断的能源动力，目前开服的区域包括中国（华北、华东、华南、香港）、新加坡、美国（美东、美西）、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程，来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品：云服务器ECS 云服务器 ECS（Elastic Compute Service）是一种弹性可伸缩的计算服务，助您降低 IT 成本，提升运维效率，使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
hh真是个慢性子
目录
相关文章
hh真是个慢性子
|
14天前
|
存储 关系型数据库 MySQL
【TiDB原理与实战详解】5、BR 物理备份恢复与Binlog 数据同步～学不会? 不存在的！
BR（Backup & Restore）是 TiDB 分布式备份恢复的命令行工具，适用于大数据量场景，支持常规备份恢复及大规模数据迁移。BR 通过向各 TiKV 节点下发命令执行备份或恢复操作，生成 SST 文件存储数据信息与 `backupmeta` 文件存储元信息。推荐部署配置包括在 PD 节点部署 BR 工具，使用万兆网卡等。本文介绍 BR 的工作原理、部署配置、使用限制及多种备份恢复方式，如全量备份、单库/单表备份、过滤备份及增量备份等。
hh真是个慢性子
44 4
竹子爱熊猫
|
1月前
|
SQL canal 关系型数据库
(二十四)全解MySQL之主从篇：死磕主从复制中数据同步原理与优化
兜兜转转，经过《全解MySQL专栏》前面二十多篇的内容讲解后，基本对MySQL单机模式下的各方面进阶知识做了详细阐述，同时在前面的《分库分表概念篇》、《分库分表隐患篇》两章中也首次提到了数据库的一些高可用方案，但前两章大多属于方法论，并未涵盖真正的实操过程。接下来的内容，会以目前这章作为分割点，开启MySQL高可用方案的落地实践分享的新章程！
竹子爱熊猫
576 1
东方睿赢
|
27天前
|
canal 关系型数据库 MySQL
"揭秘阿里数据同步黑科技Canal：从原理到实战，手把手教你玩转MySQL数据秒级同步，让你的数据处理能力瞬间飙升，成为技术界的新晋网红！"
【8月更文挑战第18天】Canal是一款由阿里巴巴开源的高性能数据同步系统，它通过解析MySQL的增量日志（Binlog），提供低延迟、可靠的数据订阅和消费功能。Canal模拟MySQL Slave与Master间的交互协议来接收并解析Binary Log，支持数据的增量同步。配置简单直观，包括Server和Instance两层配置。在实战中，Canal可用于数据库镜像、实时备份等多种场景，通过集成Canal Client可实现数据的消费和处理，如更新缓存或写入消息队列。
东方睿赢
220 0
萝卜丝丸子
|
2月前
|
消息中间件 存储 RocketMQ
MetaQ/RocketMQ 原理问题之MetaQ中Broker的数据同步方式的问题如何解决
MetaQ/RocketMQ 原理问题之MetaQ中Broker的数据同步方式的问题如何解决
萝卜丝丸子
24 0
请回答1024
|
4月前
|
NoSQL Redis
Redis入门到通关之Redis主从数据同步原理
Redis入门到通关之Redis主从数据同步原理
请回答1024
89 0
码哥字节
|
4月前
|
存储 负载均衡 NoSQL
Redis 高可用篇：你管这叫主从架构数据同步原理？
Redis 高可用篇：你管这叫主从架构数据同步原理？
码哥字节
328 5
番茄酱脑袋
|
26天前
|
SQL DataWorks 关系型数据库
DataWorks操作报错合集之如何处理数据同步时（mysql->hive）报：Render instance failed
DataWorks是阿里云提供的一站式大数据开发与治理平台，支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中，可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
番茄酱脑袋
47 0
东方睿赢
|
13天前
|
canal 消息中间件 关系型数据库
Canal作为一款高效、可靠的数据同步工具，凭借其基于MySQL binlog的增量同步机制，在数据同步领域展现了强大的应用价值
【9月更文挑战第1天】Canal作为一款高效、可靠的数据同步工具，凭借其基于MySQL binlog的增量同步机制，在数据同步领域展现了强大的应用价值
东方睿赢
100 4
hh真是个慢性子
|
25天前
|
关系型数据库 MySQL 数据库
【MySQL】手把手教你MySQL数据同步
【MySQL】手把手教你MySQL数据同步
hh真是个慢性子
113 1
土木林森
|
1月前
|
SQL 关系型数据库 MySQL
“震撼揭秘！Flink CDC如何轻松实现SQL Server到MySQL的实时数据同步？一招在手，数据无忧！”
【8月更文挑战第7天】随着大数据技术的发展，实时数据同步变得至关重要。Apache Flink作为高性能流处理框架，在实时数据处理领域扮演着核心角色。Flink CDC（Change Data Capture）组件的加入，使得数据同步更为高效。本文介绍如何使用Flink CDC实现从SQL Server到MySQL的实时数据同步，并提供示例代码。首先确保SQL Server启用了CDC功能，接着在Flink环境中引入相关连接器。通过定义源表与目标表，并执行简单的`INSERT INTO SELECT`语句，即可完成数据同步。
土木林森
98 1

数据库

热门文章

最新文章

  • 1
    ETCD系列之一：简介
  • 2
    为PostgreSQL讨说法 - 浅析《UBER ENGINEERING SWITCHED FROM POSTGRES TO MYSQL》
  • 3
    德哥的PostgreSQL私房菜 - 史上最屌PG资料合集
  • 4
    redis4.0、codis、阿里云redis 3种redis集群对比分析
  • 5
    什么场景应该用 MongoDB ？
  • 6
    PostgreSQL 如何实现批量更新、删除、插入
  • 7
    MongoDB Sharded cluster架构原理
  • 8
    Redis Stream——作为消息队列的典型应用场景
  • 9
    PostgreSQL upsert功能(insert on conflict do)的用法
  • 10
    Linux 性能诊断 perf使用指南
  • 1
    C 函数怎么实现复用
    8
  • 2
    Java Character 类详解
    8
  • 3
    Django视图：构建动态Web页面的核心技术
    6
  • 4
    Mysql全面总结
    16
  • 5
    WHERE Clause Optimization
    9
  • 6
    Indexed Lookups from TIMESTAMP Columns
    10
  • 7
    莉莉丝-游戏用户日志分析
    20
  • 8
    EXPLAIN Extra Information
    6
  • 9
    EXPLAIN Output Interpretation
    10
  • 10
    EXPLAIN Join Types
    9

    • 相关课程

    更多
  • Sqoop 企业级大数据迁移方案实战
  • 实时数据接入：5分钟上手 Flink MySQL 连接器
  • 开源PolarDB分布式版部署实操
  • 阿里云 DTS是如何做实时数据集成的？
  • 如何使用 PolarDB-X
  • 云原生数据库PolarDB产品概述

    • 相关电子书

    更多
  • MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute
  • Hbase数据迁移方案的设计与实践
  • PostgreSQL复制原理及高可用集群

    • 相关实验场景

    更多
  • 体验PolarDB-X透明分布式
  • 基于Hologres轻量实时的高性能OLAP分析
  • 通过Lindorm-cli连接并使用宽表引擎
  • MySQL引擎及架构优化
  • 基于Hologres+Flink搭建GitHub实时数据大屏
  • 基于Flink+Tair搭建实时监控大屏
    • 下一篇
    基于LNMP搭建WordPress