10.【canal】canal从入门到放弃-mysql+canal+rocketmq实现数据库同步-canal简单使用

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
日志服务 SLS,月写入数据量 50GB 1个月
简介: 【canal】canal从入门到放弃-mysql+canal+rocketmq实现数据库同步-canal简单使用

前文如下:

8.【canal】canal从入门到放弃-mysql+canal+rocketmq实现数据库同步-mysql安装

9.【canal】canal从入门到放弃-mysql+canal+rocketmq实现数据库同步-canal安装

3.1 测试

# mysql增加数据[anchu@localhost support-files]$ mysql -u root -P 3306 -h 192.168.120.110 -D test -pEnter password: 123456mysql> insert into test(id,name) values(1,"t1");Query OK, 1 row affected (0.04 sec)mysql> mysql> insert into test(id,name) values(2,"t2");Query OK, 1 row affected (0.02 sec)mysql> \qBye#查看canal本地同步数据
[anchu@localhost example]$ cat ../canal.properties |grep h2canal.instance.tsdb.url = jdbc:h2:${canal.instance.tsdb.dir}/h2;CACHE_SIZE=1000;MODE=MYSQL;canal.instance.tsdb.spring.xml = classpath:spring/tsdb/h2-tsdb.xml[anchu@localhost example]$ ll -h ../../conf/example/total 120K-rw-rw-r--. 1 anchu anchu 116K Apr 26 23:21 h2.mv.db-rwxrwxr-x. 1 anchu anchu 2.2K Apr 26 23:19 instance.properties
复制代码

需要注意canal.properties配置文件的几个相对路径配置,方便查看数据

# 使用本地文件创建的连接canal.conf.dir = ../conf  #/home/anchu/software/canal/confcanal.file.data.dir= ${canal.conf.dir}  #/home/anchu/software/canal/confcanal.instance.tsdb.dir = ${canal.file.data.dir:../conf}/${canal.instance.destination:}   # /home/anchu/software/canal/conf/examplecanal.instance.tsdb.url = jdbc:h2:${canal.instance.tsdb.dir}/h2;CACHE_SIZE=1000;MODE=MYSQL;# 及上面的h2文件为什么会在 /home/anchu/software/canal/conf/example/h2.mv.db 目录,是从这里配置的
复制代码

可以将文件copy到windows并用dbeaver打开是否有添加的数据。

可以下载客户端去查询 dbschema.com/download.ht…

也可以下载驱动jdbc查询如下:

网络异常,图片无法展示
|

出现异常:General error: "The write format 1 is smaller than the supported format 2 [2.1.210/5]"

原因canal的h2版本和测试代码的版本不一致,将canal的h2包copy到测试代码,再次测试

[anchu@localhost lib]$ pwd/home/anchu/software/canal/lib[anchu@localhost lib]$ ls |grep h2h2-1.4.196.jar
复制代码

或者查看生成的h2.mv.db文件,查询test和insert关键字,可以看到数据更新信息同步到h2中

网络异常,图片无法展示
|

发现找不到test表,明明h2文件看到了关键字,却查不到这是为什么呢?\

网络异常,图片无法展示
|

那是因为,canal 使用 tsdb 保存保存表结构 meta的信息变化,本地使用默认使用的 h2db,可以配置为mysql

参考文档:blog.csdn.net/wfh45678/ar…

由于版本问题,修改canal lib包的h2版本为2.1.210,然后就可以通过h2查看别结构元数据信息

[anchu@localhost lib]$ mv h2-1.4.196.jar h2-1.4.196.jarold[anchu@localhost lib]$ mv h2-2.1.210.jarold h2-2.1.210.jar[anchu@localhost lib]$ ll |grep h2-rwxrwxr-x. 1 anchu anchu 1821816 Oct 13  2017 h2-1.4.196.jarold-rw-r--r--. 1 anchu anchu 2531600 Jan 17 01:12 h2-2.1.210.jar
复制代码

网络异常,图片无法展示
|

网络异常,图片无法展示
|

由上图可以以看到,元数据信息变化表,会存储ddl语句相关日志文件及其偏移量。\

我们可以借助mysql提供的mysqlbinlog工具进行查看,操作如下:

mysqlbinlog --base64-output=decode-rows --start-position="219" ~/software/mysql-5.7.24/data/mysql-bin.000001/*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=1*/;/*!50003 SET @OLD_COMPLETION_TYPE=@@COMPLETION_TYPE,COMPLETION_TYPE=0*/;DELIMITER /*!*/;# at 219#220427  2:19:02 server id 1  end_log_pos 313 CRC32 0xacaaf5d4   Query  thread_id=7  exec_time=0  error_code=0SET TIMESTAMP=1651051142/*!*/;SET @@session.pseudo_thread_id=7/*!*/;SET @@session.foreign_key_checks=1, @@session.sql_auto_is_null=0, @@session.unique_checks=1, @@session.autocommit=1/*!*/;SET @@session.sql_mode=1075838976/*!*/;SET @@session.auto_increment_increment=1, @@session.auto_increment_offset=1/*!*/;/*!\C utf8 *//*!*/;SET @@session.character_set_client=33,@@session.collation_connection=33,@@session.collation_server=8/*!*/;SET @@session.lc_time_names=0/*!*/;SET @@session.collation_database=DEFAULT/*!*/;create database test/*!*/;# at 313............
复制代码

如图:可以看到219开始确实紧跟着create database test\

网络异常,图片无法展示
|

3.2 扩展

binlog日志类型

  • statement:记录执行的语句;对于更新而言不需要记录大量的行数据,但是有些信息无法记录比如随机数或者当前时间,所以还需要一些上下文信息。
  • row:只记录修改的行,不用上下文,但是数据量可能较大。
  • mixed:对于不需要上下文的语句,使用statement,否则使用row,所以会 同时存在两种格式;

如何查看binlog

  • 如果在mysql客户端内,可以使用show binlog events;这条命令会显示第一个binlog文件内的事件;当然可以指定binlog文件,比如:show binlog events in 'xxx-bin.0000N'。另外也可以使用show binary logs命令查看当前所有binlog文件名。
  • 如果不在mysql客户端,可以使用mysql提供的mysqlbinlog命令。比如:mysqlbinlog -v --base64-output=decode-rows --start-position="156" ~/mysql/master/data/mysql-bin.000004
  • 简单记一下几个参数的含义:
  • -v:将row模式的反解为statement模式,方便查阅;
  • --base64-output:如果不加,默认输出是base64格式的,加上这个参数,输出是base64解密后的;\
  • --start-position:指定开始位置,当然也可以指定结束位置;
  • 另外还有一些其他参数也可以指定,比如库名以及表名等。

binlog事件类型

  • 总共有3个版本:v1,v2和v4。mysql5以上使用过的v4。这里只记录这几个关键的事件类型:
  • QUERY_EVENT:在statement模式下,增删改的语句都会生成该事件;在row模式下,DDL的改动会生成该事件;
  • ROTATE_EVENT:新的binlog文件生成时,会记录该事件,内容就是下一个binlog文件的文件名;
  • FORMAT_DESCRIPTION_EVENT:每一个binlog文件的起始事件,描述文件属性;
  • TABLE_MAP_EVENT:在row模式下会有,每一个更新事件都会先有一个TABLE_MAP_EVENT事件,用于记录表的一些信息。
  • WRITE_ROWS_EVENT:在row模式下会有,insert;
  • UPDATE_ROWS_EVENT:在row模式下会有,update;
  • DELETE_ROWS_EVENT:在row模式下会有,delete

网络异常,图片无法展示
|

参考文档:

开源实战 | Canal生产环境常见问题总结与分析

cloud.tencent.com/developer/a…

3.3 canal client测试

测试消费,canal开源项目地址中有个测试用例,只需要修改ip然后启动

github.com/alibaba/can…

网络异常,图片无法展示
|

启动失败,原因查看canal日志,是因为密码校验不能识别canal,所以需要修改canal.properties密码为二进制加密的。

网络异常,图片无法展示
|

再次启动消费成功,可以从日志中看到增量的sql

网络异常,图片无法展示
|

网络异常,图片无法展示
|

分享一个canal +springboot整合的小项目,git地址:

github.com/zfsndtl/can…

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
3月前
|
canal 关系型数据库 MySQL
Canal是怎么伪装成 MySQL slave?
Canal是怎么伪装成 MySQL slave?
|
9月前
|
canal 缓存 NoSQL
Redis缓存与数据库如何保证一致性?同步删除+延时双删+异步监听+多重保障方案
根据对一致性的要求程度,提出多种解决方案:同步删除、同步删除+可靠消息、延时双删、异步监听+可靠消息、多重保障方案
Redis缓存与数据库如何保证一致性?同步删除+延时双删+异步监听+多重保障方案
|
3月前
|
消息中间件 canal Java
如何保证Canal+MQ同步消息的顺序性?
如何保证Canal+MQ同步消息的顺序性?
|
9月前
|
canal 消息中间件 关系型数据库
Canal作为一款高效、可靠的数据同步工具,凭借其基于MySQL binlog的增量同步机制,在数据同步领域展现了强大的应用价值
【9月更文挑战第1天】Canal作为一款高效、可靠的数据同步工具,凭借其基于MySQL binlog的增量同步机制,在数据同步领域展现了强大的应用价值
1329 4
|
10月前
|
运维 监控 NoSQL
【MongoDB 复制集秘籍】Secondary 同步慢怎么办?深度解析与实战指南,让你的数据库飞速同步!
【8月更文挑战第24天】本文通过一个具体案例探讨了MongoDB复制集中Secondary成员同步缓慢的问题。现象表现为数据延迟增加,影响业务运行。经分析,可能的原因包括硬件资源不足、网络状况不佳、复制日志错误等。解决策略涵盖优化硬件(如增加内存、升级CPU)、调整网络配置以减少延迟以及优化MongoDB配置(例如调整`oplogSize`、启用压缩)。通过这些方法可有效提升同步效率,保证系统的稳定性和性能。
246 4
|
6月前
|
NoSQL 关系型数据库 分布式数据库
基于PolarDB的图分析:通过DTS将其它数据库的数据表同步到PolarDB的图
本文介绍了使用DTS任务将数据从MySQL等数据源实时同步到PolarDB-PG的图数据库中的步骤.
|
7月前
|
缓存 关系型数据库 MySQL
高并发架构系列:数据库主从同步的 3 种方案
本文详解高并发场景下数据库主从同步的三种解决方案:数据主从同步、数据库半同步复制、数据库中间件同步和缓存记录写key同步,旨在帮助解决数据一致性问题。关注【mikechen的互联网架构】,10年+BAT架构经验倾囊相授。
高并发架构系列:数据库主从同步的 3 种方案
|
8月前
|
消息中间件 存储 canal
阿里面试:canal+MQ,会有乱序的问题吗?
本文详细探讨了在阿里面试中常见的问题——“canal+MQ,会有乱序的问题吗?”以及如何保证RocketMQ消息有序。文章首先介绍了消息有序的基本概念,包括全局有序和局部有序,并分析了RocketMQ中实现消息有序的方法。接着,针对canal+MQ的场景,讨论了如何通过配置`canal.mq.partitionsNum`和`canal.mq.partitionHash`来保证数据同步的有序性。最后,提供了多个与MQ相关的面试题及解决方案,帮助读者更好地准备面试,提升技术水平。
阿里面试:canal+MQ,会有乱序的问题吗?
|
8月前
|
算法 大数据 数据库
云计算与大数据平台的数据库迁移与同步
本文详细介绍了云计算与大数据平台的数据库迁移与同步的核心概念、算法原理、具体操作步骤、数学模型公式、代码实例及未来发展趋势与挑战。涵盖全量与增量迁移、一致性与异步复制等内容,旨在帮助读者全面了解并应对相关技术挑战。
164 3
|
10月前
|
C# 开发者 Windows
全面指南:WPF无障碍设计从入门到精通——让每一个用户都能无障碍地享受你的应用,从自动化属性到焦点导航的最佳实践
【8月更文挑战第31天】为了确保Windows Presentation Foundation (WPF) 应用程序对所有用户都具备无障碍性,开发者需关注无障碍设计原则。这不仅是法律要求,更是社会责任,旨在让技术更人性化,惠及包括视障、听障及行动受限等用户群体。
239 0

推荐镜像

更多