前文如下：
8.【canal】canal从入门到放弃-mysql+canal+rocketmq实现数据库同步-mysql安装
9.【canal】canal从入门到放弃-mysql+canal+rocketmq实现数据库同步-canal安装
3.1 测试
# mysql增加数据[anchu@localhost support-files]$ mysql -u root -P 3306 -h 192.168.120.110 -D test -pEnter password: 123456mysql> insert into test(id,name) values(1,"t1");Query OK, 1 row affected (0.04 sec)mysql> mysql> insert into test(id,name) values(2,"t2");Query OK, 1 row affected (0.02 sec)mysql> \qBye#查看canal本地同步数据 [anchu@localhost example]$ cat ../canal.properties |grep h2canal.instance.tsdb.url = jdbc:h2:${canal.instance.tsdb.dir}/h2;CACHE_SIZE=1000;MODE=MYSQL;canal.instance.tsdb.spring.xml = classpath:spring/tsdb/h2-tsdb.xml[anchu@localhost example]$ ll -h ../../conf/example/total 120K-rw-rw-r--. 1 anchu anchu 116K Apr 26 23:21 h2.mv.db-rwxrwxr-x. 1 anchu anchu 2.2K Apr 26 23:19 instance.properties 复制代码
需要注意canal.properties配置文件的几个相对路径配置，方便查看数据
# 使用本地文件创建的连接canal.conf.dir = ../conf #/home/anchu/software/canal/confcanal.file.data.dir= ${canal.conf.dir} #/home/anchu/software/canal/confcanal.instance.tsdb.dir = ${canal.file.data.dir:../conf}/${canal.instance.destination:} # /home/anchu/software/canal/conf/examplecanal.instance.tsdb.url = jdbc:h2:${canal.instance.tsdb.dir}/h2;CACHE_SIZE=1000;MODE=MYSQL;# 及上面的h2文件为什么会在 /home/anchu/software/canal/conf/example/h2.mv.db 目录，是从这里配置的 复制代码
可以将文件copy到windows并用dbeaver打开是否有添加的数据。
可以下载客户端去查询 dbschema.com/download.ht…
也可以下载驱动jdbc查询如下：
出现异常：General error: "The write format 1 is smaller than the supported format 2 [2.1.210/5]"
原因canal的h2版本和测试代码的版本不一致，将canal的h2包copy到测试代码，再次测试
[anchu@localhost lib]$ pwd/home/anchu/software/canal/lib[anchu@localhost lib]$ ls |grep h2h2-1.4.196.jar 复制代码
或者查看生成的h2.mv.db文件，查询test和insert关键字，可以看到数据更新信息同步到h2中
发现找不到test表，明明h2文件看到了关键字，却查不到这是为什么呢？\
那是因为，canal 使用 tsdb 保存保存表结构 meta的信息变化，本地使用默认使用的 h2db，可以配置为mysql
参考文档：blog.csdn.net/wfh45678/ar…
由于版本问题，修改canal lib包的h2版本为2.1.210，然后就可以通过h2查看别结构元数据信息
[anchu@localhost lib]$ mv h2-1.4.196.jar h2-1.4.196.jarold[anchu@localhost lib]$ mv h2-2.1.210.jarold h2-2.1.210.jar[anchu@localhost lib]$ ll |grep h2-rwxrwxr-x. 1 anchu anchu 1821816 Oct 13 2017 h2-1.4.196.jarold-rw-r--r--. 1 anchu anchu 2531600 Jan 17 01:12 h2-2.1.210.jar 复制代码
由上图可以以看到，元数据信息变化表，会存储ddl语句相关日志文件及其偏移量。\
我们可以借助mysql提供的mysqlbinlog工具进行查看，操作如下：
mysqlbinlog --base64-output=decode-rows --start-position="219" ~/software/mysql-5.7.24/data/mysql-bin.000001/*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=1*/;/*!50003 SET @OLD_COMPLETION_TYPE=@@COMPLETION_TYPE,COMPLETION_TYPE=0*/;DELIMITER /*!*/;# at 219#220427 2:19:02 server id 1 end_log_pos 313 CRC32 0xacaaf5d4 Query thread_id=7 exec_time=0 error_code=0SET TIMESTAMP=1651051142/*!*/;SET @@session.pseudo_thread_id=7/*!*/;SET @@session.foreign_key_checks=1, @@session.sql_auto_is_null=0, @@session.unique_checks=1, @@session.autocommit=1/*!*/;SET @@session.sql_mode=1075838976/*!*/;SET @@session.auto_increment_increment=1, @@session.auto_increment_offset=1/*!*/;/*!\C utf8 *//*!*/;SET @@session.character_set_client=33,@@session.collation_connection=33,@@session.collation_server=8/*!*/;SET @@session.lc_time_names=0/*!*/;SET @@session.collation_database=DEFAULT/*!*/;create database test/*!*/;# at 313............ 复制代码
如图：可以看到219开始确实紧跟着create database test\
3.2 扩展
binlog日志类型
- statement：记录执行的语句；对于更新而言不需要记录大量的行数据，但是有些信息无法记录比如随机数或者当前时间，所以还需要一些上下文信息。
- row：只记录修改的行，不用上下文，但是数据量可能较大。
- mixed：对于不需要上下文的语句，使用statement，否则使用row，所以会 同时存在两种格式；
如何查看binlog
- 如果在mysql客户端内，可以使用show binlog events;这条命令会显示第一个binlog文件内的事件；当然可以指定binlog文件，比如：show binlog events in 'xxx-bin.0000N'。另外也可以使用show binary logs命令查看当前所有binlog文件名。
- 如果不在mysql客户端，可以使用mysql提供的mysqlbinlog命令。比如：mysqlbinlog -v --base64-output=decode-rows --start-position="156" ~/mysql/master/data/mysql-bin.000004
- 简单记一下几个参数的含义：
- -v：将row模式的反解为statement模式，方便查阅；
- --base64-output：如果不加，默认输出是base64格式的，加上这个参数，输出是base64解密后的；\
- --start-position：指定开始位置，当然也可以指定结束位置；
- 另外还有一些其他参数也可以指定，比如库名以及表名等。
binlog事件类型
- 总共有3个版本：v1，v2和v4。mysql5以上使用过的v4。这里只记录这几个关键的事件类型：
- QUERY_EVENT：在statement模式下，增删改的语句都会生成该事件；在row模式下，DDL的改动会生成该事件;
- ROTATE_EVENT：新的binlog文件生成时，会记录该事件，内容就是下一个binlog文件的文件名；
- FORMAT_DESCRIPTION_EVENT：每一个binlog文件的起始事件，描述文件属性；
- TABLE_MAP_EVENT：在row模式下会有，每一个更新事件都会先有一个TABLE_MAP_EVENT事件，用于记录表的一些信息。
- WRITE_ROWS_EVENT：在row模式下会有，insert；
- UPDATE_ROWS_EVENT：在row模式下会有，update；
- DELETE_ROWS_EVENT：在row模式下会有，delete
参考文档：
开源实战 | Canal生产环境常见问题总结与分析
cloud.tencent.com/developer/a…
3.3 canal client测试
测试消费，canal开源项目地址中有个测试用例，只需要修改ip然后启动
启动失败，原因查看canal日志，是因为密码校验不能识别canal，所以需要修改canal.properties密码为二进制加密的。
再次启动消费成功，可以从日志中看到增量的sql
分享一个canal +springboot整合的小项目，git地址：
