Canal入门

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: Canal入门

📎尚硅谷大数据技术之Canal.pdf

1. Canal 入门

1.1. 简介

阿里巴巴 B2B 公司,因为业务的特性,卖家主要集中在国内,买家主要集中在国外,所 以衍生出了同步杭州和美国异地机房的需求,从 2010 年开始,阿里系公司开始逐步的尝试 基于数据库的日志解析,获取增量变更进行同步,由此衍生出了增量订阅&消费的业务。

Canal 是用 Java 开发的基于数据库增量日志解析,提供增量数据订阅&消费的中间件。 目前。Canal 主要支持了 MySQL 的 Binlog 解析,解析完成后才利用 Canal Client 来处理获得 的相关数据。(数据库同步需要阿里的 Otter 中间件,基于 Canal)。

1.2. Mysql 的 Binlog

1.2.1. Binlog

MySQL 的二进制日志可以说 MySQL 最重要的日志了,它记录了所有的 DDL 和 DML(除了数据查询语句)语句,以事件形式记录,还包含语句所执行的消耗的时间,MySQL 的二进制日志是事务安全型的。

一般来说开启二进制日志大概会有 1%的性能损耗。二进制有两个最重要的使用场景:

  • 其一:MySQL Replication 在 Master 端开启 Binlog,Master 把它的二进制日志传递给 Slaves 来达到 Master-Slave 数据一致的目的。
  • 其二:自然就是数据恢复了,通过使用 MySQL Binlog 工具来使恢复数据。 二进制日志包括两类文件:二进制日志索引文件(文件名后缀为.index)用于记录所有 的二进制文件,二进制日志文件(文件名后缀为.00000*)记录数据库所有的 DDL 和 DML(除 了数据查询语句)语句事件。

1.2.2. Binlog 的分类

MySQL Binlog 的格式有三种,分别是 STATEMENT,MIXED,ROW。在配置文件中可以选择配置 binlog_format= statement|mixed|row。三种格式的区别:

  • statement语句级,binlog 会记录每次一执行写操作的语句。相对 row 模式节省空 间,但是可能产生不一致性,比如“update tt set create_date=now()”,如果用 binlog 日志 进行恢复,由于执行时间不同可能产生的数据就不同。
  • 优点:节省空间。
  • 缺点:有可能造成数据不一致
  • row行级, binlog 会记录每次操作后每行记录的变化。
  • 优点:保持数据的绝对一致性。因为不管 sql 是什么,引用了什么函数,他只记录 执行后的效果。
  • 缺点:占用较大空间。
  • mixedstatement 的升级版,一定程度上解决了,因为一些情况而造成的 statement 模式不一致问题,默认还是 statement,在某些情况下譬如:当函数中包含 UUID() 时;包含 AUTO_INCREMENT 字段的表被更新时;执行 INSERT DELAYED 语句时;用 UDF 时;会按照 ROW 的方式进行处理
  • 优点:节省空间,同时兼顾了一定的一致性。
  • 缺点:还有些极个别情况依旧会造成不一致,另外 statement 和 mixed 对于需要对 binlog 的监控的情况都不方便

综合上面对比,Canal 想做监控分析,选择 row 格式比较合适。

1.3. Canal 工作原理

1.3.1. Mysql 主从复制过程

  1. Master 主库将改变记录,写到二进制日志(Binary Log)中;
  2. Slave 从库向 MySQL Master 发送 dump 协议,将 Master 主库的 binary log events 拷贝到它的中继日志(relay log);
  3. Slave 从库读取并重做中继日志中的事件,将改变的数据同步到自己的数据库。

1.3.2. Canal 工作原理

很简单,就是把自己伪装成 Slave,假装从 Master 复制数据

1.4. 使用场景

  1. 原始场景: 阿里 Otter 中间件的一部分。Otter 是阿里用于进行异地数据库之间的同步框架,Canal 是其中一部分

  1. 常见场景 1:更新缓存

  1. 常见场景 2:抓取业务表的新增变化数据,用于制作实时统计

2. Mysql 配置

2.1. 修改 mysql 配置文件 开启 Binlog

注意:binlog-do-db 根据自己的情况进行修改,指定具体要同步的数据库,如果不配置 则表示所有数据库均开启 Binlog

sudo vim /etc/my.cnf
server-id=1
log-bin=mysql-bin
#binlog日志模式为row
binlog_format=row
#需要开启Binlog的库, 注意!: 如果mysql中的所有库都需要开启binlog日志的话,则可以不写这一行,则代表所有库都开启binlog日志,不然每次新增库还得修改配置文件
binlog-do-db=gmall-2021
#如果有多个库,就一次添加
#binlog-do-db=gmall-2022
#binlog-do-db=gmall-2023
#重启 MySQL 使配置生效
sudo systemctl restart mysqld

2.2. 查看是否成功开启 Binlog 日志

重启 mysql 后,会生成一条新的记录,到/var/lib/mysql 目录下查看初始文件大小154

插入一条数据库,再次查看,大小是否变化即可。

2.3. 赋权限

在 mysql 中执行以下代码,让 canal 用户可以读取 mysql 的日志文件。

执行完成后在默认的 mysql这个库的 user 表中会有 canal这个账号

mysql> set global validate_password_length=4;
mysql> set global validate_password_policy=0;
mysql> GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 
'canal'@'%' IDENTIFIED BY 'canal' ;  #账号canal 密码 canal

3. Canal 下载和安装

git地址

拷贝压缩包到/opt/sortware 目录下,然后解压 到/opt/module/canal 包下 (注意:canal 解压后是分散的,我们在指定解压目录的时候需要将 canal 指定上)

[atguigu@hadoop102 software]$ mkdir /opt/module/canal
[atguigu@hadoop102 software]$ tar -zxvf canal.deployer-1.1.2.tar.gz -C  /opt/module/canal

3.1. 修改canal.properties 的配置

说明:这个文件是 canal 的基本通用配置,canal 端口号默认就是 11111,修改 canal 的 输出 model,默认 tcp。可以是 tcp, kafka, RocketMQ

[atguigu@hadoop102 conf]$ vim canal.properties
#################################################
######### common argument ############# 
#################################################
canal.id = 1
canal.ip =
canal.port = 11111
canal.metrics.pull.port = 11112
canal.zkServers =
# flush data to zk
canal.zookeeper.flush.period = 1000
canal.withoutNetty = false
# tcp, kafka, RocketMQ
canal.serverMode = tcp
# flush meta cursor/parse position to file

多实例配置如果创建多个实例,通过前面 canal 架构,我们可以知道,一个 canal 服务 中可以有多个 instance,conf/下的每一个 example 即是一个实例,每个实例下面都有独立的 配置文件。默认只有一个实例 example,如果需要多个实例处理不同的 MySQL 数据的话,直 接拷贝出多个 example,并对其重新命名,命名和配置文件中指定的名称一致,然后修改 canal.properties 中的 canal.destinations=实例 1,实例 2,实例 3。

#################################################
######### destinations ############# 
#################################################
canal.destinations = example

3.2. 修改 instance.properties

我们这里只读取一个 MySQL 数据,所以只有一个实例,这个实例的配置文件在 conf/example 目录下

[atguigu@hadoop102 example]$ vim instance.properties
################################################# 配置mysql 服务器地址
## mysql serverId , v1.0.26+ will autoGen 
canal.instance.mysql.slaveId=20
# enable gtid use true/false
canal.instance.gtidon=false
# position info
canal.instance.master.address=hadoop102:3306
################################################# 配置连接 MySQL 的用户名和密码,默认就是我们前面授权的 canal
# username/password
canal.instance.dbUsername=canal
canal.instance.dbPassword=canal
canal.instance.connectionCharset = UTF-8
canal.instance.defaultDatabaseName =test
# enable druid Decrypt database password
canal.instance.enableDruid=false

4. Java 单元测试

<dependency>
 <groupId>com.alibaba.otter</groupId>
 <artifactId>canal.client</artifactId>
 <version>1.1.2</version>
</dependency>

Canal 数据结构

package com.z001.snack.search;
import com.alibaba.fastjson.JSONObject;
import com.alibaba.otter.canal.client.CanalConnector;
import com.alibaba.otter.canal.client.CanalConnectors;
import com.alibaba.otter.canal.protocol.CanalEntry;
import com.alibaba.otter.canal.protocol.Message;
import com.google.protobuf.ByteString;
import com.google.protobuf.InvalidProtocolBufferException;
import java.net.InetSocketAddress;
import java.util.List;
public class CanalClient {
    public static void main(String[] args) throws
            InvalidProtocolBufferException {
        //1.获取 canal 连接对象
        CanalConnector canalConnector =
                CanalConnectors.newSingleConnector(new
                        InetSocketAddress("hadoop102", 11111), "example", "", "");
        while (true) {
            //2.获取连接
            canalConnector.connect();
            //3.指定要监控的数据库
            canalConnector.subscribe("gmall.*");
            //4.获取 Message
            Message message = canalConnector.get(100);
            List<CanalEntry.Entry> entries = message.getEntries();
            if (entries.size() <= 0) {
                System.out.println("没有数据,休息一会");
                try {
                    Thread.sleep(1000);
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
            } else {
                for (CanalEntry.Entry entry : entries) {
                    //TODO 获取表名
                    String tableName =
                            entry.getHeader().getTableName();
                    // TODO Entry 类型
                    CanalEntry.EntryType entryType =
                            entry.getEntryType();
                    // TODO 判断 entryType 是否为 ROWDATA
                    if
                    (CanalEntry.EntryType.ROWDATA.equals(entryType)) {
                        // TODO 序列化数据
                        ByteString storeValue = entry.getStoreValue();
                        // TODO 反序列化
                        CanalEntry.RowChange rowChange =
                                CanalEntry.RowChange.parseFrom(storeValue);
                        //TODO 获取事件类型
                        CanalEntry.EventType eventType =
                                rowChange.getEventType();
                        //TODO 获取具体的数据
                        List<CanalEntry.RowData> rowDatasList =
                                rowChange.getRowDatasList();
                        //TODO 遍历并打印数据
                        for (CanalEntry.RowData rowData : rowDatasList)
                        {
                            List<CanalEntry.Column> beforeColumnsList =
                                    rowData.getBeforeColumnsList();
                            JSONObject beforeData = new JSONObject();
                            for (CanalEntry.Column column :
                                    beforeColumnsList) {
                                beforeData.put(column.getName(),
                                        column.getValue());
                            }
                            JSONObject afterData = new JSONObject();
                            List<CanalEntry.Column> afterColumnsList =
                                    rowData.getAfterColumnsList();
                            for (CanalEntry.Column column :
                                    afterColumnsList) {
                                afterData.put(column.getName(),
                                        column.getValue());
                            }
                            System.out.println("TableName:" + tableName
                                    +
                                    ",EventType:" + eventType +
                                    ",After:" + beforeData +
                                    ",After:" + afterData);
                        }
                    }
                }
            }
        }
    }
}
目录
相关文章
|
8月前
|
canal SQL 关系型数据库
|
8月前
|
canal SQL 关系型数据库
Canal报错总结(三)
Canal报错总结(三)
|
canal 关系型数据库 MySQL
Canal服务搭建
Canal服务搭建
1026 1
Canal服务搭建
|
7天前
|
canal 缓存 SpringCloudAlibaba
Springcloud Alibaba 使用Canal将MySql数据实时同步到Elasticsearch
本篇文章在Springcloud Alibaba使用Canal将Mysql数据实时同步到Redis保证缓存的一致性-CSDN博客 基础上使用canal将mysql数据实时同步到Elasticsearch。
|
8月前
|
canal druid 关系型数据库
Canal报错总结(二)
Canal报错总结(二)
|
9月前
|
canal SQL 缓存
Canal1.1.6安装部署
Canal1.1.6安装部署
273 0
|
11月前
|
canal 关系型数据库 MySQL
Canal
Canal是一个用于MySQL数据增量订阅和消费的开源组件,支持多种数据订阅方式,包括基于GTID位点的订阅。
843 0
|
canal SQL 关系型数据库
10.【canal】canal从入门到放弃-mysql+canal+rocketmq实现数据库同步-canal简单使用
【canal】canal从入门到放弃-mysql+canal+rocketmq实现数据库同步-canal简单使用
10.【canal】canal从入门到放弃-mysql+canal+rocketmq实现数据库同步-canal简单使用
|
canal 关系型数据库 MySQL
9.【canal】canal从入门到放弃-mysql+canal+rocketmq实现数据库同步-canal安装
canal从入门到放弃-mysql+canal+rocketmq实现数据库同步-canal安装
9.【canal】canal从入门到放弃-mysql+canal+rocketmq实现数据库同步-canal安装