Canal服务搭建

介绍

主要用途

基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。

适用场景

• 数据库镜像
• 数据库实时备份
• 索引构建和实时维护(拆分异构索引、倒排索引等)
• 业务 cache 刷新
• 带业务逻辑的增量数据处理

工作原理

基于MySQL主备复制原理,伪装成MySQL slave,模拟MySQL slave的交互协议,
向MySQL mater发送dump协议,MySQL mater收到canal发送过来的dump请求，开始推送binary log给canal，
canal解析binary log，再发送到其他存储服务中，如: MySQL，RocketMQ，ES等等。

用途

搭建

1.直接部署

1.下载安装包(点击上面Release)
    这里用1.1.4版本,下载 canal.deployer-1.1.4.tar.gz(主要程序) 和 canal.admin-1.1.4.tar.gz(管理程序)

2.解压&配置
    mkdir canal-deployer
    mkdir canal-admin
    tar -zxvf canal.deployer-1.1.4.tar.gz -C canal-deployer
    tar -zxvg canal.admin-1.1.4.tar.gz -C canal-admin
    修改 canal-deployer/conf 中 canal.properties(参考 快速开始，或参考底部配置)

3.修改Instance配置
    cd cd canal-deployer/conf/example/instance.properties
    参考官网或底部instance.peroperties配置

4.多Instance - 可选
    cd canal-deployer/conf
    cp -R example example2
    修改example2中配置

5.配置canal-admin
    初始化数据脚本，脚本所在位置 canal-admin/conf/canal_manager.sql
    修改配置，配置所在位置 canal-admin/conf/application.yml
    修改其中的数据库配置、端口号、用户名密码等-可选

6.启动
    6-1.canal-admin启动( 访问链接 localhost:80 )
        sh ./canal-admin/bin/startup.sh
    6-2.canal-server启动
        sh ./canal-deployer/bin/startup.sh
    6-3.日志所在文件夹
        cd canal-deployer/logs

2、Docker搭建步骤

docker方式部署,注意配置时mysql的IP地址

2.1、准备

1.mysql
  需要确认mysql已开启binlog设置
2.拉取canal-server镜像
  docker pull canal/canal-server:v1.1.4
3.下载docker启动脚本
   wget https://github.com/alibaba/canal/blob/master/docker/run.sh
4.修改启动脚本中数据库配置
5.下载canal-admin包,修改配置(或者复制run.sh并修改启动命令，启动canal-admin)-可选
   wget https://github.com/alibaba/canal/releases/download/canal-1.1.4/canal.admin-1.1.4.tar.gz
   mkdir canal-admin
   tar -zxvf canal.admin-1.1.4.tar.gz -C canal-admin
   修改conf/application.yml中数据库配置
   初始化mysql脚本，conf/canal_manager.sql
6.canal-client
   参考 Canal Client Example

2.2、启动命令

1.canal-server
   运行 sh run.sh 会出现提示，复制提示后运行
2.canal-admin
   sh bin/startup.sh
3.启动程序(canal-client)
    成功后会打印出empty count : xx

CanalAdmin部署

• 1.集群配置

#集群名-local
#zk地址-127.0.0.1:2181 (可以不搭建zk)
#以下为配置项
# register ip
canal.register.ip =
# canal admin config
canal.admin.manager = 127.0.0.1:8089
canal.admin.port = 11110
canal.admin.user = admin
canal.admin.passwd = 4ACFE3202A5FF5CF467898FC58AAB1D615029441

• 2.Server管理

ServerIP-127.0.0.1 (同一集群下server ip不能重复)
admin端口号-11110

• 3.Instance管理

注意：Instance名称要与cancal-server容器中文件夹一致，默认有example
Instance配置项参考官网或底部配置

一个Canal服务读取多个MySQL实例(docker中操作)

1.进入canal容器内部关闭服务(不关闭复制会导致写入db2失败)
    docker exec -it canal-server bash
    ./stop.sh
2.复制一份Instatnce配置(注意确认example2中文件权限与example中是否一样)
    cd canal-server/conf
    cp -R example example2
3.Canal Admin中添加新配置
    Instance名称-example2
4.集成zookeeper
    修改canal-server/conf/下配置canal.properties
    canal.register.ip = zk服务器IP
    canal.zkServers = zk服务器IP:2181

参考配置(基础版，其他配置参考官网)

• canal.properties

# 用以下配置项是需要修改的，其他默认配置项保留原来设置
# canal地址
canal.register.ip = zk所在地址
# zk配置，如果有用到则配置，没用到则保留默认设置
canal.admin.register.auto = true
canal.admin.register.cluster = 192.168.154.231:2181
canal.zkServers = 192.168.154.231:2181

• instance.properties

# 用以下配置项是需要修改的，其他默认配置项保留原来设置(example2配置同下)
# 数据库配置
canal.instance.master.address= 数据库IP:端口号
canal.instance.dbUsername = 用户名 
canal.instance.dbPassword = 密码
canal.instance.defaultDatabaseName = 要监控的库名，不设置则监听当前实例下所有库
canal.instance.connectionCharset = UTF-8
canal.instance.tsdb.enable=false

常见问题

• 服务都启动成功，客户端拉不到变更日志

注意客户端中 canalConnector.subscribe() 中设置项，设置了值则服务中配置的过滤条件不生效
参考配置 canalConnector.subscribe("sap_system\\..*,user_center\\..*")

• 一个Canal-Service,多个client，运行时报错

改为一个canal一个client，原因是多个client同时提交ack时，可能会存在重复提交的问题

• zk中记录的点位异常

进入zookeeper安装目录 
cd /bin
./zkClient.sh  或  ./zkCli.sh
deleteall /otter/canal/destinations/instanceName(canal-admin中配置的instance名称)

总结

1.对业务代码无侵入、实时性接近准实时
2.支持集群，集群基于zk做集群管理
3.提供多种接入方式、适配器等
3.不适合做复杂的业务逻辑判断及计算；直接对表数据进行修改，出问题后影响较大

相关网址

• 官网
• 快速开始
• Release下载
• Docker镜像地址
• Canal Admin QuickStart
• Canal Client Example