作者：阿里云数据库产品事业部
高级技术专家 七锋
1.1.3 Release Note
canal是阿里巴巴在2012年开源的基于MySQL数据库增量日志解析，提供增量数据订阅&消费。基于canal的准实时日志订阅消费，你可以完成类似的业务：
1.同步到另一个数据库，比如异地容灾、同步离线库等
2.构建多级索引 (卖家和买家各自分库索引)
3.实时构建搜索引擎，比如同步给elasticsearch
4.业务cache刷新
5.价格变化等重要业务消息
项目开源地址：https://github.com/alibaba/canal。经历了4个月的蛰伏，canal 1.1系列的1.1.3正式发布了，主要围绕自建的生态能力，完善消息投递到MQ和Client Adapter做了比较多的测试和修复工作，具体的变更日志：
功能新增
1.支持mysql8.0新的
- caching_sha2_password认证协议
2.支持Azure MySQL的认证协议
3.canal投递MQ消息
- 支持按表规则定义dynamic topic、partition路由的能力
- 新增kafka消息投递事务
4.canal内置的客户端
rds-adapter 增加mysql整个DB层面的同步配置
es-adapter 新增父子文档索引适配
小需求 & bugfix
- 解决server单核服务器无法接收数据的问题 #1605
- 修复TableMeta TSDB支持utf8mb4 #1550
- 修复MQ消息发送时非flatMessage模式出现数据重复 #1551
- 修复Kafka配置为分区模式时出现数据 #1636
- 修复fastsql的几个DDL解析问题#1306 #1546 # 1626
- 修复rdb-adapter同步的类型转化、空指针、大小写、DDL同步等问#1313 #1338 #1341 #1408 #1433
- 修复投递MQ模式，Canal server HA在切换后不生效 #1229
- 修复es-adapter数据库主键类型错误 #1559
- 修复charset编码不存在 #1662
更多详情，可以参见: https://github.com/alibaba/canal/releases
Canal工作原理
原理相对比较简单：
- canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump协议
- mysql master收到dump请求，开始推送binary log给slave(也就是canal)
- canal解析binary log对象(原始为byte流)
Canal整体架构
说明：
- server代表一个canal运行实例，对应于一个jvm
- instance对应于一个数据队列(1个server对应1..n个instance)
instance模块：
- eventParser(数据源接入，模拟slave协议和master进行交互，协议解析)
- eventSink(Parser和Store链接器，进行数据过滤，加工，分发的工作)
- eventStore(数据存储)
- metaManager(增量订阅&消费信息管理器)
整个canal-server可以有两种交付方式
1.client/server架构，可以独立部署一个canal server进程去抓取MySQL binlog，然后业务代码里启动1个或多个canal client来做消费。优点：开箱即用，运维简单
2.嵌入式架构，允许业务代码里启动canal server直接来做消费。优点：方便和业务系统做集成
canal相比于其他开源的binlog产品，如open-replicator,mysql-binlog-connector-java,Tungsten Replicator，maxwell有比较多的优势：
1.高可用性。canal支持MySQL主备、server和client多个层面的高可用机制，可以作为生产使用
2.跨语言。canal的通讯协议选择了protobuf 3.6.1，client层面目前支持java、c#、go多个语言的客户端
3.整体性。canal支持增量数据投递到MQ，同时引入Client Adpater扩展机制，目前支持rdb、elasticsearch、hbase等目标的写入
Canal应用场景
1.aliyun DRDS(分布式关系型数据库服务)，基于canal实现的SQL级别闪回能力正式上线，可以做到单个SQL级别误删的闪回，再也不用担心其他并行SQL业务的数据丢失，相比于传统的备份集恢复 或 基于时间戳闪回 ，SQL闪回可以做更快的RTO和更低的RPO，具体可参见：https://help.aliyun.com/document_detail/108629.html
2.aliyun Log Service(日志服务)，通过Binlog订阅数据库增量更新同步到日志服务中，导入下游离线计算或者进行审计，具体可参见：
https://help.aliyun.com/document_detail/64953.html
3.实战 canal实现Mysql到Elasticsearch实时增量同步，具体可参见：实战 | canal 实现Mysql到Elasticsearch实时增量同步
