增量订阅&消费组件canal V1.1.5更新简介

简介: 新增database.hash的开关控制,重点优化MQ发送的性能,修复已知的MySQL DDL解析问题

功能新增

  1. 重点优化MQ发送的性能,单topic最高峰值可支持3~8万的rps,接近数量级上的性能提升#2258
  1. MQ发送特性支持
  • 新增rabbitmQ的MQ发送支持 #2156
  • 支持不同topic设置不同的分区数 #2173
  • rocketMQ新增tag属性的定义 #3438
  • 参数配置支持env环境变量 #3450
  1. 多语言客户端,新增Rust
  • canal Rust客户端:[https://github.com/laohanlinux/canal-rs]
  1. 新增Adapter的自持,比如es7
  2. 新增更灵活的消息过滤能力,可以指定是否过滤Insert/Update/Delete #3452

重要优化

  1. 切换fastsql为druid 1.2.6版本,修复已知的MySQL DDL解析问题,#2168#2766#2828#3428#2954
  2. 新增database.hash的开关控制,用于满足不同业务表针对相同主键值路由到相同分区 #2248
  3. MQ消息发送(比如Kafka/RocketMQ),修复线程池死锁等待的现象 #2434
  4. 修复rocketmq针对flatMessage模式下的null值消息问题 #2990#3267
  5. 修复canal HA切换后多个instance初始化的并发冲突问题 #3454
  6. 修复MariaDB下GTID模式的使用问题 #2453

小需求&bugfix

  1. 修复admin下config接口的信息泄露 #3451
  2. 修复MySQL time类型100:00:01时解析错误 #2257
  3. 修复Aliyun RDS订阅模式下的问题,比如ak/sk参数兼容
  4. 修复gtid模式下位点持久不更新的问题 #2616
  5. 修复中文表名的表结构解析问题 #2714
  6. 修复docker基础镜像的构建问题 #3397
  7. 修复数据库名中有特殊符号的解析问题 #3377
  8. 修复json解析中的转义符问题 #3110
  9. 修复aliyun rds隐藏主键的解析支持 #2785
  10. 新增admin模式下自动注册时可自定义节点名称 #3459
相关实践学习
快速体验阿里云云消息队列RocketMQ版
本实验将带您快速体验使用云消息队列RocketMQ版Serverless系列实例进行获取接入点、创建Topic、创建订阅组、收发消息、查看消息轨迹和仪表盘。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列:消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验:基于MNS,0基础轻松构建 Web Client 本节课带您一起基于MNS,0基础轻松构建 Web Client
相关文章
|
SQL 关系型数据库 MySQL
实时计算 Flink版操作报错之从specified offset启动没有问题,但是停机后从savepoint恢复则报错binlog被purge(实际文件还在),如何处理
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
|
NoSQL Redis
Redis 之 WRONGTYPE Operation against a key holding the wrong kind of value【bug解决】
Redis 之 WRONGTYPE Operation against a key holding the wrong kind of value【bug解决】
11318 0
|
canal 存储 NoSQL
mysql进阶:canal搭建主从|集群架构
之前我们讲解过canal的各种应用,但是对于生产环境来讲,服务高可用是必须保证的。因此canal单节点是不能满足我们的需求的。就需要搭建canal集群。
1528 2
mysql进阶:canal搭建主从|集群架构
|
消息中间件 Kafka 数据库
多个2.4的Flink CDC会有debezium冲突怎么解决啊?
【2月更文挑战第25天】多个2.4的Flink CDC会有debezium冲突怎么解决啊?
232 3
CompletableFuture在超时后,能够停止执行吗?
CompletableFuture在超时后,能够停止执行吗?
242 0
|
canal 消息中间件 监控
[从零单排canal 02] canal 集群版+admin控制台 最新搭建姿势(基于1.1.4版本)
[从零单排canal 02] canal 集群版+admin控制台 最新搭建姿势(基于1.1.4版本)
2103 0
[从零单排canal 02] canal 集群版+admin控制台 最新搭建姿势(基于1.1.4版本)
|
消息中间件 Kafka 流计算
【万字长文】Flink cdc源码精讲(推荐收藏)(四)
【万字长文】Flink cdc源码精讲(推荐收藏)
955 0
【万字长文】Flink cdc源码精讲(推荐收藏)(四)