增量订阅&消费组件canal V1.1.5更新简介

本文涉及的产品
全局流量管理 GTM,标准版 1个月
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
云解析 DNS,旗舰版 1个月
简介: 新增database.hash的开关控制,重点优化MQ发送的性能,修复已知的MySQL DDL解析问题

功能新增

  1. 重点优化MQ发送的性能,单topic最高峰值可支持3~8万的rps,接近数量级上的性能提升#2258
  1. MQ发送特性支持
  • 新增rabbitmQ的MQ发送支持 #2156
  • 支持不同topic设置不同的分区数 #2173
  • rocketMQ新增tag属性的定义 #3438
  • 参数配置支持env环境变量 #3450
  1. 多语言客户端,新增Rust
  • canal Rust客户端:[https://github.com/laohanlinux/canal-rs]
  1. 新增Adapter的自持,比如es7
  2. 新增更灵活的消息过滤能力,可以指定是否过滤Insert/Update/Delete #3452

重要优化

  1. 切换fastsql为druid 1.2.6版本,修复已知的MySQL DDL解析问题,#2168#2766#2828#3428#2954
  2. 新增database.hash的开关控制,用于满足不同业务表针对相同主键值路由到相同分区 #2248
  3. MQ消息发送(比如Kafka/RocketMQ),修复线程池死锁等待的现象 #2434
  4. 修复rocketmq针对flatMessage模式下的null值消息问题 #2990#3267
  5. 修复canal HA切换后多个instance初始化的并发冲突问题 #3454
  6. 修复MariaDB下GTID模式的使用问题 #2453

小需求&bugfix

  1. 修复admin下config接口的信息泄露 #3451
  2. 修复MySQL time类型100:00:01时解析错误 #2257
  3. 修复Aliyun RDS订阅模式下的问题,比如ak/sk参数兼容
  4. 修复gtid模式下位点持久不更新的问题 #2616
  5. 修复中文表名的表结构解析问题 #2714
  6. 修复docker基础镜像的构建问题 #3397
  7. 修复数据库名中有特殊符号的解析问题 #3377
  8. 修复json解析中的转义符问题 #3110
  9. 修复aliyun rds隐藏主键的解析支持 #2785
  10. 新增admin模式下自动注册时可自定义节点名称 #3459
相关实践学习
消息队列RocketMQ版:基础消息收发功能体验
本实验场景介绍消息队列RocketMQ版的基础消息收发功能,涵盖实例创建、Topic、Group资源创建以及消息收发体验等基础功能模块。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列:消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验:基于MNS,0基础轻松构建 Web Client 本节课带您一起基于MNS,0基础轻松构建 Web Client
相关文章
|
7月前
|
消息中间件 存储 监控
如何修改 Kafka 消息保留时长:经验总结
如何修改 Kafka 消息保留时长:经验总结
1368 4
|
3月前
|
消息中间件 SQL API
TDengine 数据订阅 vs. InfluxDB 数据订阅:谁更胜一筹?
在时序数据的应用场景中,数据的实时消费和处理能力成为衡量数据库性能和可用性的重要指标。TDengine 和 InfluxDB 作为时序数据库(Time Series Database)中的佼佼者,在数据订阅方面各有特点。但从架构设计、灵活性和系统负载上看,TDengine 提供了更加全面且高效的解决方案。
81 2
|
8月前
|
消息中间件 负载均衡 监控
Kafka消费者:监听模式VS主动拉取,哪种更适合你?
Kafka消费者:监听模式VS主动拉取,哪种更适合你?
216 1
|
9月前
|
消息中间件 Java Kafka
MQ产品使用合集之对于Kafka作为数据源的情况,官方比较推荐哪种使用方式
消息队列(MQ)是一种用于异步通信和解耦的应用程序间消息传递的服务,广泛应用于分布式系统中。针对不同的MQ产品,如阿里云的RocketMQ、RabbitMQ等,它们在实现上述场景时可能会有不同的特性和优势,比如RocketMQ强调高吞吐量、低延迟和高可用性,适合大规模分布式系统;而RabbitMQ则以其灵活的路由规则和丰富的协议支持受到青睐。下面是一些常见的消息队列MQ产品的使用场景合集,这些场景涵盖了多种行业和业务需求。
|
消息中间件 负载均衡 Kafka
Kafka学习---2、kafka生产者、异步和同步发送API、分区、生产经验(一)
Kafka学习---2、kafka生产者、异步和同步发送API、分区、生产经验(一)
|
消息中间件 关系型数据库 MySQL
SpringBoot-Kafka(生产者事务、手动提交offset、定时消费、消息转发、过滤消息内容、自定义分区器、提高吞吐量)
SpringBoot-Kafka(生产者事务、手动提交offset、定时消费、消息转发、过滤消息内容、自定义分区器、提高吞吐量)
SpringBoot-Kafka(生产者事务、手动提交offset、定时消费、消息转发、过滤消息内容、自定义分区器、提高吞吐量)
|
消息中间件 运维 物联网
一文告诉你为什么时序场景下 TDengine 数据订阅比 Kafka 好
在本文中,TDengine 研发人员详细揭秘了 TDengine 数据订阅的流程和具体实现。
322 0
|
消息中间件 存储 SQL
关于 TDengine 3.0 数据订阅,你需要知道这些
TDengine 3.0 对数据订阅功能又进行了优化升级,本文将详细介绍其语法规则,方便开发者及企业使用。
456 0
|
消息中间件 缓存 Kafka
Kafka学习---2、kafka生产者、异步和同步发送API、分区、生产经验(二)
Kafka学习---2、kafka生产者、异步和同步发送API、分区、生产经验(二)
|
消息中间件 Kafka 测试技术
Apache Kafka-消费端_批量消费消息的核心参数及功能实现
Apache Kafka-消费端_批量消费消息的核心参数及功能实现
406 0