环境信息
canal version 1.2 mysql version 5.7.20
问题描述
Adaper 中,只有CanalAdapterKafkaWorker和CanalAdapterWorkert处理了canal.conf 中的batshSize配置,CanalAdapterRocketMQWorker没有处理 ,有什么特殊考虑吗?
原提问者GitHub用户flackyang
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
最新的代码已经增加rocketMQConsumer.setConsumeMessageBatchMaxSize(batchSize);
原回答者GitHub用户agapple
您使用的是 Canal 版本为 1.2,MySQL 版本为 5.7.20。在 Canal 的适配器(Adapter)中,Kafka 适配器和 Worker 适配器处理了 canal.conf 中的 batchSize 配置,而 RocketMQ 适配器没有处理。
首先需要了解的是,batchSize 参数表示一次从 MySQL binlog 中获取的事件数量。在 Canal 中,RocketMQ 适配器在取数据时没有 batchSize,而是通过消费线程数来控制每个批次消费的事件数量。因此,在 RocketMQ 适配器中省略了对 batchSize 参数的处理。
另外,需要注意的是,Canal 中提供了多种适配器,每个适配器针对不同的下游目标系统。对于不同的适配器,其实现方式也会有所差异。在实际使用中,可以根据自身的需求选择适配器,并灵活配置参数,以满足数据传输的需求。