开发者社区 问答 正文

Adaper 中,只有CanalAdapterKafkaWorker和CanalAdapterWor

环境信息

canal version 1.2 mysql version 5.7.20

问题描述

Adaper 中,只有CanalAdapterKafkaWorker和CanalAdapterWorkert处理了canal.conf 中的batshSize配置,CanalAdapterRocketMQWorker没有处理 ,有什么特殊考虑吗?

原提问者GitHub用户flackyang

展开
收起
古拉古拉 2023-05-08 15:17:16 88 分享 版权
2 条回答
写回答
取消 提交回答
  • 最新的代码已经增加rocketMQConsumer.setConsumeMessageBatchMaxSize(batchSize);

    原回答者GitHub用户agapple

    2023-05-09 18:10:06
    赞同 展开评论
  • 您使用的是 Canal 版本为 1.2,MySQL 版本为 5.7.20。在 Canal 的适配器(Adapter)中,Kafka 适配器和 Worker 适配器处理了 canal.conf 中的 batchSize 配置,而 RocketMQ 适配器没有处理。

    首先需要了解的是,batchSize 参数表示一次从 MySQL binlog 中获取的事件数量。在 Canal 中,RocketMQ 适配器在取数据时没有 batchSize,而是通过消费线程数来控制每个批次消费的事件数量。因此,在 RocketMQ 适配器中省略了对 batchSize 参数的处理。

    另外,需要注意的是,Canal 中提供了多种适配器,每个适配器针对不同的下游目标系统。对于不同的适配器,其实现方式也会有所差异。在实际使用中,可以根据自身的需求选择适配器,并灵活配置参数,以满足数据传输的需求。

    2023-05-08 15:59:41
    赞同 展开评论