canal.mq.partitionsNum=3 最大值只能设置3 ，超过3就会报错
canal.mq.partitionsNum=3 最大值只能设置3 ，超过3就会报错
2019-04-03 17:21:56.453 [pool-14-thread-4] ERROR com.alibaba.otter.canal.kafka.CanalKafkaProducer - Invalid partition given with record: 3 is not in the range [0...3). org.apache.kafka.common.KafkaException: Invalid partition given with record: 3 is not in the range [0...3). at org.apache.kafka.clients.producer.KafkaProducer.waitOnMetadata(KafkaProducer.java:920) ~[kafka-clients-1.1.1.jar:na] at org.apache.kafka.clients.producer.KafkaProducer.doSend(KafkaProducer.java:794) ~[kafka-clients-1.1.1.jar:na] at org.apache.kafka.clients.producer.KafkaProducer.send(KafkaProducer.java:784) ~[kafka-clients-1.1.1.jar:na] at org.apache.kafka.clients.producer.KafkaProducer.send(KafkaProducer.java:671) ~[kafka-clients-1.1.1.jar:na] at com.alibaba.otter.canal.kafka.CanalKafkaProducer.produce(CanalKafkaProducer.java:208) ~[canal.server-1.1.3-SNAPSHOT.jar:na] at com.alibaba.otter.canal.kafka.CanalKafkaProducer.send(CanalKafkaProducer.java:181) ~[canal.server-1.1.3-SNAPSHOT.jar:na] at com.alibaba.otter.canal.kafka.CanalKafkaProducer.send(CanalKafkaProducer.java:121) ~[canal.server-1.1.3-SNAPSHOT.jar:na] at com.alibaba.otter.canal.server.CanalMQStarter.worker(CanalMQStarter.java:182) [canal.server-1.1.3-SNAPSHOT.jar:na] at com.alibaba.otter.canal.server.CanalMQStarter.access$500(CanalMQStarter.java:22) [canal.server-1.1.3-SNAPSHOT.jar:na] at com.alibaba.otter.canal.server.CanalMQStarter$CanalMQRunnable.run(CanalMQStarter.java:224) [canal.server-1.1.3-SNAPSHOT.jar:na] at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) [na:1.8.0_181] at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) [na:1.8.0_181] at java.lang.Thread.run(Thread.java:748) [na:1.8.0_181]
原提问者GitHub用户Bruce2jiang
写回答
-
-
随心分享，欢迎友善交流讨论：）Canal中的canal.mq.partitionsNum参数最大只能设置为3，这是由于Canal内部对Kafka的分区分配策略做了限制。如果您需要使用更多的分区，可以尝试手动设置Kafka的分区数，而不是依赖Canal的分区分配机制。
要手动设置Kafka的分区数，您可以通过以下步骤来完成：
在Kafka的配置文件中，将num.partitions参数设置为您需要的分区数，并重启Kafka服务。
在Canal的配置文件中，将canal.mq.partitionsNum参数设置为0，以禁用Canal的分区分配机制。
检查Canal的日志文件，确保Canal正确地连接到了Kafka，并且能够发送消息到指定的分区。
请注意，手动设置Kafka的分区数需要谨慎，并且需要根据系统的实际情况进行选择。如果设置得过多，可能会导致Kafka的性能下降，从而影响整个系统的稳定性。
2023-05-08 13:40:17赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
