kafka创建topic能否自动设置副本数和分区数
Canal: 1.1.3 MySQL: 5.7.18
Canal自动创建topic的时候 默认为1个副本，1个分区，无法创建多个，请问是配置什么地方有问题还是需要调整Kafka相关设置？
canal配置
################################################## ######### MQ ############# ################################################## canal.mq.servers = kafka1:9092,kafka2:9092,kafka3:9092 canal.mq.retries = 0 canal.mq.batchSize = 16384 canal.mq.maxRequestSize = 1048576 canal.mq.lingerMs = 200 canal.mq.bufferMemory = 33554432 canal.mq.canalBatchSize = 50 canal.mq.canalGetTimeout = 100 canal.mq.flatMessage = true canal.mq.compressionType = none canal.mq.acks = all
use transaction for kafka flatMessage batch produce
canal.mq.transaction = false #canal.mq.properties. =
instance配置
#canal.instance.filter.regex=.\.. canal.instance.filter.regex=third\_account\..*
table black regex
canal.instance.filter.black.regex=
mq config
canal.mq.topic=dev
dynamic topic route by schema or table regex
canal.mq.dynamicTopic=third_account_credits_log:third\_account\.credits\_log.* #canal.mq.partition=0
hash partition config
canal.mq.partitionsNum=20 canal.mq.partitionHash=third\_account\.credits\_log.*:ax_uid
原提问者GitHub用户polegek
写回答
-
可以通过修改kafka的${KAFKA_HOME}/conf/server.properties文件来修改自动创建的topic的分区和副本： The default number of log partitions per topic. More partitions allow greater parallelism for consumption, but this will also result in more files across the brokers. num.partitions=3 default.replication.factor=2
原回答者GitHub用户zongsforce
2023-05-05 10:22:45赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
