数据库版本:MariaDB 5.5.6 基本上都是默认配置,没有改特别的,Kafka中是单Topic单分区。用控制台消费者消费时发现数据消费不全,很奇怪的现象。而且测试多次,测了多个表均没有100%消费到。
如图中所示,导入了100条数据,测试多次,并且换其它节点进行单独消费,每次测试时消费都只有22条
INSTANCE MQ的配置就指定了个topic,其它都是模板默认的 #mq config canal.mq.topic=test_ebitg_mytest2 #dynamic topic route by schema or table regex #canal.mq.dynamicTopic=mytest1.user,mytest2..,...* canal.mq.partition=0 #hash partition config #canal.mq.partitionsNum=3 #canal.mq.partitionHash=test.table:id^name,...
请教下,这种情况该怎么排查?是哪里配置的不对吗? 我这个表里没有主键,跟表的主键有关系吗?(我测试好像没有关系) 我看到文档中关于mariaDB有以下设置,但是我不太清楚图中的两个地方应该在哪里配置?谢谢!
原提问者GitHub用户Nakrid
解决了,不能单凭接收消息数来比较数量。一条json串里可能会有很多条数据,应该是跟batch commit有关。
原回答者GitHub用户NAkrid
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。