开发者社区> 问答> 正文

Kafka用控制台消费者测试时发现有丢数据的情况

数据库版本:MariaDB 5.5.6 基本上都是默认配置,没有改特别的,Kafka中是单Topic单分区。用控制台消费者消费时发现数据消费不全,很奇怪的现象。而且测试多次,测了多个表均没有100%消费到。

提问193.png

如图中所示,导入了100条数据,测试多次,并且换其它节点进行单独消费,每次测试时消费都只有22条

提问194.png

INSTANCE MQ的配置就指定了个topic,其它都是模板默认的 #mq config canal.mq.topic=test_ebitg_mytest2 #dynamic topic route by schema or table regex #canal.mq.dynamicTopic=mytest1.user,mytest2..,...* canal.mq.partition=0 #hash partition config #canal.mq.partitionsNum=3 #canal.mq.partitionHash=test.table:id^name,...

请教下,这种情况该怎么排查?是哪里配置的不对吗? 我这个表里没有主键,跟表的主键有关系吗?(我测试好像没有关系) 我看到文档中关于mariaDB有以下设置,但是我不太清楚图中的两个地方应该在哪里配置?谢谢!

提问195.png

原提问者GitHub用户Nakrid

展开
收起
Java工程师 2023-05-03 12:33:45 126 0
1 条回答
写回答
取消 提交回答
  • 解决了,不能单凭接收消息数来比较数量。一条json串里可能会有很多条数据,应该是跟batch commit有关。

    原回答者GitHub用户NAkrid

    2023-05-04 16:16:03
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Java Spring Boot开发实战系列课程【第16讲】:Spring Boot 2.0 实战Apache Kafka百万级高并发消息中间件与原理解析 立即下载
MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载
消息队列kafka介绍 立即下载