开发者社区> 问答> 正文

canal同步数据到kafka,监控delay显示延迟很大

最近使用canal同步一张表的数据到kafka,每天晚上1点多会有一个定时任务批量更新这个表,会出现波峰情况,但是从监控上看,延迟最大竟然有4个多小时,有点理解不了。请大佬帮忙分析下, 监控图如下

提问179.png

kafka的配置如下: canal.mq.retries = 1 canal.mq.batchSize = 49152 canal.mq.maxRequestSize = 1048576 canal.mq.lingerMs = 200 canal.mq.bufferMemory = 33554432 canal.mq.canalBatchSize = 50 canal.mq.canalGetTimeout = 100 canal.mq.flatMessage = true canal.mq.compressionType = none canal.mq.acks = 1 canal.mq.producerGroup = test canal.mq.accessChannel = local

instance配置 canal.mq.topic=t_order canal.mq.partitionsNum=20 canal.mq.partitionHash=d_business.t_order:id

还有我在开发环境进行了测试,同样的kafka配置,表结构。使用存储过程批量插入10000条数据,kafka消费端能很快消费完所有数据,但是监控的delay指标依然很高,blocking指标没有显示存在柱塞情况,不太清楚put get ack delay指标的计算方式,请大佬指点

提问180.png

原提问者GitHub用户luojun0513

展开
收起
Java工程师 2023-05-03 11:26:48 255 0
1 条回答
写回答
取消 提交回答
  • kafka ack all改为1

    原回答者GitHub用户kirin-13

    2023-05-04 15:15:58
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Java Spring Boot开发实战系列课程【第16讲】:Spring Boot 2.0 实战Apache Kafka百万级高并发消息中间件与原理解析 立即下载
MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载
消息队列kafka介绍 立即下载