开发者社区> 问答> 正文

kafka pattion数据堆积,然后自动丢失?报错

入上图所示,我开了两个消费者,三个pattion,刚开始是正常的,但是每次大概在跑了一天左右以后,pattion1 中的数据,开始不被消费,出现堆积,通过日志也发现,1的数据没有被消费,并且没有出现报错,并且奇怪的是,过一段时间以后,pattion1 中lag数据开始500多条500多条的直接减少,也就是说,数据开始丢失,但是并不是被消费了,是直接开始丢失掉,后来我开了三个消费者,发现情况完全一样,跑了一天左右以后,其中一个pattion开始堆积,然后堆积以后开始大面积丢失,实际上我们的数据量并不大

展开
收起
爱吃鱼的程序员 2020-06-06 09:44:54 514 0
1 条回答
写回答
取消 提交回答
  • https://developer.aliyun.com/profile/5yerqm5bn5yqg?spm=a2c6h.12873639.0.0.6eae304abcjaIB
                        <p>什么监控软件</p>
                    
    
                        <p>有的监控软件是有bug的,还有就是看下 kafka的配置 设置的消息过期时间</p>
    
    2020-06-06 09:45:05
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Java Spring Boot开发实战系列课程【第16讲】:Spring Boot 2.0 实战Apache Kafka百万级高并发消息中间件与原理解析 立即下载
MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载
消息队列kafka介绍 立即下载