Kafka 消费过程中遇到的一些问题

简介: 1.Error UNKNOWN_MEMBER_ID occurred while committing offsets for group *昨天遇到kafka的消费端报错如下: 2017-06-21 10:55:32,032 [messageListenerContainer_batteryGroupAlarm-C-1] ERROR org.

1.Error UNKNOWN_MEMBER_ID occurred while committing offsets for group *

昨天遇到kafka的消费端报错如下:

2017-06-21 10:55:32,032 [messageListenerContainer_batteryGroupAlarm-C-1] ERROR org.apache.kafka.clients.consumer.internals.ConsumerCoordinator$OffsetCommitResponseHandler.handle(ConsumerCoordinator.java:544) - Error UNKNOWN_MEMBER_ID occurred while committing offsets for group 0

大概意思就是我这个消费者在提交offset的时候,出现了个异常。
分析原因:
- 消息过大,消费过程过长,在session time out这段时间内,没有处理完成,导致心跳检测信号没发出来,这时候,consumers的协调器coordinator 就会认为,这个消费者挂掉了,所以,消费者的offset提交失败,这时候,所有的consumers进行reblance过程(partition要在consumer中重新分配),由于之前消费了的消息,进行了partitiion的重新分配,又要重新被消费,可能会进入一个恶性循环。
策略:

1,更改 session.timeout.ms的值,加大消费时间;
2,调高心跳检测heartbeat.interval.ms的值
3,如果使用了spring-kafka,则可以更改enable.auto.commit=false ,使用spring-kafka的提交策略。
4,最有效的方法,提搞partition的个数,增加消费水平

目录
相关文章
|
消息中间件 JSON NoSQL
记一次Flink 消费Kafka数据积压排查解决
记一次Flink 消费Kafka数据积压排查解决
记一次Flink 消费Kafka数据积压排查解决
|
消息中间件 NoSQL Kafka
【Flink-FlinkUtils】高级自定义封装工具类实现消费kafka数据保存数据到Redis
【Flink-FlinkUtils】高级自定义封装工具类实现消费kafka数据保存数据到Redis
352 0
【Flink-FlinkUtils】高级自定义封装工具类实现消费kafka数据保存数据到Redis
|
消息中间件 弹性计算 Java
【采坑-Flink消费kafka中的数据】阿里云ECS/VMware之zookeeper和kafka单机/集群环境
【采坑-Flink消费kafka中的数据】阿里云ECS/VMware之zookeeper和kafka单机/集群环境
294 0
【采坑-Flink消费kafka中的数据】阿里云ECS/VMware之zookeeper和kafka单机/集群环境
|
消息中间件 存储 运维
Kafka消费组/者协调器的介绍
什么是协调器 协调器是用于协调多个消费者之间能够正确的工作的一个角色, 比如计算消费的分区分配策略,又或者消费者的加入组与离开组的处理逻辑, 有一点类似Kafka种的控制器的角色。
Kafka消费组/者协调器的介绍
|
消息中间件 缓存 Kafka
Kafka 怎么顺序消费?面试必备。。。
Kafka 怎么顺序消费?面试必备。。。
275 1
|
消息中间件 分布式计算 监控
面对Kafka消费不给力,如何轻松解决呢?
随着目前业务复杂度的增加,项目中经常需要有大量的跨系统异步任务需要处理。
面对Kafka消费不给力,如何轻松解决呢?
|
消息中间件 监控 安全
Zabbix告警消息推送至kafka并消费至企业微信
Zabbix告警消息推送至kafka并消费至企业微信
Zabbix告警消息推送至kafka并消费至企业微信
|
消息中间件 存储 数据采集
Streaming 消费 kafka 数据的两种方式|学习笔记
快速学习 Streaming 消费 kafka 数据的两种方式
|
消息中间件 Java Kafka
Java实现Flink集成Kafka消费数据
Java实现Flink集成Kafka消费数据
430 0
|
消息中间件 Java Kafka
Java模拟读取本地数据到Flink集成的Kafka并消费数据
Java模拟读取本地数据到Flink集成的Kafka并消费数据
221 0