windows 本地测试spark streaming + kafka direct api 卡在如下信息出:
“Kafka scala consumer marked as dead for group”
1.环境:
kafka server为集群,连接时使用的是hostname:9092方法去连接,程序也不报错, 就是卡在上面的信息出,没有输出。
2.之前已经在集群上使用shell 测试过相应的topic,kafka 和 topic没有问题。
3.所以问题可能出在windows上,最可能就是hosts中的kafka服务器域名配置问题。验证后,果然是。
**解决方法: 修改本地windows上hosts文件,添加对应的主机映射关系即可,保证两者网络通信畅通。**
问题原因: kafka 某个topic 下的某一个机器网络是不通的,导致去获取该机器上的消费组时无法获取到,就标记该组在机器上为死亡状态。