请教大佬们,有没有遇到过一个问题,场景:消费KAFKA写ES过程中,作业假死。现象:作业没有报错,但是不消费KAFKA了,也不写ES了,数据不流动了
kafka大概60-180个分区不等 我是一套代码 跑了10个程序 消费了不同的TOPIC
从你的描述来看,这个问题的可能原因有很多,包括但不限于:
Kafka的消费者组配置问题:Kafka的消费者组配置可能会影响到消费者的行为。例如,如果消费者组的成员数量设置得过小,可能会导致某些消费者无法接收到消息。
Kafka的分区分配问题:Kafka的分区分配可能会影响到消费者的性能。如果某些分区被分配给了过多的消费者,可能会导致这些消费者无法及时处理消息。
ES的连接问题:如果你的程序需要连接到ES来写入数据,那么可能会出现连接问题。例如,如果ES的服务器宕机或者网络出现问题,可能会导致程序无法连接到ES。
程序的问题:程序本身可能会出现一些问题,例如内存泄漏、线程阻塞等,这些问题都可能导致程序无法正常工作。
是 sql吗, 分区数小于并发度的话,是不是得配一下这个参数table.exec.source.idle-timeout
此答案来自钉钉群“【2】Apache Flink China 社区”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。