请教大佬们，有没有遇到过一个问题，场景：消费KAFKA写ES过程中，作业假死。现象：作业没有报错，但
请教大佬们，有没有遇到过一个问题，场景：消费KAFKA写ES过程中，作业假死。现象：作业没有报错，但是不消费KAFKA了，也不写ES了，数据不流动了
kafka大概60-180个分区不等 我是一套代码 跑了10个程序 消费了不同的TOPIC
写回答
-
从你的描述来看，这个问题的可能原因有很多，包括但不限于：
Kafka的消费者组配置问题：Kafka的消费者组配置可能会影响到消费者的行为。例如，如果消费者组的成员数量设置得过小，可能会导致某些消费者无法接收到消息。
Kafka的分区分配问题：Kafka的分区分配可能会影响到消费者的性能。如果某些分区被分配给了过多的消费者，可能会导致这些消费者无法及时处理消息。
ES的连接问题：如果你的程序需要连接到ES来写入数据，那么可能会出现连接问题。例如，如果ES的服务器宕机或者网络出现问题，可能会导致程序无法连接到ES。
程序的问题：程序本身可能会出现一些问题，例如内存泄漏、线程阻塞等，这些问题都可能导致程序无法正常工作。
2023-10-12 08:55:09赞同 展开评论 打赏 -
是 sql吗， 分区数小于并发度的话，是不是得配一下这个参数table.exec.source.idle-timeout
此答案来自钉钉群“【2】Apache Flink China 社区”
2023-10-11 20:41:22赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。
