开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

请教大佬们,有没有遇到过一个问题,场景:消费KAFKA写ES过程中,作业假死。现象:作业没有报错,但

请教大佬们,有没有遇到过一个问题,场景:消费KAFKA写ES过程中,作业假死。现象:作业没有报错,但是不消费KAFKA了,也不写ES了,数据不流动了

提问21.png

kafka大概60-180个分区不等 我是一套代码 跑了10个程序 消费了不同的TOPIC

展开
收起
白夜行fighting 2023-10-11 20:33:34 130 0
2 条回答
写回答
取消 提交回答
  • 从你的描述来看,这个问题的可能原因有很多,包括但不限于:

    1. Kafka的消费者组配置问题:Kafka的消费者组配置可能会影响到消费者的行为。例如,如果消费者组的成员数量设置得过小,可能会导致某些消费者无法接收到消息。

    2. Kafka的分区分配问题:Kafka的分区分配可能会影响到消费者的性能。如果某些分区被分配给了过多的消费者,可能会导致这些消费者无法及时处理消息。

    3. ES的连接问题:如果你的程序需要连接到ES来写入数据,那么可能会出现连接问题。例如,如果ES的服务器宕机或者网络出现问题,可能会导致程序无法连接到ES。

    4. 程序的问题:程序本身可能会出现一些问题,例如内存泄漏、线程阻塞等,这些问题都可能导致程序无法正常工作。

    2023-10-12 08:55:09
    赞同 展开评论 打赏
  • 是 sql吗, 分区数小于并发度的话,是不是得配一下这个参数table.exec.source.idle-timeout

    此答案来自钉钉群“【2】Apache Flink China 社区”

    2023-10-11 20:41:22
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
Java Spring Boot开发实战系列课程【第16讲】:Spring Boot 2.0 实战Apache Kafka百万级高并发消息中间件与原理解析 立即下载
MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载
消息队列kafka介绍 立即下载