开发者社区> 问答> 正文

Flinkjob消费kafka 失败,无法拿到offset值怎么办?

问题如上,哪位大佬可以帮忙看下怎么办吗?*来自志愿者整理的FLINK邮件归档

展开
收起
又出bug了-- 2021-12-03 16:41:57 603 0
1 条回答
写回答
取消 提交回答
  • 从错误上来看是 Kafka Consumer 没有连上 Kafka Brokers。这些方法可能帮助排查问题:

    1. 确认 Flink TaskManager 和 Kafka Broker 之间的网络连通性。
    2. Flink TaskManager 与 Kafka Broker 之间网络连通并不意味着能够消费数据,可能需要修改 Kafka Broker 的配置。这篇文章[1] 或许会有帮助,绝大多数 Kafka 的连接问题是由于文章中描述的配置问题导致的。
    3. 配置 Log4j 将 org.apache.kafka.clients.consumer 的 Log level 配置为 DEBUG 或 TRACE,在日志中获取到更多的信息以帮助排查。

    希望有所帮助!

    [1] https://www.confluent.io/blog/kafka-client-cannot-connect-to-broker-on-aws-on-docker-etc/*来自志愿者整理的FLINK邮件归档

    2021-12-03 17:47:56
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Java Spring Boot开发实战系列课程【第16讲】:Spring Boot 2.0 实战Apache Kafka百万级高并发消息中间件与原理解析 立即下载
MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载
消息队列kafka介绍 立即下载