开发者社区> 问答> 正文

flink消费kafka数据,如何从kafka端获取消费偏移信息

flink通过FlinkKafkaConsumer消费kafka主题,设置group.id按setStartFromGroupOffsets取偏移,如何在kafka端获取对应group.id的偏移信息? kafka为0.9版本,在zk那边找不到对应的group.id;通过kafka-consumer-groups.sh --describe --group ,也取不到。请问下要怎么获取啊?*来自志愿者整理的flink邮件归档

展开
收起
船长的小螺号 2021-12-03 10:01:21 1113 0
1 条回答
写回答
取消 提交回答
  • setStartFromGroupOffsets

    说的是从kafka里面保存的offset开始消费,flink并没有保证kafka一定会有这个consumer的offset,如果没有的话,会按照kafka

    consumer的配置'auto.offset.reset'来设置这些partition的offset。

    具体情况可以参考文档[1].

    [1]

    https://ci.apache.org/projects/flink/flink-docs-master/dev/connectors/kafka.html#kafka-consumers-start-position-configuration*来自志愿者整理的FLINK邮件归档

    2021-12-03 10:38:58
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Java Spring Boot开发实战系列课程【第16讲】:Spring Boot 2.0 实战Apache Kafka百万级高并发消息中间件与原理解析 立即下载
MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载
消息队列kafka介绍 立即下载