开发者社区> 问答> 正文

Flink消费Kafka任务正常无延迟但Kafka控制台显示数据堆积

已解决

Flink消费Kafka任务正常无延迟但Kafka控制台显示数据堆积

展开
收起
提个问题! 2024-06-13 19:09:10 24 0
1 条回答
写回答
取消 提交回答
  • 开发者社区问答官方账号
    官方回答
    采纳回答
    可能原因是:
    1.当时kafka coordiantor出现切换,导致flink作业会提交offset失败,不会影响作业的运行。
    这个是已知的开源Kafka缺陷,目前Flink社区通过升级kafka版本在Flink1.16上修复。目前VVP如果要恢复提交位点需要重启作业,待Flink 全托管产品发布Flink 1.16 后进行升级处理。
    2.当时checkpoint失败没有汇报消费位点,因为kafka是依赖checkpoint来提交offset位点的。


    2024-06-13 19:09:11
    赞同 1 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载