开发者社区> 问答> 正文

Flink使用Kafka作为source时checkpoint成功提交offset的机制

大家好,请教一个问题, 当Flink在使用Kafka作为source,并且checkpoint开启时,提交的offset是在消息被链路最后一个算子处理之后才会把这条offset提交吗? 还是说这个消息只要从Kafka source读取后,不论链路处理到哪个算子, checkpoint成功时就会把它的offset提交呢?

另外有大神指路这段代码具体在哪个文件吗? 谢谢!

-- Best Wishes, Shuwen Zhou*来自志愿者整理的flink邮件归档

展开
收起
小阿怪 2021-12-07 09:55:58 985 0
1 条回答
写回答
取消 提交回答
  • 似乎楼主一开始说的checkpoint成功是指source 算子的checkpoint成功?但notifyCheckpointComplete函数要求的是整个链路的chk成功。 这个时候offset为100的消息必然已经被sink算子处理完成了,因为触发chk的屏障消息必然在offset100的消息之后到达sink算子。*来自志愿者整理的flink邮件归档

    2021-12-07 11:54:59
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载