Flink使用Kafka作为source时checkpoint成功提交offset的机制
大家好，请教一个问题， 当Flink在使用Kafka作为source，并且checkpoint开启时，提交的offset是在消息被链路最后一个算子处理之后才会把这条offset提交吗？ 还是说这个消息只要从Kafka source读取后，不论链路处理到哪个算子， checkpoint成功时就会把它的offset提交呢？
另外有大神指路这段代码具体在哪个文件吗？ 谢谢！
-- Best Wishes, Shuwen Zhou*来自志愿者整理的flink邮件归档
展开
收起
1
条回答
写回答
写回答
-
似乎楼主一开始说的checkpoint成功是指source 算子的checkpoint成功？但notifyCheckpointComplete函数要求的是整个链路的chk成功。 这个时候offset为100的消息必然已经被sink算子处理完成了，因为触发chk的屏障消息必然在offset100的消息之后到达sink算子。*来自志愿者整理的flink邮件归档
2021-12-07 11:54:59赞同 展开评论 打赏
问答分类：
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
