Flink exactly once需要Barrier对齐吗
已解决Flink exactly once需要Barrier对齐吗
展开
收起
1
条回答
写回答
写回答
-
开发者社区问答官方账号官方回答采纳回答Flink中的一个大的特性就是exactly-once的特性，Barrier对齐发生在一个处理节点需要接收上游不同处理节点的数据，由于不同的上游节点数据处理速度不一致，那么就会导致下游节点接收到 Barrier的时间点也会不一致，这时候就需要使用Barrier对齐机制。在同一checkpoint中，先到达的Barrier是否需要等待其他处理节点Barrier达到后在发送后续数据，Barrier将数据流分为前后两个checkpoint(chk n,chk n+1)的概念，如果不等待那么就会导致chk n的阶段处理了chk n+1阶段的数据，但是在source端所记录的消费偏移量又一致，如果chk n成功之后，后续的任务处理失败，任务重启会消费chk n+1阶段数据，就会到致数据重复消息，如果Barrier等待就不会出现这样情况，因此Barrier需要对齐那么就是实现exectly once语义，否则实现的是at least once语义。由于状态是属于Flink内部存储，所以Flink仅仅满足内部exectly once语义。2024-06-02 18:07:20赞同 1 展开评论 打赏
问答分类：
关联地址：
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
