Blink 对状态的copy（从本机到HDFS）是异步的，怎样保证exactly once了？
已解决如果copy是异步的，怎样保证exactly once了？
--稍微修改了标题
展开
收起
4
条回答
写回答
写回答
-
2014年底加入阿里，现在负责搜索工程的数据团队。在加入阿里前曾经就职于西雅图的脸书。负责过调度系统，Timeline Infra和Messenger的项目。在微软的SQL Server引擎担任过Principal Engineer，负责关系数据库的架构工作采纳回答异步的copy都完成了以后那个checkpoint才算成功，我们只会回滚到成功的checkpoint
2019-07-17 19:58:38赞同 展开评论 打赏 -
Not lost, not lazy, no loose end一次checkpoint包括所有算子都接到barrier，运算完，再落地。之后才会接着处理barrier之后的数据，这样就能保证exactly
2019-07-17 19:58:38赞同 展开评论 打赏 -
Blink的state采取了多版本控制(MVCC)的方式进行并发控制。在barrier到达时，Blink对state进行了快照。尽管在copy时，state仍然会被更新，但是快照所看到的数据是不会改变的。由于所有operator在同一个barrier下对state进行了快照，所以得到的状态是一致的，都是处理完同一批输入之后的状态。以这个状态恢复的计算自然也就是exactly once的了。
2019-07-17 19:58:38赞同 1 展开评论 打赏 -
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
