DLA FS引入Semi-Transaction层具体是什么意思呢？
DLA FS引入Semi-Transaction层具体是什么意思呢？
展开
收起
1
条回答
写回答
写回答
-
前面有提到过，OutputCommitter类似于一个二阶段提交协议，因此我们可以把这个过程抽象为一个分布式事务。可以理解为Driver开启一个全局事务，各个Executor开启各自的本地事务，当Driver收到所有本地事务完成的信息之后，会提交这个全局事务。
基于这个抽象，我们引入了一个Semi-Transaction层(我们没有实现所有的事务语义)，其中定义了Transaction等接口。在这个抽象之下，我们把适配OSS Multipart Upload特性的一致性保证机制封装进去。另外我们还实现了OSSTransactionalOutputCommitter，它实现了OutputCommitter接口，上层的计算引擎比如Spark通过它和我们DLA FS的Semi-Transaction层交互
2021-12-09 19:49:38赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
问答排行榜
最热
最新
推荐问答
