1
条回答
写回答
写回答
-
先简单说下，当map任务相关Stage的任务都执行完毕后，会唤起下游Stage的提交及任务的执行。上游任务的执行结果必然是下游任务的输入，我们就下游 任务如何读取上游任务计算结果来展开。
ResultTask的计算是由RDD的iterator方法驱动，这在介绍ShuffleMapTask的时候已经介绍过。其计算过程最终会落实到ShuffleRDD的compute方法。ShuffleRDD的compute方法首先会调用SortShuffleManager的getReader方法创建BlockStoreShuffleReader，然后执行BlockStoreShuffleReader的read方法读取依赖任务的中间计算结果。
2021-12-06 21:53:56赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
