开发者社区 问答 正文

从本地读取中间计算结果是怎么调用fetch方法实现的?

从本地读取中间计算结果是怎么调用fetch方法实现的?

展开
收起
游客fbdr25iajcjto 2021-12-06 21:56:26 576 分享 版权
1 条回答
写回答
取消 提交回答
  • 1) 获取map任务执行的状态信息。

    2) 按照中间结果所在节点划分各个Block。

    3) 创建ShuffleBlockFetcherIterator(即从远端节点或者本地读取中间计算结果)。

    4) 将ShuffleBlockFetcherIterator封装为InterruptibleIterator。

    2021-12-06 21:56:51
    赞同 展开评论
问答地址: