开发者社区> 问答> 正文

构造ShuffleBlockFetcherIterator初始化过程是什么?

构造ShuffleBlockFetcherIterator初始化过程是什么?

展开
收起
游客fbdr25iajcjto 2021-12-06 21:58:44 575 0
1 条回答
写回答
取消 提交回答
  • ShuffleBlockFetcherIterator是读取中间结果的关键。构造ShuffleBlockFetcherIterator的时候会调用到initialize方法,它的初始化过程如下:

    1) 使用splitLocalRemoteBlocks方法划分本地读取和远程读取的Block的请求。

    2) 将FetchRequest随机排序后存入fetchRequests:newQueue[FetchRequest]。

    3) 遍历fetchRequests中的所有FetchRequest,远程请求Block中间结果。

    4) 调用fetchLocalBlocks获取本地Block。

    2021-12-06 21:59:19
    赞同 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
建立联系方法之一 立即下载
用计算和数据去改变整个世界 立即下载
低代码开发师(初级)实战教程 立即下载