开发者社区> 问答> 正文

MapReduce中的Shuffle是什么?

MapReduce中的Shuffle是什么?

展开
收起
游客daliwbfb2wo66 2021-12-04 21:54:20 297 0
1 条回答
写回答
取消 提交回答
  • 每个map task都有一个内存缓冲区,存储着map的输出结果,当缓冲区快满的时候需要将缓冲区的数据以一个临时文件的方式存放到磁盘,当整个map task结束后再对磁盘中这个map task产生的所有临时文件做合并,生成最终的正式输出文件,然后等待reduce task来拉数据。

    2021-12-04 21:54:38
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
阿里云E-MapReduce 立即下载
HBase on Beam 立即下载
Spark,GraphX,and blockchains 立即下载