开发者社区> 问答> 正文

Mapreduce执行过程中,在执行Reduce Task之前主要做哪些工作?

Mapreduce执行过程中,在执行Reduce Task之前主要做哪些工作?

展开
收起
真的很搞笑 2021-12-05 23:50:07 505 0
1 条回答
写回答
取消 提交回答
  • reduce task在执行之前的工作是不断的拉取当前job里每个map task 的最终的输出文件,然后将不同maptask中某一分区的数据不断的做merge,也最终形成一个文件作为reduce task的输入文件交给reduce。

    2021-12-05 23:50:23
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
基于E-MapReduce梨视频推荐系统 立即下载
大数据解决方案构建详解 以阿里云E-MapReduce为例 立即下载
阿里云E-MapReduce 立即下载