开发者社区> 问答> 正文

将Map端产生的输出文件拷贝到Reduce端后,每个Reducer如何知道自己应该处理哪些数据呢?

将Map端产生的输出文件拷贝到Reduce端后,每个Reducer如何知道自己应该处理哪些数据呢?

展开
收起
游客ysk6odvtzspxs 2021-12-05 21:01:14 1089 0
1 条回答
写回答
取消 提交回答
  • 因为Map端进行partition的时候,实际上就相当于指定了每个Reducer要处理的数据(partition就对应了Reducer),所以Reducer在拷贝数据的时候只需拷贝与自己对应的partition中的数据即可。每个Reducer会处理一个或者多个partition,但需要先将自己对应的partition中的数据从每个Map的输出结果中拷贝过来。

    2021-12-05 21:01:54
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载