开发者社区> 问答> 正文

MapReduce 编程规范Shuffle 阶段是什么?

MapReduce 编程规范Shuffle 阶段是什么?

展开
收起
芯在这 2021-12-05 18:10:46 270 0
1 条回答
写回答
取消 提交回答
  • (1) 对输出的 Key-Vlaue 进行分区

    (2) 对不同分区的数据按照相同的 Key 排序

    (3) 对分组过的数据初步规约,降低数据的网络拷贝

    (4) 对数据进行分组,相同 Key 的 Value 放入一个集合中

    2021-12-05 18:11:11
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Spark优化实践 立即下载
实时计算正当时-Apache Flink 理论和实战精解 立即下载
Storm源码走读笔记 立即下载