开发者社区> 问答> 正文

mapReduce中shuffle阶段的工作流程是什么,如何优化shuffle阶段呢?

mapReduce中shuffle阶段的工作流程是什么,如何优化shuffle阶段呢?

展开
收起
游客vqgchj4kfdzsu 2021-12-06 00:05:57 336 0
1 条回答
写回答
取消 提交回答
  • 分区,排序,溢写,拷贝到对应reduce机器上

    增加combiner,压缩溢写的文件。

    2021-12-06 10:28:43
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Spark优化实践 立即下载
分布式流处理框架——功能对比和性能评估 立即下载
低代码开发师(初级)实战教程 立即下载