AI 助理
备案控制台
开发者社区 问答 正文

mapReduce中shuffle阶段的工作流程是什么，如何优化shuffle阶段呢？

mapReduce中shuffle阶段的工作流程是什么，如何优化shuffle阶段呢？

展开
收起
游客vqgchj4kfdzsu 2021-12-06 00:05:57 375 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 游客qg2vswkfykdde

    分区，排序，溢写，拷贝到对应reduce机器上

    增加combiner，压缩溢写的文件。

    2021-12-06 10:28:43
    赞同 展开评论
问答分类：
分布式计算
问答标签：
mapreduce shuffle mapreduce优化 mapreduce流程 开源大数据平台 E-MapReduce优化 开源大数据平台 E-MapReduce shuffle
问答地址：
开发者社区 > 大数据 > 问答
相关问答
E-MapReduce弹性伸缩配置本地盘机型扩容流程报错问题
61
0
0
E-MapReduce EMR集群JindoSDK升级流程
61
1
0
E-MapReduce Phoenix如何优化
41
1
0
E-MapReduce EMR集群JindoData升级流程
62
1
0
E-MapReduce ECS自身问题导致弹性伸缩流程卡住
81
1
0
阿里云E-MapReduce如果hive改不了，oss本身能优化吗？
190
1
0
E-MapReduce的HDFS启动过程很慢如何优化
204
1
0
E-MapReduce的HDFS使用优化建议
146
1
0
MapReduce在IO传输中该如何优化方法呢？
875
1
0
MapReduce在Reduce阶段该如何优化方法呢？
841
1
0