1
条回答
写回答
写回答
-
减少了调度的负担；更少的map意味着任务调度更简单，集群中可用的空闲槽更多。 有足够的内存将map输出容纳在排序缓存中，这使map端更有效率； 减少了需要shuffle map输出的寻址次数，每个map产生的输出可用于每一个reduce，因此寻址数就是map个数乘以reduce个数； 每个shuffled的片段更大，这减少了建立连接的相对开销，所谓相对开销是指相对于在网络中传输数据的过程。 这使reduce端合并map输出的过程更高效，因为合并的次数更少，因为需要合并的文件段更少了。
2021-12-05 17:48:29赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
