Mapreduce跑的慢的原因是什么？
Mapreduce跑的慢的原因是什么？
展开
收起
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
1
条回答
写回答
-
Mapreduce跑的慢的原因：
1.计算机性能 CPU、内存、磁盘健康、网络(所以万一MR跑得慢了，最简单的方式是提 高计算及性能，加内存等等! )
- I/O操作优化 (1) 数据倾斜 (2) map和reduce数设 置不合理(切片 问题) (3) reduce等待过久 (4)小文件过多: (5)大量的不可分块的超大文件 (6) spill次数过多 (磁盘溢写次数过多) (7) merge次数过多等(因为要对数据进行归并排序)
2021-12-05 14:37:50赞同 展开评论
相关问答