开发者学堂课程【Hadoop企业优化及扩展案例:MapReduce 跑的慢的原因】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/96/detail/1569
Hadoop 企业优化及扩展案例
1.计算机性能
2.I/O 操作优化
MapReduce 程序效率的瓶颈在于两点:
1.计算机性能
CPU、内存、磁盘健康、网络
2.I/O 操作优化
(1)数据倾斜
(2)Map 和 Reduce 数设置不合理
(3)Map 运行时间太长,导致 Reduce 等待过久
(4)小文件过多.
(5)大量的不可分块的超大文件
(6)Spill 次数过多
(7)Merge 次数过多等。