开发者社区> 问答> 正文

Mapreduce 程序效率取决于什么?

Mapreduce 程序效率取决于什么?

展开
收起
真的很搞笑 2021-12-05 01:04:58 387 0
1 条回答
写回答
取消 提交回答
  • 1.计算机性能 CPU、内存、磁盘健康、网络 2.I/O 操作优化 (1)数据倾斜 (2)map 和 reduce 数设置不合理 (3)map 运行时间太长,导致 reduce 等待过久 (4)小文件过多 (5)大量的不可分块的超大文件 (6)spill 次数过多 (7)merge 次数过多等。

    2021-12-05 01:05:12
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hadoop存储与计算分离实践 立即下载
为流处理世界重新设计的存储 立即下载
Flink中的两类新型状态存储 立即下载