开发者社区 问答 正文

Mapreduce 程序效率取决于什么?

Mapreduce 程序效率取决于什么?

展开
收起
真的很搞笑 2021-12-05 01:04:58 458 分享 版权
1 条回答
写回答
取消 提交回答
  • 1.计算机性能 CPU、内存、磁盘健康、网络 2.I/O 操作优化 (1)数据倾斜 (2)map 和 reduce 数设置不合理 (3)map 运行时间太长,导致 reduce 等待过久 (4)小文件过多 (5)大量的不可分块的超大文件 (6)spill 次数过多 (7)merge 次数过多等。

    2021-12-05 01:05:12
    赞同 展开评论