开发者社区 问答 正文

MapReduce 优化方法Map阶段是什么?

MapReduce 优化方法Map阶段是什么?

展开
收起
真的很搞笑 2021-12-05 01:06:42 296 分享 版权
1 条回答
写回答
取消 提交回答
  • 1)减少溢写(spill)次数:通过调整 io.sort.mb 及 sort.spill.percent参数值,增大触发 spill 的内存上限,减少 spill 次数,从而减少磁盘 IO。 (2)减少合并(merge)次数:通过调整 io.sort.factor 参数,增大 merge 的文件数目,减少 merge 的次数,从而缩短 mr 处理时间。 (3)在 map 之后,不影响业务逻辑前提下,先进行 combine 处理,减少 I/O。

    2021-12-05 01:06:56
    赞同 展开评论