开发者社区 问答 正文

MapReduce优化经验是什么?

MapReduce优化经验是什么?

展开
收起
芯在这 2021-12-11 11:32:14 340 分享 版权
1 条回答
写回答
取消 提交回答
  • (1.设置合理的map和reduce的个数。合理设置blocksize

    (2.避免出现数据倾斜

    (3.combine函数

    (4.对数据进行压缩

    (5.小文件处理优化:事先合并成大文件,combineTextInputformat,在hdfs上用mapreduce将小文件合并成SequenceFile大文件(key:文件名,value:文件内容)

    (6.参数优化

    2021-12-11 11:32:27
    赞同 展开评论