开发者社区> 问答> 正文

MapReduce有什么优化经验推荐吗?

MapReduce有什么优化经验推荐吗?

展开
收起
芯在这 2021-12-05 17:13:56 244 0
1 条回答
写回答
取消 提交回答
  • 1.)设置合理的map和reduce的个数。合理设置blocksize

    (2.)避免出现数据倾斜

    (3.combine函数

    (4.对数据进行压缩

    (5.小文件处理优化:事先合并成大文件,combineTextInputformat,在hdfs上用mapreduce将小文件合并成SequenceFile大文件(key:文件名,value:文件内容)

    (6.参数优化

    2021-12-05 17:14:16
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
基于Apache Flink的平台化构建及运维优化经验 立即下载
GC优化利器 - HBase2.0全链路offheap 立即下载
朱翥、贺小令|更快更稳更易用:Flink 自适应批处理能力演 立即下载