开发者社区> 问答> 正文

.MapReduce 优化经验

.MapReduce 优化经验

展开
收起
愚笨如你 2020-02-14 20:00:25 753 0
1 条回答
写回答
取消 提交回答
  • 1.设置合理的 map 和 reduce 的个数。合理设置块的大小,要注意一个任务对应一个 map 2避免数据倾斜,合理分配数据对应的 key,尽量对 sql 进行优化 3 combine 函数 4 对数据进行压缩处理,必要的时候对数据进行拆分。 5小文件处理优化:事先合并成大文件,combineTextInputformat,在 hdfs 上用 mapreduce 将小文件合并成 SequenceFile 大文件(key: 文件名,value:文件内容),并且要定期在非工作时间做一次大合并,但是要提前估算好工作量,因为大合并期间所有任务是没办法执行的。 6参数优化,具体什么参数比较多大家可以自行百度。

    2020-02-14 20:00:39
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
基于Apache Flink的平台化构建及运维优化经验 立即下载
GC优化利器 - HBase2.0全链路offheap 立即下载
朱翥、贺小令|更快更稳更易用:Flink 自适应批处理能力演 立即下载