.MapReduce 优化经验
.MapReduce 优化经验
展开
收起
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
1
条回答
写回答
-
1.设置合理的 map 和 reduce 的个数。合理设置块的大小，要注意一个任务对应一个 map 2避免数据倾斜，合理分配数据对应的 key，尽量对 sql 进行优化 3 combine 函数 4 对数据进行压缩处理，必要的时候对数据进行拆分。 5小文件处理优化：事先合并成大文件，combineTextInputformat，在 hdfs 上用 mapreduce 将小文件合并成 SequenceFile 大文件（key: 文件名，value：文件内容），并且要定期在非工作时间做一次大合并，但是要提前估算好工作量，因为大合并期间所有任务是没办法执行的。 6参数优化，具体什么参数比较多大家可以自行百度。
2020-02-14 20:00:39赞同 展开评论
相关问答