开发者学堂课程【Hadoop 分布式计算框架 MapReduce:压缩参数设置】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/94/detail/1560
压缩参数设置
要在中启用压缩可以配置如下参数:
(1)参数:io.compression.codecs(在 core-site.xml 中配置)
默认值:org.apache.hadoop.io.compress.DefaultCodec,
org.apache.hadoop.io.compress.GzipCodec
org.apache.hadoop.io.compress.BZip2Codec
阶段:输入压缩
建议:Hadoop 使用文件扩展名判断是否支持某种编解码器
(2)参数:mapreduce.map.output.compress(在mapred-site.xml 中配置)
默认值:false
阶段:mapper 输出
建议:这个参数设为 true 启用压缩
(3)参数:mapreduce.map.output.compress.codes(在mapred-site.xml 中配置)
默认值:org.apache.hadoop.io.compress.DefaultCodec,
阶段:mapper 输出
建议:企业多使用 LZO