压缩参数设置|学习笔记

简介: 快速学习 压缩参数设置

开发者学堂课程【Hadoop 分布式计算框架 MapReduce:压缩参数设置】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/94/detail/1560


压缩参数设置


要在中启用压缩可以配置如下参数:

(1)参数:io.compression.codecs(在 core-site.xml 中配置)

默认值:org.apache.hadoop.io.compress.DefaultCodec,

org.apache.hadoop.io.compress.GzipCodec

org.apache.hadoop.io.compress.BZip2Codec

阶段:输入压缩

建议:Hadoop 使用文件扩展名判断是否支持某种编解码器

(2)参数:mapreduce.map.output.compress(在mapred-site.xml 中配置)

默认值:false

阶段:mapper 输出

建议:这个参数设为 true 启用压缩

(3)参数:mapreduce.map.output.compress.codes(在mapred-site.xml 中配置)

默认值:org.apache.hadoop.io.compress.DefaultCodec,

阶段:mapper 输出

建议:企业多使用 LZO

相关文章
|
存储 编解码
XVideo 一个能自动进行压缩的小视频录制库
XVideo 一个能自动进行压缩的小视频录制库
5246 0
XVideo 一个能自动进行压缩的小视频录制库
|
24天前
|
Windows
写一个批处理,压缩一个文件夹下的所有图片大小
【10月更文挑战第14天】在Windows环境下,使用批处理脚本可以方便地批量压缩图片。以下是一个示例脚本,用于压缩指定目录下的所有.jpg和.png文件,并将压缩后的图片保存到另一个目录中。
|
3月前
7z压缩测试
7z压缩测试
18 0
|
6月前
|
存储 算法 Linux
Gzip的压缩级别
【4月更文挑战第29天】压缩级别
393 1
|
6月前
|
存储 算法 Linux
Gzip的压缩级别有哪些选择?
【4月更文挑战第29天】Gzip的压缩级别有哪些选择?
286 1
|
6月前
|
存储 编解码 算法
图像的压缩算法--尺寸压缩、格式压缩和品质压缩
图像的压缩算法--尺寸压缩、格式压缩和品质压缩
122 0
|
6月前
防止图片重复下载方案,图像压缩保存与压缩显示
防止图片重复下载方案,图像压缩保存与压缩显示
64 0
|
6月前
|
监控 算法 数据安全/隐私保护
使用Python实现批量文件的压缩处理
使用Python实现批量文件的压缩处理
90 0
|
Linux Go
Go项目实现日志按时间及文件大小切割并压缩
Go项目实现日志按时间及文件大小切割并压缩
482 1
|
Unix Linux
R语言-文件归档压缩方法
本文简单分享了一种在 R语言 中压缩文件的实现方法,以供参考学习
596 0
R语言-文件归档压缩方法