压缩参数设置|学习笔记

简介: 快速学习 压缩参数设置

开发者学堂课程【Hadoop 分布式计算框架 MapReduce:压缩参数设置】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/94/detail/1560


压缩参数设置


要在中启用压缩可以配置如下参数:

(1)参数:io.compression.codecs(在 core-site.xml 中配置)

默认值:org.apache.hadoop.io.compress.DefaultCodec,

org.apache.hadoop.io.compress.GzipCodec

org.apache.hadoop.io.compress.BZip2Codec

阶段:输入压缩

建议:Hadoop 使用文件扩展名判断是否支持某种编解码器

(2)参数:mapreduce.map.output.compress(在mapred-site.xml 中配置)

默认值:false

阶段:mapper 输出

建议:这个参数设为 true 启用压缩

(3)参数:mapreduce.map.output.compress.codes(在mapred-site.xml 中配置)

默认值:org.apache.hadoop.io.compress.DefaultCodec,

阶段:mapper 输出

建议:企业多使用 LZO

相关文章
|
2月前
|
Python
Python 压缩PDF减小文件大小
【8月更文挑战第6天】介绍了三种用Python压缩PDF文件的方法:1) 使用`pdfcompressor`库,安装后可通过简单命令压缩文件;2) 利用`PyPDF2`库,需手动设置压缩参数;3) 采用`pdfsizeopt`库,一键优化PDF大小。各方法均提供示例代码,便于快速实现文件压缩。
205 0
|
存储 编解码
XVideo 一个能自动进行压缩的小视频录制库
XVideo 一个能自动进行压缩的小视频录制库
4768 0
XVideo 一个能自动进行压缩的小视频录制库
|
2月前
7z压缩测试
7z压缩测试
15 0
|
5月前
防止图片重复下载方案,图像压缩保存与压缩显示
防止图片重复下载方案,图像压缩保存与压缩显示
47 0
|
5月前
|
存储 编解码 算法
图像的压缩算法--尺寸压缩、格式压缩和品质压缩
图像的压缩算法--尺寸压缩、格式压缩和品质压缩
79 0
|
5月前
|
监控 算法 数据安全/隐私保护
使用Python实现批量文件的压缩处理
使用Python实现批量文件的压缩处理
73 0
|
Linux Go
Go项目实现日志按时间及文件大小切割并压缩
Go项目实现日志按时间及文件大小切割并压缩
456 1
|
Unix Linux
R语言-文件归档压缩方法
本文简单分享了一种在 R语言 中压缩文件的实现方法,以供参考学习
572 0
R语言-文件归档压缩方法
|
存储 SQL 算法
无序数组压缩查询【转】
假期重新把之前在新浪博客里面的文字梳理了下,搬到这里。
210 0
|
图形学 异构计算
Unity 之 纹理类型导入设置和压缩格式介绍
你知道纹理导入正确设置和各平台压缩格式吗?本文教你如何将纹理资源导入到Unity并为其设置为对应平台需要使用的压缩格式,一起来看看吧~
886 0
Unity 之 纹理类型导入设置和压缩格式介绍