压缩参数设置|学习笔记

简介: 快速学习 压缩参数设置

开发者学堂课程【Hadoop 分布式计算框架 MapReduce:压缩参数设置】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/94/detail/1560


压缩参数设置


要在中启用压缩可以配置如下参数:

(1)参数:io.compression.codecs(在 core-site.xml 中配置)

默认值:org.apache.hadoop.io.compress.DefaultCodec,

org.apache.hadoop.io.compress.GzipCodec

org.apache.hadoop.io.compress.BZip2Codec

阶段:输入压缩

建议:Hadoop 使用文件扩展名判断是否支持某种编解码器

(2)参数:mapreduce.map.output.compress(在mapred-site.xml 中配置)

默认值:false

阶段:mapper 输出

建议:这个参数设为 true 启用压缩

(3)参数:mapreduce.map.output.compress.codes(在mapred-site.xml 中配置)

默认值:org.apache.hadoop.io.compress.DefaultCodec,

阶段:mapper 输出

建议:企业多使用 LZO

目录
打赏
0
0
0
0
42
分享
相关文章
|
6月前
开始压缩
【9月更文挑战第05天】
35 2
|
7月前
7z压缩测试
7z压缩测试
37 0
|
10月前
|
Gzip的压缩级别
【4月更文挑战第29天】压缩级别
582 1
|
10月前
|
Gzip的压缩级别有哪些选择?
【4月更文挑战第29天】Gzip的压缩级别有哪些选择?
395 1
|
10月前
防止图片重复下载方案,图像压缩保存与压缩显示
防止图片重复下载方案,图像压缩保存与压缩显示
96 0
使用Python实现批量文件的压缩处理
使用Python实现批量文件的压缩处理
132 0
Hive中的压缩技术是如何实现的?请解释其原理和常用压缩算法。
Hive中的压缩技术是如何实现的?请解释其原理和常用压缩算法。
100 0
无序数组压缩查询【转】
假期重新把之前在新浪博客里面的文字梳理了下,搬到这里。
228 0
【Android 内存优化】Android 工程中使用 libjpeg-turbo 压缩图片 ( 初始化压缩对象 | 打开文件 | 设置压缩参数 | 写入压缩图像数据 | 完成压缩 | 释放资源 )
【Android 内存优化】Android 工程中使用 libjpeg-turbo 压缩图片 ( 初始化压缩对象 | 打开文件 | 设置压缩参数 | 写入压缩图像数据 | 完成压缩 | 释放资源 )
334 0
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等