Hadoop 压缩文件方式比较

 对于Hadoop文件常用的几种压缩方法，我写了一个java程序进行比较。

期望是，给出一个大文件(bigfile.txt) ,我们用各种方式压缩他们然后最终复制到HDFS中。

代码很简单：就是构造codec的实例,然后让它来创建到HDFS的输出流

1. /*  
2.  */ 
3. package com.charles.hadoop.fs; 
4.  
5. import java.io.BufferedInputStream; 
6. import java.io.FileInputStream; 
7. import java.io.InputStream; 
8. import java.io.OutputStream; 
9. import java.net.URI; 
10.  
11. import org.apache.hadoop.conf.Configuration; 
12. import org.apache.hadoop.fs.FileSystem; 
13. import org.apache.hadoop.fs.Path; 
14. import org.apache.hadoop.io.IOUtils; 
15. import org.apache.hadoop.io.compress.CompressionCodec; 
16. import org.apache.hadoop.io.compress.CompressionCodecFactory; 
17. import org.apache.hadoop.io.compress.GzipCodec; 
18. import org.apache.hadoop.util.ReflectionUtils; 
19.  
20. /** 
21.  *  
22.  * Description: 
23.  *  
24.  * @author charles.wang 
25.  * @created May 26, 2012 3:23:21 PM 
26.  *  
27.  */ 
28. public class HadoopCodec { 
29.  
30.     /** 
31.      * @param args 
32.      */ 
33.     public static void main(String[] args) throws Exception { 
34.         // TODO Auto-generated method stub 
35.  
36.         String inputFile = "bigfile.txt"; 
37.  
38.         String outputFolder = "hdfs://192.168.129.35:9000/user/hadoop-user/codec/"; 
39.         // String outputFile="bigfile.gz"; 
40.  
41.         // 读取hadoop文件系统的配置 
42.         Configuration conf = new Configuration(); 
43.         conf.set("hadoop.job.ugi", "hadoop-user,hadoop-user"); 
44.  
45.         //测试各种压缩格式的效率 
46.         //gzip 
47.         long gzipTime = copyAndZipFile(conf, inputFile, outputFolder, "org.apache.hadoop.io.compress.GzipCodec", "gz"); 
48.         //bzip2 
49.         long bzip2Time = copyAndZipFile(conf, inputFile, outputFolder, "org.apache.hadoop.io.compress.BZip2Codec", "bz2"); 
50.         //deflate 
51.         long deflateTime = copyAndZipFile(conf, inputFile, outputFolder, "org.apache.hadoop.io.compress.DefaultCodec", "deflate"); 
52.          
53.         System.out.println("被压缩的文件名为： "+inputFile); 
54.         System.out.println("使用gzip压缩，时间为： "+gzipTime+"毫秒!"); 
55.         System.out.println("使用bzip2压缩，时间为： "+bzip2Time+"毫秒!"); 
56.         System.out.println("使用deflate压缩，时间为： "+deflateTime+"毫秒!"); 
57.     } 
58.  
59.     public static long copyAndZipFile(Configuration conf, String inputFile, String outputFolder, String codecClassName, 
60.             String suffixName) throws Exception { 
61.         long startTime = System.currentTimeMillis(); 
62.  
63.         // 因为本地文件系统是基于java.io包的，所以我们创建一个本地文件输入流 
64.         InputStream in = new BufferedInputStream(new FileInputStream(inputFile)); 
65.  
66.         //去掉扩展名提取basename 
67.         String baseName = inputFile.substring(0, inputFile.indexOf(".")); 
68.         //构造输出文件名，它是路径名+基本名+扩展名 
69.         String outputFile = outputFolder + baseName + "."+suffixName; 
70.          
71.  
72.         FileSystem fs = FileSystem.get(URI.create(outputFile), conf); 
73.  
74.         // 创建一个编码解码器，通过反射机制根据传入的类名来动态生成其实例 
75.         CompressionCodec codec = (CompressionCodec) ReflectionUtils.newInstance(Class.forName(codecClassName), conf); 
76.  
77.         // 创建一个指向HDFS目标文件的压缩文件输出流 
78.         OutputStream out = codec.createOutputStream(fs.create(new Path(outputFile))); 
79.         // 用IOUtils工具将文件从本地文件系统复制到HDFS目标文件中 
80.  
81.         try { 
82.             IOUtils.copyBytes(in, out, conf); 
83.  
84.         } finally { 
85.             IOUtils.closeStream(in); 
86.             IOUtils.closeStream(out); 
87.         } 
88.  
89.         long endTime = System.currentTimeMillis(); 
90.  
91.         return endTime - startTime; 
92.     } 
93.  
94. } 

最终显示结果为：

1. 被压缩的文件名为： bigfile.txt 
2. 使用gzip压缩，时间为： 11807毫秒! 
3. 使用bzip2压缩，时间为： 44982毫秒! 
4. 使用deflate压缩，时间为： 3696毫秒! 

同时我们查看HDFS文件目录，可以证实，这几个文件的确存在：

分析结果：

我们可以从性能和压缩比率2个方面来进行对比：

性能：一目了然 deflate>bzip2>gzip， 而且gzip的性能差好大一截。

压缩比：

我们的原文件大小为114,576,640 字节

 gzip 压缩比率为：9513416/114576640=8.3%,bzip2 压缩比率为5006568/114576640=4.37%,deflate压缩比率为9513404/114576640=8.3%

所以压缩比： bzip2>deflate=gzip

综上所述：压缩效果最好的是bzip2,压缩速度最快的是deflate