HDFS 小文件优化方法
1） HDFS 小文件弊端：
HDFS 上每个文件都要在namenode 上建立一个索引，这个索引的大小约为150byte，这样当小文件比较多的时候，就会产生很多的索引文件，一方面会大量占用namenode 的内存空间，另一方面就是索引文件过大是的索引速度变慢。
2） 解决的方式：
（1）Hadoop 本身提供了一些文件压缩的方案。
（2）从系统层面改变现有HDFS 存在的问题，其实主要还是小文件的合并，然后建立比较快速的索引。
3） Hadoop 自带小文件解决方案
（1）Hadoop Archive:
是一个高效地将小文件放入HDFS 块中的文件存档工具，它能够将多个小文件打包成一个HAR 文件，这样在减少namenode 内存使用的同时。
（2）Sequence file：
sequence file 由一系列的二进制key/value 组成，如果为key 小文件名，value 为文件内容，则可以将大批小文件合并成一个大文件。
（3）CombineFileInputFormat：
CombineFileInputFormat 是一种新的inputformat，用于将多个文件合并成一个单独的split，另外，它会考虑数据的存储位置。
4）小文件优化(实战经验)
对于大量小文件Job，可以开启JVM 重用会减少45%运行时间。JVM 重用理解：一个map 运行一个jvm，重用的话，在一个map 在jvm 上运行完毕后，jvm 继续运行其他jvm具体设置：mapreduce.job.jvm.numtasks 值在10-20 之间。
