shell命令使用Hadoop归档文件-阿里云开发者社区

开发者社区> 大数据> 正文

shell命令使用Hadoop归档文件

简介:

 每个文件HDFS采用块方式进行存储,在系统运行时,文件块的元数据信息会被存储在NameNode的内存中,因此,对HDFS来说,大规模存储小文件显然是低效的,很多小文件会耗尽NameNode的大部分内存。

  Hadoop归档文件和HAR文件可以将文件高效地放入HDFS块中的文件存档设备,在减少NameNode内存使用的同时,仍然允许对文件进行透明访问。具体来说,Hadoop归档文件可以作为MapReduce的输入。这里需要注意的是,小文件并不会占用太多的磁盘空间,比如设定一个128MB的文件块来存储1MB的文件,实际上存储这个文件只需要1MB磁盘空间,而不是128MB。

  Hadoop归档文件是通过archive命令工具根据文件集合创建的。因为这个工具需要运行一个MapReduce来并行处理输入文件,所以需要一个运行MapReduce的集群。而HDFS中有些文件是需要进行归档的,例如:

  hadoop fs  -lsr  /user/ubuntu/In/

  -rw-r--r-- 3 ubuntu\ubuntu supergroup 13 2012-03-18 20:15 /user/ubuntu/In/hello.c.txt

  -rw-r--r-- 3 ubuntu\ubuntu supergroup 13 2012-03-17 15:13 /user/ubuntu/In/hello.txt

 

 

 

  运行archive命令如下:

  hadoop archive -archiveName files.har /user/ubuntu/In/  /user/ubuntu/

  在命令行中,第一个参数是归档文件的名称,这里是file.jar文件;

        第二个参数是要归档的文件源,这里我们只归档一个源文件夹,即HDFS下/user/ubuntu/In/中的文件,但事实上,archive命令可以接收多个文件源;

        最后一个参数,即本例中的/user/ubuntu/是HAR文件的输出目录。可以看到这个命令的执行流程为一个MapReduce任务。

 

 

  下面我们来看这个归档文件是怎么创建的:

复制代码
  hadoop fs  -ls /user/ubuntu/In/   /user/ubuntu/

  Found 2 items

  -rw-r--r-- 3  ubuntu\ubuntu supergroup 13 2012-03-18 20:15 /user/ubuntu/In/hello.c.txt

  -rw-r--r-- 1  ubuntu\ubuntu supergroup 13 2012-03-17 15:13 /user/ubuntu/In/hello.txt

  Found 3 items

  drwxr-xr-x  -  ubuntu\ubuntu supergroup 0 2012-03-18 20:15 /user/ubuntu/In

  drwxr-xr-x  -  ubuntu\ubuntu supergroup 0 2012-03-18 18:53 /user/ubuntu/ubuntu

  drwxr-xr-x  -  ubuntu\ubuntu supergroup 0 2012-03-18 20:47 /user/ubuntu/files.har
复制代码

  这个目录列表展示了一个HAR文件的组成:两个索引文件和部分文件(part file)的集合。这里的部分文件包含已经连接在一起的大量源文件的内容,同时索引文件可以检索部分文件中的归档文件,包括它的长度、起始位置等。但是,这些细节在使用HAR URI模式访问HAR文件时大多数都是隐藏的。

 

 

 

HAR文件系统是建立在底层文件系统之上的(此处是HDFS),以下命令是以递归的方式列出了归档文件的文件:

复制代码
  hadoop fs -lsr  har://user/ubuntu/files.har

  drw-r--r--  -  ubuntu\ubuntu supergroup 0 2012-03-18 20:47 /user/ubuntu/files.har/user

  drw-r--r--  -  ubuntu\ubuntu supergroup 0 2012-03-18 20:47 /user/ubuntu/files.har/user/ubuntu

  drw-r--r--  -  ubuntu\ubuntu supergroup 0 2012-03-18 20:47 /user/ubuntu/files.har/user/ubuntu/In

  -rw-r--r--  -  ubuntu\ubuntu supergroup 0 2012-03-18 20:47 /user/ubuntu/files.har/user/ubuntu/In/hello.c.txt

  -rw-r--r--  -  ubuntu\ubuntu supergroup 0 2012-03-18 20:47 /user/ubuntu/files.har/user/ubuntu/In/hello.txt
复制代码

  如果HAR文件所在的文件系统是默认的文件系统,那么这里的内容就非常直观和易懂,但是,如果你想要在其他文件系统中使用HAR文件,就需要使用不同格式的URI路径。下面两个命令具有相同的作用:

  hadoop fs -lsr har:/// user/ubuntufiles.har/my/files/dir

  hadoop fs -lsr har://hdfs-localhost:8020/  user/ubuntu/files.har/my/files/dir

  第二个命令,它仍然使用HAR模式描述一个HAR文件系统,但是使用HDFS作为底层的文件系统模式,HAR模式之后紧跟一个HDFS系统的主机和端口号。HAR文件系统会将HAR URI转换为地产底层的文件系统fangwenURI。在本例中即为hdfs://localhost:8020/user/ubuntu/archive/files.har,文件的剩余部分路径即为文件归档部分的路径/my/files/dir。

   想要删除HAR文件,需要使用删除的归档格式,这是因为底层的文件系统HAR文件是一个目录,删除命令为hadoop fs -rmr /userubuntu/files.har。

  对于HAR文件我们还需要了解它的一些不足之处。当创建一个归档文件时,还会创建原始文件的一个副本,这样就需要额外的磁盘空间(尽管归档完成后悔删除原始文件)。而且当前没有针对闺房文件的压缩办法,只能对写入归档文件的原始文件进行压缩。归档文件一旦创建就不能改变,要增加或者删除文件,就需要重新创建。事实上,这对于那些写后不能更改的文件不构成问题,因为可以按日或者按周进行定期成批归档。

  如前所述,HAR文件可以作为MapRedeuce的一个输入文件,然而,没有一个基于归档的InputFormat可以将多个文件打包到一个单一的MapReduce中去。所以,即使是HAR文件,处理小的文件时效率仍然不高。

 


本文转自大数据躺过的坑博客园博客,原文链接:http://www.cnblogs.com/zlslch/p/5141259.html,如需转载请自行联系原作者

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
大数据
使用钉钉扫一扫加入圈子
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

其他文章