《Hadoop MapReduce实战手册》一2.10 挂载HDFS（Fuse-DFS）

本节书摘来异步社区《Hadoop MapReduce实战手册》一书中的第2章，第2.10节，作者： 【美】Srinath Perera , Thilina Gunarathne 译者： 杨卓荦 责编： 杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。

2.10 挂载HDFS（Fuse-DFS）

Hadoop MapReduce实战手册
Fuse-DFS项目使我们能够在Linux上挂载HDFS（也支持许多其他版本的Unix）作为标准的文件系统。这样做，可以允许任何程序或用户使用类似于传统的文件系统的方式访问HDFS和与HDFS交互。

准备工作
系统中必须安装以下软件：

Apache Ant（http://ant.apache.org/）；
Fuse和fuse开发包。Fuse开发文件可以通过Redhat/Fedora安装fuse-devel RPM或者Debian/Ubuntu安装libfuse-dev软件包的方式获得。
JAVA_HOME必须设置为指向JDK的环境，而不是JRE。

要挂载HDFS文件系统，还需要具备操作系统节点的root权限。

以下攻略假定你已经预先内置了libhdfs库。Hadoop中包含为Linux x86_64/i386平台预编译的libhdfs库。如果使用其他平台，首先需要参考本节“更多参考”小节中的“构建libhdfs”，以正确构建libhdfs库。

操作步骤
下列步骤显示了如何挂载HDFS文件系统作为一个Linux的标准文件系统。

1. 转到$ HADOOP_HOME并创建一个名为build的新目录。

>cd $HADOOP_HOME
>mkdir build

1. 创建符号链接，链接到build目录里面的libhdfs库。

>ln -s c++/Linux-amd64-64/lib/ build/libhdfs

1. 将C++目录复制到build文件夹。

>cp -R c++/ build/

1. 在$HADOOP_HOME下执行以下命令，建立fuse-dfs。此命令将在build/contrib/fuse- dfs/目录下生成fuse_dfs和fuse_dfs_wrapper.sh文件。

>ant compile-contrib -Dlibhdfs=1 -Dfusedfs=1

提示

如果构建失败，并显示类似undefined reference to 'fuse_get_ context'的信息，则需要将以下内容追加到src/contrib/fuse- dfs/src/Makefile.am文件的末尾：

fuse_dfs_LDADD =-lfuse-lhdfs-ljvm-LM

1. 验证fuse_dfs_wrapper.sh中的路径信息并更正它们。可能需要更改以下行的libhdfs路径：

export LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/$OS_ARCH/server:$HADOOP_HOME/
build/libhdfs/:/usr/local/lib

1. 如果已经存在，则需要在/etc/fuse.conf文件中注释掉user_allow_other行。
2. 创建一个目录作为挂载点：

>mkdir /u/hdfs

1. 在build/contrib/fuse-dfs/目录下执行以下命令。而且，必须以root权限执行此命令。确保在根环境下也能正确设置HADOOP_HOME和JAVA_HOME环境变量。可选的-d参数用于开启调试模式。当你第一次运行它的时候，将在调试模式下运行以下命令，方便识别任何错误信息。rw参数挂载文件系统为可读写（ro为只读）。-oserver必须指向NameNode的主机名。-oport应提供NameNode的端口号。

>chmoda+x fuse_dfs_wrapper.sh
>./fuse_dfs_wrapper.sh rw -oserver=localhost -oport=9000 /u/hdfs/
-d

工作原理
Fuse-DFS是基于用户空间的文件系统进行构建的。FUSE项目（http://fuse.sourceforge.net/），致力于让用户能够实现用户空间的文件系统。Fuse-DFS使用libhdfs C API与HDFS文件系统交互。libhdfs使用JNI产生一个JVM，与配置的HDFS的NameNode进行通信。

更多参考
正如前面章节所述，使用Fuse-DFS，HDFS的许多实例可以挂载到不同的目录上。

构建libhdfs
为了构建libhdfs，必须在系统上安装以下软件：

• ant-nodeps和ant-trax包；
• automake包；
• Libtool包；
• zlib-devel包；
• JDK 1.5—编译Apache Forrest的时候需要；
• Apache Forrest（http://forrest.apache.org/）—建议使用0.8版本。

通过在$HADOOP_HOME下执行如下命令编译libhdfs：

>ant compile-c++-libhdfs -Dislibhdfs=1

通过执行以下命令将libhdfs打包。使用-Djava5.home属性提供JDK 1.5的路径。使用
-Dforrest.home属性提供Apache Forrest的安装路径。

>ant package -Djava5.home=/u/jdk1.5 -Dforrest.home=/u/apache-forrest-0.8

检查build/libhdfs目录是否包含libhdfs.*文件。如果没有，请将build/c++/cture>/lib目录下的文件复制到build/libhdfs下。

>cp -R build/c++/<Your_OS_Architecture/lib>/ build/libhdfs