Hadoop Hdfs 配置 挂载hdfs文件系统

简介:

1、Fuse安装

wget http://nchc.dl.sourceforge.net/project/fuse/fuse-2.X/2.8.1/fuse-2.8.1.tar.gz
tar zxvf    fuse-2.8.1.tar.gz 
cd fuse2.8.1 
./configure --prefix=/usr/
make 
make install 
modprobe fuse
 

vi /etc/sysconfig/modules/my.modules  
#!/bin/sh 
modprobe fuse >/dev/ null 2>&1 
chmod +x /etc/sysconfig/modules/my.modules

 

 

2、Ant安装

wget http://archive.apache.org/dist/ant/binaries/apache-ant-1.7.1-bin.tar.gz
tar zxvf apache-ant-1.7.1-bin.tar.g 
mv apache-ant-1.7.1-bin.tar.g /usr/local/ant

 

 

3、环境变量设置

export JAVA_HOME=/usr/local/1dk1.6 
export HADOOP_HOME=/data/soft/hadoop-2.20.1
export OS_ARCH=amd64 
export OS_BIT=32                     //如果系统是64位的,这里应该写64 
export LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/$OS_ARCH/server:${HADOOP_HOME}/build/c++/Linux-$OS_ARCH-$OS_BIT/lib:/usr/local/lib:/usr/lib 
export ANT_HOME=/usr/local/ant 
export PATH=$ANT_HOME/bin:$PATH
 

4、libhdfs 制作

cd $HADOOP_HOME/ 
ant compile-c++-libhdfs -Dlibhdfs=1 -Dcompile.c++=1 
ln -s c++/Linux-$OS_ARCH-$OS_BIT/lib build/libhdfs

 

 

5、fuse-dfs

cd $HADOOP_HOME
ant compile-contrib -Dlibhdfs=1 -Dfusedfs=1

 

 

6、fuse配置  /usr/local/bin/fuser_dfs_wrapper.sh

export JAVA_HOME=/usr/local/jdk1.6
export HADOOP_HOME=/data/soft/hadoop-2.20.1
export HADOOP_CONF_DIR=/data/soft/hadoop-0.20.1/conf
export OS_ARCH=i386
export OS_BIT=32
//以上都是新增加的内容
 
if [ "$HADOOP_HOME" = "" ]; then
export HADOOP_HOME=/usr/local/share/hadoop
fi
export PATH=$HADOOP_HOME/contrib/fuse_dfs:$PATH
for f in ls $HADOOP_HOME/lib/*.jar $HADOOP_HOME/*.jar ; do
export  CLASSPATH=$CLASSPATH:$f
done
if [ "$OS_ARCH" = "" ]; then
export OS_ARCH=amd64
fi
if [ "$JAVA_HOME" = "" ]; then
export  JAVA_HOME=/usr/local/java
fi
if [ "$LD_LIBRARY_PATH" = "" ]; then
export LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/$OS_ARCH/server:/usr/local/share/hdfs/libhdfs/:/usr/local/lib
fi
./fuse_dfs $@  //修改成以下内容
fuse_dfs $@  //这里要把前面的./去掉,要不然挂载hdfs文件系统会找不到fuse_dfs文件

 

 

7、设置文件权限

chmod +x /data/soft/hadoop-2.20.1/build/contrib/fuse-dfs/fuse_dfs_wrapper.sh 
chmod +x /data/soft/hadoop-2.20.1/build/contrib/fuse-dfs/fuse_dfs 
ln -s /data/soft/hadoop-2.20.1/build/contrib/fuse-dfs/fuse_dfs_wrapper.sh /usr/local/bin 
ln -s /data/soft/hadoop-2.20.1/build/contrib/fuse-dfs/fuse_dfs /usr/local/bin/ 
mkdir /mnt/dfs
 

8、手动挂载hdfs文件系统

fuse_dfs_wrapper.sh dfs: //192.168.1.11:9000 /mnt/dfs
 

9、开机自动挂载hdfs文件系统

vi /etc/fstab 
fuse_dfs_wrapper.sh dfs: //192.168.1.11:9000 /mnt/dfs    fuse rw,auto 0 0

 

 
10,/etc/fuse.conf 配置文件
user_allow_other
mount_max=100
 
10,日志文件
tail -f /var/log/message
参考:http://www.chinasa.net/archives/30.html

 





本文转自 vfast_chenxy 51CTO博客,原文链接:http://blog.51cto.com/chenxy/864943,如需转载请自行联系原作者
目录
相关文章
|
27天前
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
114 6
|
28天前
|
SQL 分布式计算 监控
Hadoop-20 Flume 采集数据双写至本地+HDFS中 监控目录变化 3个Agent MemoryChannel Source对比
Hadoop-20 Flume 采集数据双写至本地+HDFS中 监控目录变化 3个Agent MemoryChannel Source对比
58 3
|
27天前
|
分布式计算 Hadoop Shell
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
62 4
|
27天前
|
SQL 分布式计算 Hadoop
Hadoop-34 HBase 安装部署 单节点配置 hbase-env hbase-site 超详细图文 附带配置文件
Hadoop-34 HBase 安装部署 单节点配置 hbase-env hbase-site 超详细图文 附带配置文件
62 2
|
28天前
|
SQL 分布式计算 Hadoop
Hadoop-19 Flume Agent批量采集数据到HDFS集群 监听Hive的日志 操作则把记录写入到HDFS 方便后续分析
Hadoop-19 Flume Agent批量采集数据到HDFS集群 监听Hive的日志 操作则把记录写入到HDFS 方便后续分析
39 2
|
27天前
|
分布式计算 Hadoop
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
39 1
|
27天前
|
存储 SQL 消息中间件
Hadoop-26 ZooKeeper集群 3台云服务器 基础概念简介与环境的配置使用 架构组成 分布式协调框架 Leader Follower Observer
Hadoop-26 ZooKeeper集群 3台云服务器 基础概念简介与环境的配置使用 架构组成 分布式协调框架 Leader Follower Observer
41 0
|
27天前
|
SQL 分布式计算 关系型数据库
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
68 0
|
27天前
|
SQL 分布式计算 关系型数据库
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
33 0
|
27天前
|
SQL 分布式计算 关系型数据库
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
41 0

相关实验场景

更多