fuse-dfs的设定手册

简介:



fuse-dfs的设定手册

---原文是日文,由陈子诏翻译
 
一、安装和设置
前提条件:fuse-2.7.4hadoop0.17.1被正确的安装了
所有的操作都是在root的用户下进行的。一部分操作普通用户也可以进行。
1、环境变量的设置
export JAVA_HOME=/usr/java/jdk1.6.0_07
export OS_NAME=linux
export OS_ARCH=i386
export HADOOP_HOME=/hadoop
 
2、检查(CheckOut)最新的fuse-dfs源代码
因为hadoop0.17.1中里没有安装fuse-dfs、命令像下面这样的:
 
3、编译
#cd $HADOOP_HOME/src/contrib/fuse-dfs
#export FUSE_HOME=/usr/local/src/fuse-2.7.4
#./bootstrap.sh
#make
#mkdir $HADOOP_HOME/contrib/fuse-dfs/
#cp $HADOOP_HOME/src/contrib/fuse-dfs/src/fuse_dfs_wrapper.sh $HADOOP_HOME/contrib/fuse-dfs/
#cp $HADOOP_HOME/src/contrib/fuse-dfs/src/fuse_dfs $HADOOP_HOME/contrib/fuse-dfs/
 
4、lib的设置和创建链接hdfs-fuse同理
ln -s /hadoop/libhdfs/libhdfs.so /usr/local/lib/libhdfs.so
ln -s /usr/java/jdk1.6.0_07/jre/lib/i386/client/libjvm.so /usr/local/lib
 
# vi /etc/ld.so.conf
include ld.so.conf.d/*.conf
/usr/local/lib (追加这行)
确认修改结果
#ldconfig
 
5、Mount的准备
#vi $HADOOP_HOME/contrib/fuse-dfs/fuse_dfs_wrapper.sh的最前部追加下面的内容
#!/bin/bash
export JAVA_HOME=/usr/java/jdk1.6.0_07
export OS_NAME=linux
export OS_ARCH=i386
export HADOOP_HOME=/hadoop
 
最后一行的./fuse_dfs部分修改为fuse_df,然后保存。
 
6、Mount
#mkdir /mnt/dfs
#cd $HADOOP_HOME/contrib/fuse-dfs/
#./fuse_dfs_wrapper.sh dfs://172.16.0.47:9000 /mnt/dfs 需要调试信息的话,追加-d选项。
 
卸载的命令
#umount /mnt/dfs
 
7、利用fstab自动加载的命令
#ln -s $HADOOP_HOME/contrib/fuse-dfs/fuse_dfs /usr/local/bin
#ln -s $HADOOP_HOME/contrib/fuse-dfs/fuse_dfs_wrapper.sh /usr/local/bin/fuse_dfs_wrapper
#vi /etc/fstab 把下面的内容追加到文件最后。
fuse_dfs_wrapper#dfs://172.16.0.47:9000 /mnt/dfs fuse allow_other,rw 0 0
 
#vi /etc/sysconfig/modules/my.modules 如果这个文件不存在的话则创建。
#!/bin/bash
modprobe fuse >/dev/null 2>&1
 
#chmod +x /etc/sysconfig/modules/my.modules 保存之后给予执行的权限。
#reboot -n 重启操作系统。
 
8、测试
# df -h
Filesystem 大小 已使用 剩余 使用挂载的位置
/dev/mapper/VolGroup00-LogVol00
5.8G 4.6G 916M 84% /
/dev/xvda1 99M 27M 68M 29% /boot
tmpfs 513M 0 513M 0% /dev/shm
fuse 1.8G 1.5G 256M 86% /mnt/dfs
还有
# ls /mnt/dfs -l
合計 12
drwxrwxrwx 3 nobody nobody 4096 8 19 11:55 hadoop
drwxrwxrwx 7 nobody nobody 4096 8 19 14:59 share
drwxrwxrwx 4 nobody nobody 4096 8 15 11:31 user
 
OK
到此,安装的工作完成了。
 
二、错误信息和解决办法
1、fuse_dfs_wrapper.sh挂载的时候出现了下面的信息
fuse-dfs didn't recognize /mnt/dfs,-2
解決方法:?(陈注:不知道怎么解决?
 
2、df –h执行之后,挂载点也不显示
解決方法:
重启动OS,则可以显示出来。
 
3、fstab也无法自动挂载
fstab的最后一行追加了,重启之后无法自动挂载。但是mount –a执行之后,可以挂载。
原因:环境变量设置不正确
解決方法:
检查下列环境变量是否被正确设置了。
JAVA_HOME
OS_NAME
OS_ARCH
HADOOP_HOME
 

9/4 17:22


















本文转自sery51CTO博客,原文链接:http://blog.51cto.com/sery/121110 ,如需转载请自行联系原作者


相关文章
|
JavaScript 关系型数据库 MySQL
开源论坛 flarum 的快速创建 - docker版
开源论坛 flarum 的快速创建 - docker版
2075 2
开源论坛 flarum 的快速创建 - docker版
|
SQL Oracle 关系型数据库
exp-imp实现oracle不同表空间的迁移
  方法一:   --1、修改表空间名称(账号:sys/oracleas SYSDBA 登录) alter tablespace CICHR rename to CICHR_BAK;   alter tablespace USERS rename to CICHR;   --2、导出用户 expcichr-20110804/cichr-20110804@db_192.1
1763 0
|
机器人 BI 数据处理
伙伴客户案例|阿里云RPA&电讯盈科企业方案助力宁夏煤业降本增效——财务场景篇
RPA全称机器人流程自动化(Robotic Process Automation),是一种新兴的“数字劳动力”,可以替代或辅助人完成规则明确的重复性劳动,大幅提升业务流程效率,实现企业业务流程的自动化和智能化,从而降本增效。目前,RPA解决方案的应用场景几乎涵盖了所有行业,包括银行、保险、制造、零售、医疗、物流、电子商务甚至政府和公共机构。
伙伴客户案例|阿里云RPA&电讯盈科企业方案助力宁夏煤业降本增效——财务场景篇
|
存储 Prometheus 运维
阿里云ES全观测引擎TimeStream时序增强功能重磅发布,助力时序场景实现最佳实践
阿里云ES全观测引擎TimeStream时序增强功能最新发布,在云原生ELK全托管基础上,通过TimeStream时序增强功能插件,可实现高性能、低成本时序数据存储和查询分析。本文介绍TimeStream适用场景、功能优势、性能测试结果和实践案例
2447 0
|
人工智能 运维 监控
DingTalk「开发者说」第6期 边聊边做场景群
DingTalk「开发者说」是钉钉开发者最新上线的开发者栏目,联合阿里云ACE团队,分享钉应用开发解决方案、技术更新、实战技巧,致力于成为钉钉与开发者的桥梁与纽带,让更多的钉钉开发者传播技术、提升技能、分享观点。在数字化变革的时代,“云钉一体”“钉钉全面开放”战略之后,希望钉钉技术可以持续激发开发者的创造力,为组织数字化赋能。 本篇介绍了场景群的概念,钉钉群聊会话开放的核心能力和应用,以及场景群实践。
1118 0
DingTalk「开发者说」第6期 边聊边做场景群
|
XML 数据格式 计算机视觉
解决小目标检测常用手段——图像平铺
解决小目标检测常用手段——图像平铺
679 0
解决小目标检测常用手段——图像平铺
|
存储 算法 Oracle
浅谈关系型数据库主键设置策略
几乎大多数的应用都会使用关系型数据库进行数据存储,而主键一定是标配。那么,在您的应用中,通常使用什么方案来满足业务扩张呢?下面简单介绍普遍做法以及改进之道
263 0
浅谈关系型数据库主键设置策略
|
机器学习/深度学习 网络架构
EANN:多模态假新闻检测的事件对抗神经网络
EANN:多模态假新闻检测的事件对抗神经网络
748 0
EANN:多模态假新闻检测的事件对抗神经网络
|
数据可视化 搜索推荐 IDE
一款具备零代码和低代码能力的大数据可视化分析平台
什么是低代码平台: “低代码开发”旨在开发人员可以通过编写少量代码就可以快速生成应用程序的一种方法。 使用低代码开发平台类似于使用IDE,因为它包含了一套可以供开发人员直接使用的功能,和一套供开发人员使用的工具。然而,它实际上能提供的远远超过一个传统的IDE。简单来说,低代码开发就是将已有代码的可视化模块拖放到工作流中以创建应用程序的过程。由于它可以完全取代传统的手工编码应用程序的开发方法,技术娴熟的开发人员可以更智能、更高效地工作,而不会被重复的编码束缚住。相反,他们可以将精力集中于创建应用程序的10%部分,并使其具有与众不同的功能。与“低代码”开发相对的另一种方式是编写数千行复杂的代码和语
一款具备零代码和低代码能力的大数据可视化分析平台
|
JSON 移动开发 Rust
全自研客户端技术方案:优酷跨端动态模板引擎
全自研客户端技术方案:优酷跨端动态模板引擎
904 0
全自研客户端技术方案:优酷跨端动态模板引擎