Hodoop HDFS NFS GateWay 挂载到其他机器深入详解

简介: 0.前提有三台机器:10.0.1.31 为Hadoop NameNode节点机器。10.1.1.36为Hadoop DataNode节点机器。10.1.111.13为非Hadoop机器。

目前查到的资料里面显示HDFS NFS GateWay的挂载方式为:

参考:https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-hdfs/HdfsNfsGateway.html


[root]# mount -t nfs -o vers=3,proto=tcp,nolock,noacl,sync localhost:/ /hdfs_y

1

1. 本机挂载方式正常。

参考:http://blog.csdn.net/laoyang360/article/details/50865025


以下完成了Hdfs路径挂载到本地。


[root@WEB-W031 hdfsnew]# mount -t nfs -o vers=3,proto=tcp,nolock,noacl,sync 10.0.1.31:/ /hdfs_2

[root@WEB-W031 hdfsnew]#

[root@WEB-W031 hdfsnew]#

[root@WEB-W031 hdfsnew]#

[root@WEB-W031 hdfsnew]# cd /hdfs_2

[root@WEB-W031 hdfs_2]# ls -al

total 12

drwxr-xr-x 9 root 2584148964 288 Mar 16 16:30 .

drwxr-xr-x 34 root root 4096 Mar 17 10:02 ..

drwxr-xr-x 2 root 2584148964 64 Mar 16 15:01 dl

drwxr-xr-x 3 root 2584148964 96 Mar 16 16:23 input

drwxr-xr-x 2 root 2584148964 64 Mar 16 16:22 output

drwxr-xr-x 4 hadoop 2584148964 128 Mar 16 16:30 output2

drwxr-xr-x 4 root root 128 Mar 11 18:05 testing

drwxrwx--- 3 hadoop 2584148964 96 Mar 9 11:14 tmp

drwxr-xr-x 3 hadoop 2584148964 96 Mar 9 13:24 user

[root@WEB-W031 /]# mount

10.0.1.31:/ on /hdfsnew type nfs (rw,sync,nfsvers=3,proto=tcp,nolock,noacl,addr=10.0.1.31)

10.0.1.31:/ on /hdfs_2 type nfs (rw,sync,nfsvers=3,proto=tcp,nolock,noacl,addr=10.0.1.31)

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

采取直接挂载到其他机器目录的方式会报错:(不支持如下挂载,网上也没有类似的挂载方式)


[root@WEB-W031 hdfsnew]# mount -t nfs -o vers=3,proto=tcp,nolock,noacl,sync 10.0.1.31:/ 10.1.1.36:/hdfs_2

mount.nfs: Input/output error

1

2

2、【最终挂载方法】在Hadoop的DataNode节点挂载会ok(如下机器IP为10.1.1.36)

以下完成了NameNode10.0.1.31节点挂载到DataNode节点。

[root@Processor036 hdfs36]# mount -t nfs -o vers=3,proto=tcp,nolock,noacl,sync 10.0.1.31:/ /hdfs_2

[root@Processor036 hdfs36]# cd /hdfs_2

[root@Processor036 hdfs_2]# ls -al

total 12

drwxr-xr-x 9 root 2584148964 288 Mar 16 16:30 .

drwxr-xr-x 33 root root 4096 Mar 17 10:02 ..

drwxr-xr-x 2 root 2584148964 64 Mar 16 15:01 dl

drwxr-xr-x 3 root 258


4148964 96 Mar 16 16:23 input

drwxr-xr-x 2 root 2584148964 64 Mar 16 16:22 output

drwxr-xr-x 4 hadoop 2584148964 128 Mar 16 16:30 output2

drwxr-xr-x 4 root root 128 Mar 11 18:05 testing

drwxrwx--- 3 hadoop 2584148964 96 Mar 9 11:14 tmp

drwxr-xr-x 3 hadoop 2584148964 96 Mar 9 13:24 user

1

2

3

4

5

6

3、在非Hadoop机器的另外机器上挂载方法同2

以下完成了NameNode10.0.1.31节点挂载到非Hdaoop节点(10.1.111.13)。


[root@ 13]# mount -t nfs -o vers=3,proto=tcp,nolock,noacl,sync 10.0.1.31:/ /hdfs_13

1

4、如何在非Hadoop的机器上操作Hadoop账号建立的文件?

初始10.1.111.13上面并没有hadoop用户,

所以:新建的文件的uid 和 gid会显示666(原有10.0.1.31上的hadoop账号的uid和gid)。


修改方法:

即:在机器10.1.111.13新建hadoop账户,并修改其uid和gid为666


方法一:

groupmod -g 666 hadoop //修改hadoop用户的gid为666

usermod -g 666 hadoop //修改hadoop用户的uid为666

方法二:

直接修改/etc/passwd 找到hadoop账号修改。


修改后:


[hadoop@etl02 hdfs_13]$ ls -al

drwxrwxr-x   3 hadoop hadoop       96 Mar 17 13:18 make_in_31

1

2

至此,三台机器都可以用hadoop账号读写文件。以下三行分别是在三台机器写入的。


[hadoop@WEB-W031 test22]$ cat test36

363633636363  //36机器写入

1313131313131313 //13机器写入

inni31_31_31_31  //31机器写入

1

2

3

4

反思:

本机挂载之前就搞定了,但是挂载到其他机器反复尝试了很多方法, 后来回到原点,挂载本机的方法就可以挂载到其他机器。很有意思。

ils/50917665

相关文章
|
1月前
|
Linux Shell Windows
通过Linux挂载Windows端NFS服务实现板端Linux传输文件到PC
通过Linux挂载Windows端NFS服务实现板端Linux传输文件到PC
|
4月前
|
弹性计算 Serverless 网络安全
于在阿里云函数计算中挂载NFS共享时出现了问题
于在阿里云函数计算中挂载NFS共享时出现了问题
53 1
|
3月前
|
Unix Linux 文件存储
文件传输、文件挂载MOUNT:NFS、CIFS、ADB、SAMBA
文件传输、文件挂载MOUNT:NFS、CIFS、ADB、SAMBA
70 0
|
6月前
|
开发工具 对象存储
nfs挂载报错问题
nfs挂载报错问题
|
4月前
|
存储 分布式计算 Kubernetes
PVC、Ceph、HDFS、CPFS、NFS和OSS
PVC、Ceph、HDFS、CPFS、NFS和OSS都是分布式存储系统,下面是它们的详细介绍: 1. PVC(Persistent Volume Claim):PVC是Kubernetes中的一个资源请求,用于声明在集群中存储持久化数据的需求。PVC可以被用于存储应用程序的数据,例如数据库、日志文件等。PVC由Kubernetes集群管理员创建,并在Kubernetes集群中进行分配。
121 0
|
5月前
|
分布式计算 Hadoop Windows
HDFS NFS Gateway
HDFS NFS Gateway
27 0
|
8月前
|
域名解析 运维 负载均衡
【运维知识进阶篇】Tomcat集群实战之部署zrlog博客(Tomcat服务安装+静态资源挂载NFS+Nginx负载均衡+HTTPS证书+Redis会话保持)
【运维知识进阶篇】Tomcat集群实战之部署zrlog博客(Tomcat服务安装+静态资源挂载NFS+Nginx负载均衡+HTTPS证书+Redis会话保持)
254 1
|
9月前
|
运维 Kubernetes Unix
【运维】Linux/Ec2挂载卷与NFS搭建实站讲解
英文Network File System(NFS),是由SUN公司研制的UNIX表示层协议(presentation layer protocol),能使使用者访问网络上别处的文件就像在使用自己的计算机一样。NFS在实际场景中有着不少的应用场景,比如分布式代码部署下,代码一致性的同步方案,K8S多容器内外挂载等情况,今天就来具体讲解一下怎么实现。
|
9月前
在通过客户端向 hdfs 中写数据的时候,如果某一台机器宕机了,会怎么处理
在通过客户端向 hdfs 中写数据的时候,如果某一台机器宕机了,会怎么处理
78 0
|
9月前
|
Linux
Linux系统之使用autofs自动挂载nfs共享
Linux系统之使用autofs自动挂载nfs共享
115 1