HDFS NFS Gateway

简介: HDFS NFS Gateway

HDFS提供了基于NFS(Network File System)的插件,可以对外提供NFS网关,供其他系统挂载使用

NFS网关支持NFSv3,并允许HDFS作为客户机本地文件系统的一部分挂载,现在支持:

上传,下载,删除,追加内容

如下图,将HDFS挂载为windows文件管理器的网络位置

image.png

 

image.png

 image.png 

 

配置NFS

配置HDFS需要配置如下内容

core-site.xml,新增配置项以及hdfs-site.xml,新增配置项

开启protmapnfs3两个进程

root1进行如下操作

1.core-site.xml内新增如下两项

image.png

 

2.hdfs-site.xml中新增如下项

image.png

nfs.suerpserNFS操作HDFS系统,所使用的超级用户(hdfs的启动用户为超级用户)

nfs.dump.dirNFS接受数据上传时使用的临时目录

nfs.exports.allowed.hostsNFS允许连接的客户端IP和权限,rw表示读写,ip整体活部分可以*代替

上面写的192.168.88.1rw连接(这个是电脑虚拟网卡VMnet8IP,与虚拟机通讯就走这个网卡)

image.png

 

 

启用NFS功能

1.将配置好的core-site.xmlhdfs-site.xml分发到root2root3

image.png

2.重启Hadoop HDFS集群(先stop-dfs.sh然后start-dfs.sh

image.png

 

3.停止系统的NFS相关进程

systemctl stop nfs;systemctl disable nfs 关闭系统nfs并关闭其开机自启

image.png

yum remove -y rpcbind 卸载自带rpcbind

4.启动portmapHDFS自带的rpcbind功能)(必须root执行):hdfs --daemon start portmap

image.png

5.启动nfsHDFS自带的nfs功能)(必须以hadoop用户执行):hdfs --daemon start nfs3

image.png

最后启动HDFS集群

 

检查NFS是否正常

以下操作在root2root3执行(因为root1卸载了rpcbind,缺少了必要的2个命令)

执行:rpcinfo -p root1,正常输出如下

image.png

执行showmount -e root1

可以看到 / 192.168.88.1

image.png

就表示正常了

 

 

windows挂载HDFS文件系统

windows电脑必须要是专业版才能

1.开启windowsNFS功能

image.png

windows挂载HDFS文件系统

1.windows命令提示符(cmd)内输入:net use X: \\192.168.88.101\!

image.png

 

目录
相关文章
|
3月前
|
存储 分布式计算 Kubernetes
PVC、Ceph、HDFS、CPFS、NFS和OSS
PVC、Ceph、HDFS、CPFS、NFS和OSS都是分布式存储系统,下面是它们的详细介绍: 1. PVC(Persistent Volume Claim):PVC是Kubernetes中的一个资源请求,用于声明在集群中存储持久化数据的需求。PVC可以被用于存储应用程序的数据,例如数据库、日志文件等。PVC由Kubernetes集群管理员创建,并在Kubernetes集群中进行分配。
370 0
|
分布式计算 网络协议 Hadoop
Hadoop HDFS NFS GateWay部署深入详解
目的:通过挂载的方式,可以类似访问本地磁盘的方式一样的访问Hadoop文件,简单、方便、快捷。
610 0
Hadoop HDFS NFS GateWay部署深入详解
|
分布式计算 网络协议 Hadoop
Hodoop HDFS NFS GateWay 挂载到其他机器深入详解
0.前提有三台机器: 10.0.1.31 为Hadoop NameNode节点机器。 10.1.1.36为Hadoop DataNode节点机器。 10.1.111.13为非Hadoop机器。
272 0
|
Hadoop 文件存储 分布式计算
Hadoop HDFS NFS GateWay部署深入详解
通过挂载的方式,可以类似访问本地磁盘的方式一样的访问Hadoop文件,简单、方便、快捷。
1327 0
|
Hadoop
Hodoop HDFS NFS GateWay 挂载到其他机器深入详解
教你如何实现Hodoop HDFS NFS GateWay 挂载到其他机器。
564 0
|
3月前
|
Linux
Linux安装NFS挂载NFS卸载客户端服务端都有
Linux安装NFS挂载NFS卸载客户端服务端都有
100 0
|
3月前
|
Ubuntu 网络协议 Unix
【Linux】新唐NUC977挂载NFS实现网络文件传输
【Linux】新唐NUC977挂载NFS实现网络文件传输
|
3月前
|
Linux Shell Windows
通过Linux挂载Windows端NFS服务实现板端Linux传输文件到PC
通过Linux挂载Windows端NFS服务实现板端Linux传输文件到PC
265 0
|
3月前
|
存储 监控 网络协议
【Linux】文件服务NFS(Network File System)
【Linux】文件服务NFS(Network File System)
147 0
|
3月前
|
存储 Linux 网络安全
Linux系统安装NFS服务器
NFS是一种网络文件系统,英文全称Network File System,通过NFS可以让不同的主机系统之间共享文件或目录。通过NFS,用户可以直接在本地NFS客户端读写NFS服务端上的文件,是非常好的共享存储工具。本篇文章将介绍如何在CentOS7上安装NFS服务器,包括服务端和客户端安装两部分。
103 0