HDFS NFS Gateway

简介: HDFS NFS Gateway

HDFS提供了基于NFS(Network File System)的插件,可以对外提供NFS网关,供其他系统挂载使用

NFS网关支持NFSv3,并允许HDFS作为客户机本地文件系统的一部分挂载,现在支持:

上传,下载,删除,追加内容

如下图,将HDFS挂载为windows文件管理器的网络位置

image.png

 

image.png

 image.png 

 

配置NFS

配置HDFS需要配置如下内容

core-site.xml,新增配置项以及hdfs-site.xml,新增配置项

开启protmapnfs3两个进程

root1进行如下操作

1.core-site.xml内新增如下两项

image.png

 

2.hdfs-site.xml中新增如下项

image.png

nfs.suerpserNFS操作HDFS系统,所使用的超级用户(hdfs的启动用户为超级用户)

nfs.dump.dirNFS接受数据上传时使用的临时目录

nfs.exports.allowed.hostsNFS允许连接的客户端IP和权限,rw表示读写,ip整体活部分可以*代替

上面写的192.168.88.1rw连接(这个是电脑虚拟网卡VMnet8IP,与虚拟机通讯就走这个网卡)

image.png

 

 

启用NFS功能

1.将配置好的core-site.xmlhdfs-site.xml分发到root2root3

image.png

2.重启Hadoop HDFS集群(先stop-dfs.sh然后start-dfs.sh

image.png

 

3.停止系统的NFS相关进程

systemctl stop nfs;systemctl disable nfs 关闭系统nfs并关闭其开机自启

image.png

yum remove -y rpcbind 卸载自带rpcbind

4.启动portmapHDFS自带的rpcbind功能)(必须root执行):hdfs --daemon start portmap

image.png

5.启动nfsHDFS自带的nfs功能)(必须以hadoop用户执行):hdfs --daemon start nfs3

image.png

最后启动HDFS集群

 

检查NFS是否正常

以下操作在root2root3执行(因为root1卸载了rpcbind,缺少了必要的2个命令)

执行:rpcinfo -p root1,正常输出如下

image.png

执行showmount -e root1

可以看到 / 192.168.88.1

image.png

就表示正常了

 

 

windows挂载HDFS文件系统

windows电脑必须要是专业版才能

1.开启windowsNFS功能

image.png

windows挂载HDFS文件系统

1.windows命令提示符(cmd)内输入:net use X: \\192.168.88.101\!

image.png

 

目录
相关文章
|
6月前
|
存储 分布式计算 Kubernetes
PVC、Ceph、HDFS、CPFS、NFS和OSS
PVC、Ceph、HDFS、CPFS、NFS和OSS都是分布式存储系统,下面是它们的详细介绍: 1. PVC(Persistent Volume Claim):PVC是Kubernetes中的一个资源请求,用于声明在集群中存储持久化数据的需求。PVC可以被用于存储应用程序的数据,例如数据库、日志文件等。PVC由Kubernetes集群管理员创建,并在Kubernetes集群中进行分配。
624 0
|
分布式计算 网络协议 Hadoop
Hadoop HDFS NFS GateWay部署深入详解
目的:通过挂载的方式,可以类似访问本地磁盘的方式一样的访问Hadoop文件,简单、方便、快捷。
639 0
Hadoop HDFS NFS GateWay部署深入详解
|
分布式计算 网络协议 Hadoop
Hodoop HDFS NFS GateWay 挂载到其他机器深入详解
0.前提有三台机器: 10.0.1.31 为Hadoop NameNode节点机器。 10.1.1.36为Hadoop DataNode节点机器。 10.1.111.13为非Hadoop机器。
293 0
|
Hadoop 文件存储 分布式计算
Hadoop HDFS NFS GateWay部署深入详解
通过挂载的方式,可以类似访问本地磁盘的方式一样的访问Hadoop文件,简单、方便、快捷。
1354 0
|
Hadoop
Hodoop HDFS NFS GateWay 挂载到其他机器深入详解
教你如何实现Hodoop HDFS NFS GateWay 挂载到其他机器。
577 0
|
1月前
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
142 6
|
1月前
|
SQL 分布式计算 监控
Hadoop-20 Flume 采集数据双写至本地+HDFS中 监控目录变化 3个Agent MemoryChannel Source对比
Hadoop-20 Flume 采集数据双写至本地+HDFS中 监控目录变化 3个Agent MemoryChannel Source对比
60 3
|
1月前
|
SQL 分布式计算 Hadoop
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(一)
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(一)
35 4
|
1月前
|
存储 分布式计算 资源调度
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(一)
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(一)
74 5
|
1月前
|
资源调度 数据可视化 大数据
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(二)
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(二)
35 4