HDFS NFS Gateway

简介: HDFS NFS Gateway

HDFS提供了基于NFS(Network File System)的插件,可以对外提供NFS网关,供其他系统挂载使用

NFS网关支持NFSv3,并允许HDFS作为客户机本地文件系统的一部分挂载,现在支持:

上传,下载,删除,追加内容

如下图,将HDFS挂载为windows文件管理器的网络位置

image.png

 

image.png

 image.png 

 

配置NFS

配置HDFS需要配置如下内容

core-site.xml,新增配置项以及hdfs-site.xml,新增配置项

开启protmapnfs3两个进程

root1进行如下操作

1.core-site.xml内新增如下两项

image.png

 

2.hdfs-site.xml中新增如下项

image.png

nfs.suerpserNFS操作HDFS系统,所使用的超级用户(hdfs的启动用户为超级用户)

nfs.dump.dirNFS接受数据上传时使用的临时目录

nfs.exports.allowed.hostsNFS允许连接的客户端IP和权限,rw表示读写,ip整体活部分可以*代替

上面写的192.168.88.1rw连接(这个是电脑虚拟网卡VMnet8IP,与虚拟机通讯就走这个网卡)

image.png

 

 

启用NFS功能

1.将配置好的core-site.xmlhdfs-site.xml分发到root2root3

image.png

2.重启Hadoop HDFS集群(先stop-dfs.sh然后start-dfs.sh

image.png

 

3.停止系统的NFS相关进程

systemctl stop nfs;systemctl disable nfs 关闭系统nfs并关闭其开机自启

image.png

yum remove -y rpcbind 卸载自带rpcbind

4.启动portmapHDFS自带的rpcbind功能)(必须root执行):hdfs --daemon start portmap

image.png

5.启动nfsHDFS自带的nfs功能)(必须以hadoop用户执行):hdfs --daemon start nfs3

image.png

最后启动HDFS集群

 

检查NFS是否正常

以下操作在root2root3执行(因为root1卸载了rpcbind,缺少了必要的2个命令)

执行:rpcinfo -p root1,正常输出如下

image.png

执行showmount -e root1

可以看到 / 192.168.88.1

image.png

就表示正常了

 

 

windows挂载HDFS文件系统

windows电脑必须要是专业版才能

1.开启windowsNFS功能

image.png

windows挂载HDFS文件系统

1.windows命令提示符(cmd)内输入:net use X: \\192.168.88.101\!

image.png

 

目录
相关文章
|
存储 分布式计算 Kubernetes
PVC、Ceph、HDFS、CPFS、NFS和OSS
PVC、Ceph、HDFS、CPFS、NFS和OSS都是分布式存储系统,下面是它们的详细介绍: 1. PVC(Persistent Volume Claim):PVC是Kubernetes中的一个资源请求,用于声明在集群中存储持久化数据的需求。PVC可以被用于存储应用程序的数据,例如数据库、日志文件等。PVC由Kubernetes集群管理员创建,并在Kubernetes集群中进行分配。
1656 0
|
分布式计算 网络协议 Hadoop
Hadoop HDFS NFS GateWay部署深入详解
目的:通过挂载的方式,可以类似访问本地磁盘的方式一样的访问Hadoop文件,简单、方便、快捷。
Hadoop HDFS NFS GateWay部署深入详解
|
分布式计算 网络协议 Hadoop
Hodoop HDFS NFS GateWay 挂载到其他机器深入详解
0.前提有三台机器: 10.0.1.31 为Hadoop NameNode节点机器。 10.1.1.36为Hadoop DataNode节点机器。 10.1.111.13为非Hadoop机器。
|
Hadoop 文件存储 分布式计算
Hadoop HDFS NFS GateWay部署深入详解
通过挂载的方式,可以类似访问本地磁盘的方式一样的访问Hadoop文件,简单、方便、快捷。
1708 0
|
Hadoop
Hodoop HDFS NFS GateWay 挂载到其他机器深入详解
教你如何实现Hodoop HDFS NFS GateWay 挂载到其他机器。
840 0
|
11月前
|
负载均衡 监控 Java
Spring Cloud Gateway 全解析:路由配置、断言规则与过滤器实战指南
本文详细介绍了 Spring Cloud Gateway 的核心功能与实践配置。首先讲解了网关模块的创建流程,包括依赖引入(gateway、nacos 服务发现、负载均衡)、端口与服务发现配置,以及路由规则的设置(需注意路径前缀重复与优先级 order)。接着深入解析路由断言,涵盖 After、Before、Path 等 12 种内置断言的参数、作用及配置示例,并说明了自定义断言的实现方法。随后重点阐述过滤器机制,区分路由过滤器(如 AddRequestHeader、RewritePath、RequestRateLimiter 等)与全局过滤器的作用范围与配置方式,提
Spring Cloud Gateway 全解析:路由配置、断言规则与过滤器实战指南
|
10月前
|
缓存 JSON NoSQL
别再手写过滤器!SpringCloud Gateway 内置30 个,少写 80% 重复代码
小富分享Spring Cloud Gateway内置30+过滤器,涵盖请求、响应、路径、安全等场景,无需重复造轮子。通过配置实现Header处理、限流、重试、熔断等功能,提升网关开发效率,避免代码冗余。
785 1
|
JSON Java API
利用Spring Cloud Gateway Predicate优化微服务路由策略
Spring Cloud Gateway 的路由配置中,`predicates`​(断言)用于定义哪些请求应该匹配特定的路由规则。 断言是Gateway在进行路由时,根据具体的请求信息如请求路径、请求方法、请求参数等进行匹配的规则。当一个请求的信息符合断言设置的条件时,Gateway就会将该请求路由到对应的服务上。
1779 69
利用Spring Cloud Gateway Predicate优化微服务路由策略
|
缓存 监控 Java
说一说 SpringCloud Gateway 堆外内存溢出排查
我是小假 期待与你的下一次相遇 ~
1573 5
|
Java API Nacos