HDFS文件上传异常分析:put: `test.txt': No such file or directory

简介: HDFS文件上传异常分析:put: `test.txt': No such file or directory

问题描述

Linux上传本地文件到HDFS中时,出现“No such file or directory”
在这里插入图片描述
但是你发现当前文件夹下此文件是存在的
在这里插入图片描述
这个时候你也许担心会不会是文件权限的问题,因为我们在使用hdfs命令时,切换到了hdfs用户,但是当前文件所属的用户与用户组为root,于是我们在将此文件的用户与用户组修改为hdfs再试一下
在这里插入图片描述
可以看到,还是报同样的错误,然后又按照同样的方法将此文件所在文件夹的用户与用户组修改为了hdfs,还是不行

解决方法

将此文件所在文件夹的用户与用户组修改为hdfs后,移动至根目录下即可完成
在这里插入图片描述
或者将你想上传文件的所有上层的父级目录都修改为hdfs用户与用户组

原因说明

HDFS上传文件时,默认从根目录开始,层层递进查找需上传文件的所在目录,如果中间有目录不为hdfs,则查找中止,导致无法找到此文件,最后就会出现明明文件存在,却报错“No such file or directory”。

目录
相关文章
|
3月前
Hadoop-09-HDFS集群 JavaClient 代码上手实战!详细附代码 安装依赖 上传下载文件 扫描列表 PUT GET 进度条显示(二)
Hadoop-09-HDFS集群 JavaClient 代码上手实战!详细附代码 安装依赖 上传下载文件 扫描列表 PUT GET 进度条显示(二)
54 3
|
3月前
|
SQL 分布式计算 Hadoop
Hadoop-19 Flume Agent批量采集数据到HDFS集群 监听Hive的日志 操作则把记录写入到HDFS 方便后续分析
Hadoop-19 Flume Agent批量采集数据到HDFS集群 监听Hive的日志 操作则把记录写入到HDFS 方便后续分析
60 2
|
3月前
|
分布式计算 Java Hadoop
Hadoop-09-HDFS集群 JavaClient 代码上手实战!详细附代码 安装依赖 上传下载文件 扫描列表 PUT GET 进度条显示(一)
Hadoop-09-HDFS集群 JavaClient 代码上手实战!详细附代码 安装依赖 上传下载文件 扫描列表 PUT GET 进度条显示(一)
56 2
|
弹性计算 分布式计算 网络协议
聊聊复杂网络环境下hdfs的BlockMissingException异常|参数dfs.client.use.datanode.hostname
企业真实的网络环境是复杂多变的,在复杂的网络环境中部署并使用 hadoop 时,如果服务端的配置或客户端的使用不当,就可能会遇见各种问题。
聊聊复杂网络环境下hdfs的BlockMissingException异常|参数dfs.client.use.datanode.hostname
|
存储 分布式计算 Hadoop
HDFS Namenode挂掉后分析解决
HDFS Namenode挂掉后分析解决
300 1
|
缓存 分布式计算 负载均衡
HDFS 的写数据流程分析
HDFS的写数据流程是一道比较常见的面试题,同时梳理了写流程也可以帮助我们更加深入一点的了解 HDFS 的主要原理和各个组件的交互过程
|
机器学习/深度学习 分布式计算 Hadoop
记一次HDFS报EOFException异常的问题
现象 大晚上的收到线上DataNode挂掉异常的报警,值班同学随即做了重启处理,重启完成后,进程虽然在运行,但是NameNode的WebUI上显示大量的block丢失。 There are 12622047 missing blocks. Number of Under-Replicated Blocks 14436901 重新启动的DataNode节点block数量为0,明显不正常 HDFS在对丢失的block做恢复,missing blocks的数量在减少,但是丢失的的太多了,恢复速度很慢,这种情况肯定不能指望集群自动恢复的。
1292 0
|
机器学习/深度学习 存储 分布式计算
HDFS 高可用和高扩展机制分析|青训营笔记
文章主要讲解:1.HDFS 元数据服务的高可用;2.HDFS 数据存储高可用;3.HDFS 元数据服务的高扩展性;4.HDFS 数据存储的高扩展性
276 0
HDFS 高可用和高扩展机制分析|青训营笔记
|
存储 算法 NoSQL
hdfs dfs -ls命令显示No such file or directory
hdfs dfs -ls命令显示No such file or directory
853 0
hdfs dfs -ls命令显示No such file or directory
|
分布式计算 Hadoop Linux
hadoop启动hdfs异常
hadoop启动hdfs异常
245 0

热门文章

最新文章