HDFS文件上传异常分析:put: `test.txt': No such file or directory

简介: HDFS文件上传异常分析:put: `test.txt': No such file or directory

问题描述

Linux上传本地文件到HDFS中时,出现“No such file or directory”
在这里插入图片描述
但是你发现当前文件夹下此文件是存在的
在这里插入图片描述
这个时候你也许担心会不会是文件权限的问题,因为我们在使用hdfs命令时,切换到了hdfs用户,但是当前文件所属的用户与用户组为root,于是我们在将此文件的用户与用户组修改为hdfs再试一下
在这里插入图片描述
可以看到,还是报同样的错误,然后又按照同样的方法将此文件所在文件夹的用户与用户组修改为了hdfs,还是不行

解决方法

将此文件所在文件夹的用户与用户组修改为hdfs后,移动至根目录下即可完成
在这里插入图片描述
或者将你想上传文件的所有上层的父级目录都修改为hdfs用户与用户组

原因说明

HDFS上传文件时,默认从根目录开始,层层递进查找需上传文件的所在目录,如果中间有目录不为hdfs,则查找中止,导致无法找到此文件,最后就会出现明明文件存在,却报错“No such file or directory”。

目录
相关文章
|
8月前
|
存储 分布式计算 Hadoop
HDFS Namenode挂掉后分析解决
HDFS Namenode挂掉后分析解决
174 1
|
8月前
|
缓存 分布式计算 负载均衡
HDFS 的写数据流程分析
HDFS的写数据流程是一道比较常见的面试题,同时梳理了写流程也可以帮助我们更加深入一点的了解 HDFS 的主要原理和各个组件的交互过程
|
机器学习/深度学习 存储 分布式计算
HDFS 高可用和高扩展机制分析|青训营笔记
文章主要讲解:1.HDFS 元数据服务的高可用;2.HDFS 数据存储高可用;3.HDFS 元数据服务的高扩展性;4.HDFS 数据存储的高扩展性
191 0
HDFS 高可用和高扩展机制分析|青训营笔记
|
存储 算法 NoSQL
hdfs dfs -ls命令显示No such file or directory
hdfs dfs -ls命令显示No such file or directory
558 0
hdfs dfs -ls命令显示No such file or directory
|
存储 缓存 负载均衡
大数据理论篇HDFS的基石——Google File System(二)
Google File System 但凡是要开始讲大数据的,都绕不开最初的Google三驾马车:Google File System(GFS), MapReduce,BigTable。 为这一切的基础的Google File System,不但没有任何倒台的迹象,还在不断的演化,事实上支撑着Google这个庞大的互联网公司的一切计算。 以下是原文内容,内容较长,建议详细阅读。
211 0
大数据理论篇HDFS的基石——Google File System(二)
|
存储 缓存 监控
大数据理论篇HDFS的基石——Google File System(一)
Google File System 但凡是要开始讲大数据的,都绕不开最初的Google三驾马车:Google File System(GFS), MapReduce,BigTable。 为这一切的基础的Google File System,不但没有任何倒台的迹象,还在不断的演化,事实上支撑着Google这个庞大的互联网公司的一切计算。 以下是原文内容,内容较长,建议详细阅读。
510 0
大数据理论篇HDFS的基石——Google File System(一)
|
SQL 数据采集 监控
实时读取本地文件到 HDFS 案例分析 | 学习笔记
快速学习实时读取本地文件到 HDFS 案例分析。
117 0
实时读取本地文件到 HDFS 案例分析 | 学习笔记
|
数据采集 开发者
实时读取目录文件到 HDFS 案例分析 | 学习笔记
快速学习实时读取目录文件到HDFS案例分析。
实时读取目录文件到 HDFS 案例分析 | 学习笔记
|
SQL 存储 分布式计算
使用DLA SQL(兼容Presto) CU版分析HDFS数据
最近,DLA SQL发布了CU版,支持访问用户自建的HDFS,使得挖掘HDFS上面数据的价值成为可能。
使用DLA SQL(兼容Presto) CU版分析HDFS数据
|
存储 机器学习/深度学习 分布式计算