HDFS常用文件操作

简介: 基本文件命令:格式为:hadoop fs -cmd <args> 例如,文件列表命令: hadoop fs -ls

put

上传文件     hadoop fs -put wordcount.txt   /data/wordcount/
text
查看文件内容    hadoop fs -text /output/wordcount/part-r-00000 
ls
hadoop fs -ls /    列出hdfs文件系统根目录下的目录和文件
hadoop fs -ls -R /    列出hdfs文件系统所有目录和文件

rm

hadoop fs -rm < hdfs file > ...

hadoop fs -rm -r < hdfs dir>...

每次可以删除多个文件或目录
mkdir
只能一级一级建目录,父目录不存在的话使用这个命令会报错
所创建的目录如果父目录不存在就创建该父目录
cp

目标文件不能存在,否则命令不能执行,相当于给文件重命名并保存,源文件还存在
hadoop fs -cp < hdfs file or dir >... < hdfs dir >

目标文件夹要存在,否则命令不能执行

mv
 

目标文件不能存在,否则命令不能执行,相当于给文件重命名并保存,源文件不存在

 

源路径有多个时,目标路径必须为目录,且必须存在。

count
 

统计hdfs对应路径下的目录个数,文件个数,文件总计大小
显示为目录个数,文件个数,文件总计大小,输入路径

du
显示hdfs对应路径下每个文件夹和文件的大小
显示hdfs对应路径下所有文件和的大小
stat
 

返回对应路径的状态信息

tail
 

在标准输出中显示文件末尾的1KB数据

balancer
 

如果管理员发现某些DataNode保存数据过多,某些DataNode保存数据相对较少,可以使用上述命令手动启动内部的均衡过程

hdfs dfsadmin -safemode < enter | leave | get | wait >
enter:进入安全模式;leave:离开安全模式;get:获知是否开启安全模式;

wait:等待离开安全模式

distcp

用来在两个HDFS之间拷贝数据

setrep
 

改变一个文件在hdfs中的副本个数,上述命令中数字3为所设置的副本个数,-R选项可以对一个人目录下的所有目录+文件递归执行改变副本个数的操作

相关文章
|
6月前
|
Java API Maven
HDFS的API操作
HDFS的API操作
59 0
69 Azkaban HDFS操作任务
69 Azkaban HDFS操作任务
39 0
|
分布式计算 Java Hadoop
16 HDFS的java操作
16 HDFS的java操作
57 0
|
4月前
|
分布式计算 Hadoop 关系型数据库
实时计算 Flink版操作报错合集之Hadoop在将文件写入HDFS时,无法在所有指定的数据节点上进行复制,该如何解决
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
|
5月前
|
Java 大数据 API
【大数据】HDFS、HBase操作教程(含指令和JAVA API)
【大数据】HDFS、HBase操作教程(含指令和JAVA API)
138 0
【大数据】HDFS、HBase操作教程(含指令和JAVA API)
|
5月前
|
分布式计算 Hadoop Java
分布式系统详解--框架(Hadoop--JAVA操作HDFS文件)
分布式系统详解--框架(Hadoop--JAVA操作HDFS文件)
43 0
|
6月前
|
分布式计算 IDE Hadoop
实验:熟悉常用的HDFS操作
实验:熟悉常用的HDFS操作
66 3
|
6月前
|
分布式计算 Java 大数据
大数据 | Java 操作 HDFS 常用 API
大数据 | Java 操作 HDFS 常用 API
554 0
|
存储 分布式计算 Hadoop
HDFS基本原理及操作
通过实验了解HDFS的基本原理,掌握HDFS Shell常用命令。
|
分布式计算 Hadoop Shell
12 HDFS的shell操作
12 HDFS的shell操作
69 0