HDFS文件操作命令

简介: HDFS文件操作命令

HDFS作为分布式存储的文件系统,有其对数据的路径表达方式

HDFSlinux系统一样,均是以/作为根目录的组织形式

image.png

linux/usr/local/hello.txt

HDFS/usr/local/hello.txt

 

 

如何区分呢?

Linuxfile:///

HDFShdfs://namenode:port/

协议头file:///hdfs://root1:8020/可以省略

需要提供Linux路径的参数,会自动识别为file://

需要提供HDFS路径的参数,会自动识别hdfs://

除非明确需要写或不写会有BUG,否则一般不用写协议头

 

介绍

关于HDFS文件系统的操作命令,Hadoop提供了2套命令体系

hadoop命令(老版本),用法:hadoop fs [generic options]

image.png

hdfs命令(新版本用法),用法:hdfs dfs [generic options]

image.png

 

两者在文件系统操作上,用法完全一致

用哪个都可以

某些特殊操作需要选择hadoop命令或hdfs命令

 

1.创建文件夹

hadoop fs -mkdir [-p] <path> ….

hdfs dfs -mkdir [-p] <path>  ….

path为待创建的目录

-p选择的行为与linux mkdir -p一致,它会沿着路径创建父目录

 

 

2.查看指定目录下内容

hadoop fs -ls [-h] [-R] [<path>…]

hdfs dfs -ls [-h] [-R] [<path>…]

path指定目录路径

-h人性化显示文件size(大小)

-R递归查看指定目录以及子目录

image.png

 

3.上传文件到HDFS指定目录下

hadoop fs -put [-f] [-p] <localsrc>…<dst>

hdfs dfs -put [-f] [-p] <localsrc>…<dst>

-f 覆盖目标文件(以存在下)

-p 保留访问和修改时间,所有权和权限

localsrc本地文件系统(客户端所在机器)

dst 目标文件系统(HDFS

例子:

hadoop fs -put word.txt /root

hdfs dfs -put file:///etc/profile hdfs://root1:8020/root

 

4.查看HDFS文件内容

hadoop fs -cat <src>…

hdfs dfs -cat <src>…

读取指定文件全部内容,显示在标准输出控制台

hadoop fs -cat /root/1.txt

hdfs dfs -cat /root/2.txt

 

读取大文件可以使用管道符配合more(配合grep过滤非常好用)

hadoop fs -cat <src> | more

hdfs dfs -cat <src> | more

 

 

5.下载HDFS文件

hadoop fs -get [-f] [-p] <src> … <localdst>

hdfs dfs -get [-f] [-p] <src> … <localdst>

下载文件到本地文件系统指定目录,localdst必须是目录

-f 覆盖目标文件(已存在下)

-p 保留访问和修改时间,所有权和权限

image.png

 

 

6.拷贝HDFS文件

hadoop fs -cp [-f] <src>…<dst>

hdfs dfs -cp [-f] <src>…<dst>

-f 覆盖目标文件(已存在下)

 

7.追加数据到HDFS文件中

hadoop fs -appenToFile <localsrc>…<dst>

hdfs dfs -appendToFile <localsrc>…<dst>

将所有给定本地文件的内容追加到给定dst文件

dst如果文件不存在,将创建该文件

如果<localsrc>-,则输入为从标准输入中读取

image.png

 

8.HDFS数据移动操作

hadoop fs -mv <src>…<dst>

hdfs dfs -mv <src>…<dst>

移动文件到指定文件夹下

可以使用命令移动数据

 

9.HDFS数据删除操作

hadoop fs -rm -r [-skipTrash] URl [URl …]

hdfs dfs -rm -r [-skipTrash] URl [URl …]

删除指定路径的文件或文件夹

-skipTrash跳过回收站,直接删除

image.png

 

HDFS shell其他命令

命令官方指导文档

https://hadoop.apache.org/docs/r3.3.4/hadoop-project-dist/hadoop-common/FileSystemShell.html

 

HDFS web浏览

除了使用命令操作HDFS文件系统外,在HDFSweb UI上也可以查看HDFS文件系统的内容

image.png

image.png


 


 

 

 

目录
相关文章
|
5月前
|
存储 分布式计算 Hadoop
HDFS 修改副本数&fsck命令
HDFS 修改副本数&fsck命令
250 0
|
4月前
|
分布式计算 Java 大数据
【大数据技术Hadoop+Spark】HDFS Shell常用命令及HDFS Java API详解及实战(超详细 附源码)
【大数据技术Hadoop+Spark】HDFS Shell常用命令及HDFS Java API详解及实战(超详细 附源码)
227 0
|
5月前
|
API
HDFS基本命令及上传文件API
HDFS基本命令及上传文件API
|
15天前
|
分布式计算 Hadoop Shell
Hadoop【基础知识 04】【HDFS常用shell命令】(hadoop fs + hadoop dfs + hdfs dfs 使用举例)
【4月更文挑战第4天】Hadoop【基础知识 04】【HDFS常用shell命令】(hadoop fs + hadoop dfs + hdfs dfs 使用举例)
28 5
|
1月前
|
分布式计算 Hadoop Linux
HDFS的常用命令
HDFS的常用命令
18 0
|
4月前
|
存储 分布式计算 大数据
大数据笔记 | HDFS 常用操作命令
大数据笔记 | HDFS 常用操作命令
114 0
|
5月前
|
分布式计算 Hadoop
HDFS教程(02)- HDFS命令汇总
HDFS教程(02)- HDFS命令汇总
72 0
|
6月前
|
分布式计算 大数据 Hadoop
【大数据开发技术】实验02-HDFS常用shell命令
【大数据开发技术】实验02-HDFS常用shell命令
99 0
|
8月前
|
移动开发 分布式计算 Hadoop
访问HDFS的常用接口,常用命令操作
访问HDFS的常用接口,常用命令操作
148 0
|
10月前
|
分布式计算 Hadoop 大数据
【大数据学习篇3】HDFS命令操作与MR单词统计
【大数据学习篇3】HDFS命令操作与MR单词统计
118 0