Hadoop2.x HDFS shell命令

简介:

Hadoop2 HDFS shell命令

 

1. hdfs dfs -appendToFile <localsrc> ... <dst>

 

可同时上传多个文件到HDFS里面

 

2.  hdfs dfs -cat URI [URI ...]

 

查看文件内容

 

3. hdfs dfs -chgrp [-R] GROUP URI [URI ...]

 

修改文件所属组

 

4.  hdfs dfs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI ...]

 

修改文件权限

 

5. hdfs dfs -chown [-R] [OWNER][:[GROUP]] URI [URI ]

 

修改文件所有者,文件所属组,其他用户的读、写、执行权限

 

6. hdfs dfs -copyFromLocal <localsrc> URI

 

复制文件到hdfs

 

7.  hdfs dfs -copyToLocal [-ignorecrc] [-crc] URI <localdst>

 

复制文件到本地

 

8. hdfs dfs -count [-q] <paths>

 

统计文件及文件夹数目

 

9.  hdfs dfs -cp [-f] URI [URI ...] <dest>

 

Hadoop HDFS 文件系统间的文件复制

 

10. hdfs dfs -du [-s] [-h] URI [URI ...]

 

统计目录下的文件及大小

 

 

 

11. hdfs dfs -dus <args>

 

汇总目录下的文件总大小

 

12.  hdfs dfs -expunge

 

清空回收站,文件被删除时,它首先会移到临时目录.Trash/中,当超过延迟时间之后,文件才会被永久删除

 

13. hdfs dfs -get [-ignorecrc] [-crc] <src> <localdst>

 

下载文件到本地

 

14. hdfs dfs -getfacl [-R] <path>

 

查看ACL (访问权限组拥有者)

 

15. hdfs dfs -getmerge <src> <localdst> [addnl]

 

合并下载文件到本地

 

16. hdfs dfs -ls <args>

 

查看目录

 

17. hdfs dfs -lsr <args>

 

循环列出目录、子目录及文件信息 

 

18. hdfs dfs -mkdir [-p] <paths>

 

创建空白文件夹

 

19.  dfs -moveFromLocal <localsrc> <dst>

 

剪切文件到hdfs

 

20.  hdfs dfs -moveToLocal [-crc] <src> <dst>

 

剪切文件到本地

 

21. hdfs dfs -mv URI [URI ...] <dest>

 

剪切hdfs文件

 

22. hdfs dfs -put <localsrc> ... <dst>

 

上传文件

 

23. hdfs dfs -rm [-skipTrash] URI [URI ...]

 

删除文件/空白文件夹

 

24.  hdfs dfs -rmr [-skipTrash] URI [URI ...]

 

递归删除  删除文件及文件夹下的所有文件

 

25. hdfs dfs -setfacl [-R] [-b|-k -m|-x <acl_spec> <path>]|[--set <acl_spec> <path>]

 

Sets Access Control Lists (ACLs) of files and directories.

Options:

  • -b: Remove all but the base ACL entries. The entries for user, group and others are retained for compatibility with permission bits.

  • -k: Remove the default ACL.

  • -R: Apply operations to all files and directories recursively.

  • -m: Modify ACL. New entries are added to the ACL, and existing entries are retained.

  • -x: Remove specified ACL entries. Other ACL entries are retained.

  • --set: Fully replace the ACL, discarding all existing entries. The acl_spec must include entries for user, group, and others for compatibility with permission bits.

  • acl_spec: Comma separated list of ACL entries.

  • path: File or directory to modify.

Examples:

  • hdfs dfs -setfacl -m user:hadoop:rw- /file

  • hdfs dfs -setfacl -x user:hadoop /file

  • hdfs dfs -setfacl -b /file

  • hdfs dfs -setfacl -k /dir

  • hdfs dfs -setfacl --set user::rw-,user:hadoop:rw-,group::r--,other::r-- /file

  • hdfs dfs -setfacl -R -m user:hadoop:r-x /dir

  • hdfs dfs -setfacl -m default:user:hadoop:r-x /dir

Exit Code:

Returns 0 on success and non-zero on error.

 

 

26.  hdfs dfs -setrep [-R] [-w] <numReplicas> <path>

 

修改副本数

 

27. hdfs dfs -stat URI [URI ...]

 

显示文件统计信息

 

28.  hdfs dfs -tail [-f] URI

 

查看文件尾部信息

 

29. hdfs dfs -test -[ezd] URI

 

对PATH进行如下类型的检查: 

-e PATH是否存在,如果PATH存在,返回0,否则返回1 

-z 文件是否为空,如果长度为0,返回0,否则返回1 

-d 是否为目录,如果PATH为目录,返回0,否则返回1 

 

30. hdfs dfs -text <src>

 

查看文件内容

 

31.  hdfs dfs -touchz URI [URI ...]

 

创建长度为0的空文件











本文转自 yntmdr 51CTO博客,原文链接:http://blog.51cto.com/yntmdr/1733811,如需转载请自行联系原作者
目录
相关文章
|
XML 存储 分布式计算
【赵渝强老师】史上最详细:Hadoop HDFS的体系架构
HDFS(Hadoop分布式文件系统)由三个核心组件构成:NameNode、DataNode和SecondaryNameNode。NameNode负责管理文件系统的命名空间和客户端请求,维护元数据文件fsimage和edits;DataNode存储实际的数据块,默认大小为128MB;SecondaryNameNode定期合并edits日志到fsimage中,但不作为NameNode的热备份。通过这些组件的协同工作,HDFS实现了高效、可靠的大规模数据存储与管理。
2034 70
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
1399 6
|
SQL 分布式计算 监控
Hadoop-20 Flume 采集数据双写至本地+HDFS中 监控目录变化 3个Agent MemoryChannel Source对比
Hadoop-20 Flume 采集数据双写至本地+HDFS中 监控目录变化 3个Agent MemoryChannel Source对比
417 3
|
分布式计算 Hadoop Shell
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
552 4
|
SQL 分布式计算 Hadoop
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(一)
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(一)
514 4
|
分布式计算 Hadoop Shell
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
443 3
|
SQL 分布式计算 Hadoop
Hadoop-19 Flume Agent批量采集数据到HDFS集群 监听Hive的日志 操作则把记录写入到HDFS 方便后续分析
Hadoop-19 Flume Agent批量采集数据到HDFS集群 监听Hive的日志 操作则把记录写入到HDFS 方便后续分析
512 2
|
SQL
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(二)
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(二)
723 2
|
SQL 分布式计算 关系型数据库
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
572 0
|
SQL 分布式计算 关系型数据库
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
422 0

相关实验场景

更多