HDFS常用命令(方便大家记忆版)

简介: 1. 文件操作(1) 列出HDFS下的文件/usr/local/hadoop$bin/hadoop dfs -ls(2) 列出HDFS文件下名为in的文档中的文件/usr/local/hadoop$bin/hadoop dfs -ls in(...

1. 文件操作

(1) 列出HDFS下的文件

/usr/local/hadoop$bin/hadoop dfs -ls

(2) 列出HDFS文件下名为in的文档中的文件

/usr/local/hadoop$bin/hadoop dfs -ls in

(3) 上传文件

将hadoop目录下的test1文件上传到HDFS上并重命名为test:

/usr/local/hadoop$bin/hadoop dfs -put test1 test

(4) 文件被复制到本地系统中

将HDFS中的in文件复制到本地系统并命名为getin:

/usr/local/hadoop$bin/hadoop dfs -get in getin

(5) 删除文档

删除HDFS下名为out的文档:

/usr/local/hadoop$bin/hadoop dfs -rmr out

(6) 查看文件

查看HDFS下in文件中的内容:

/usr/local/hadoop$bin/hadoop dfs -cat in/*

(7) 建立目录

/usr/local/hadoop$bin/hadoop dfs -mkdir /user/hadoop/examples(目录/目录名)

只能一级一级的建目录。

(8) 复制文件

/usr/local/hadoop$bin/hadoop dfs -copyFromLocal 源路径 路径

(9)通过Hadoop命令把两个文件的内容合并起来

hdfs dfs -getmerge 位于hdfs中的原文件(里面有多个文件) 合并后的文件名

例如:hdfs dfs

-getmerge hdfs://Master:9000/data/SogouResult.txt CombinedResult

 注:合并后的文件位于当前目录,不在hdfs中,是本地文件

2. 管理与更新

(1) 执行基本信息

查看HDFS的基本统计信息:

/usr/local/hadoop$bin/hadoop dfsadmin -report

(2) 退出安全模式

NameNode在启动时会自动进入安全模式。安全模式是NameNode的一种状态,在这个阶段,文件系统不允许有任何修改。

系统显示Name node in safe mode,说明系统正处于安全模式,这时只需要等待十几秒即可,也可通过下面的命令退出安全模式:

/usr/local/hadoop$bin/hadoop dfsadmin -safemode leave

(3) 进入安全模式

在必要情况下,可以通过以下命令把HDFS置于安全模式:

/usr/local/hadoop$bin/hadoop dfsadmin -safemode enter

(4)节点添加

添加一个新的DataNode节点,先在新加节点上安装好Hadoop,要和NameNode使用相同的配置(可以直接从NameNode复制),修改$HADOOP_HOME/conf/master文件,加入NameNode主机名。然后在NameNode节点上修改$HADOOP_HOME/conf/slaves文件,加入新节点名,再建立新加节点无密码的SSH连接,运行启动命令为:

/usr/local/hadoop$bin/start-all.sh

(5)负载均衡

HDFS的数据在各个DataNode中的分布可能很不均匀,尤其是在DataNode节点出现故障或新增DataNode节点时。新增数据块时NameNode对DataNode节点的选择策略也有可能导致数据块分布不均匀。用户可以使用命令重新平衡DataNode上的数据块的分布:

/usr/local/hadoop$bin/start-balancer.sh

目录
相关文章
|
存储 分布式计算 Hadoop
HDFS 修改副本数&fsck命令
HDFS 修改副本数&fsck命令
583 0
|
6月前
|
分布式计算 Java 大数据
【大数据技术Hadoop+Spark】HDFS Shell常用命令及HDFS Java API详解及实战(超详细 附源码)
【大数据技术Hadoop+Spark】HDFS Shell常用命令及HDFS Java API详解及实战(超详细 附源码)
683 0
|
存储 分布式计算 Hadoop
aws s3常用命令、hdfs dfs/hadoop fs常用命令
aws s3常用命令、hdfs dfs/hadoop fs常用命令
1163 0
|
3月前
|
安全 Linux Shell
HDFS常用命令
HDFS常用命令
35 1
HDFS基本命令及上传文件API
HDFS基本命令及上传文件API
106 0
|
4月前
|
分布式计算 Hadoop
hadoop格式化HDFS的命令
【7月更文挑战第21天】
441 5
|
6月前
|
分布式计算 Hadoop Shell
Hadoop【基础知识 04】【HDFS常用shell命令】(hadoop fs + hadoop dfs + hdfs dfs 使用举例)
【4月更文挑战第4天】Hadoop【基础知识 04】【HDFS常用shell命令】(hadoop fs + hadoop dfs + hdfs dfs 使用举例)
99 5
|
6月前
|
分布式计算 Hadoop Linux
HDFS的常用命令
HDFS的常用命令
71 0
|
6月前
|
存储 分布式计算 大数据
大数据笔记 | HDFS 常用操作命令
大数据笔记 | HDFS 常用操作命令
250 0
|
12月前
|
分布式计算 Hadoop
HDFS教程(02)- HDFS命令汇总
HDFS教程(02)- HDFS命令汇总
142 0