Hadoop05【命令操作】

简介: 上篇文章我们成功的搭建了hadoop的集群环境,本文来介绍下hadoop的基本操作


 上篇文章我们成功的搭建了hadoop的集群环境,本文来介绍下hadoop的基本操作

HDFS存储目录

1.存储目录结构

在datanode的hdfsdata目录下查看:

image.png

image.png

2.浏览器快速查看

image.png


常用命令

1.查看根目录下的所有文件

hadoop fs -ls /

2.上传文件

将a.txt文件上传到hdfs中

image.png

上传命令

hadoop fs -put a.txt /

image.png

浏览器中查看上传的文件

image.png

hadoop-node03节点存储结构中查看文件

image.png

image.png

3.查看上传文件内容

hadoop fs -cat /a.txt

image.png

4.下载文件

hadoop fs -get /a.txt

image.png

5.删除文件

hadoop fs -rm /a.txt

image.png

6.创建目录

[root@hadoop-node04 subdir0]# hadoop fs -mkdir /aaa
[root@hadoop-node04 subdir0]# hadoop fs -mkdir -p  /a1/b1/c1

image.png

大文件操作

上传一个超过128M的文件

image.png

image.png

image.png

文件拼接

 将切割成两块的文件拼接成一个文件,我们看下是否可以解压使用。

[root@hadoop-node04 subdir0]# cat blk_1073741826 >> hadoop.file
[root@hadoop-node04 subdir0]# cat blk_1073741827 >> hadoop.file 

image.png

尝试解压缩

tar -zxvf hadoop.file

image.png

执行基本信息

1.查看HDFS的基本统计信息:

hadoop dfsadmin -report

2. 退出安全模式

 NameNode在启动时会自动进入安全模式。安全模式是NameNode的一种状态,在这个阶段,文件系统不允许有任何修改。系统显示Name node in safe mode,说明系统正处于安全模式,这时只需要等待十几秒即可,也可通过下面的命令退出安全模式:

hadoop dfsadmin -safemode leave

3.进入安全模式

在必要情况下,可以通过以下命令把HDFS置于安全模式:

hadoop dfsadmin -safemode enter

image.png

常见的错误

   初始化工作目录结构

   hdfs namenode -format 只是初始化了namenode的工作目录,而datanode的工作目录是在datanode启动后自己初始化的

   datanode不被namenode识别的问题

   namenode在format初始化的时候会形成两个标识:blockPoolId,clusterId

   新的datanode加入时,会获取这两个标识作为自己工作目录中的标识,一旦namenode重新format后,namenode的身份标识已变,而datanode如果依然持有原来的id,就不会被namenode识别

   datanode下线后多久看到效果

   datanode不是一下线就会被namenode认定为下线的,有一个超时时间

   关于副本数量的问题

   副本数由客户端的参数dfs.replication决定(优先级: conf.set > 自定义配置文件 > jar包中的hdfs-default.xml)


相关文章
|
分布式计算 Java 大数据
【大数据技术Hadoop+Spark】HDFS Shell常用命令及HDFS Java API详解及实战(超详细 附源码)
【大数据技术Hadoop+Spark】HDFS Shell常用命令及HDFS Java API详解及实战(超详细 附源码)
1302 0
|
存储 分布式计算 Hadoop
aws s3常用命令、hdfs dfs/hadoop fs常用命令
aws s3常用命令、hdfs dfs/hadoop fs常用命令
1676 0
|
资源调度 分布式计算 Hadoop
使用YARN命令管理Hadoop作业
本文介绍了如何使用YARN命令来管理Hadoop作业,包括查看作业列表、检查作业状态、杀死作业、获取作业日志以及检查节点和队列状态等操作。
520 1
使用YARN命令管理Hadoop作业
|
存储 分布式计算 资源调度
❤️hadoop常用命令总结及百万调优❤️
❤️hadoop常用命令总结及百万调优❤️
297 0
|
分布式计算 监控 Hadoop
Hadoop-29 ZooKeeper集群 Watcher机制 工作原理 与 ZK基本命令 测试集群效果 3台公网云服务器
Hadoop-29 ZooKeeper集群 Watcher机制 工作原理 与 ZK基本命令 测试集群效果 3台公网云服务器
267 1
|
分布式计算 资源调度 Hadoop
Hadoop入门基础(五):Hadoop 常用 Shell 命令一网打尽,提升你的大数据技能!
Hadoop入门基础(五):Hadoop 常用 Shell 命令一网打尽,提升你的大数据技能!
|
分布式计算 Hadoop
hadoop格式化HDFS的命令
【7月更文挑战第21天】
1343 5
|
分布式计算 资源调度 Hadoop
Hadoop执行格式化命令
【7月更文挑战第20天】
455 1
|
分布式计算 Hadoop Java
|
分布式计算 Hadoop Shell
Hadoop【基础知识 04】【HDFS常用shell命令】(hadoop fs + hadoop dfs + hdfs dfs 使用举例)
【4月更文挑战第4天】Hadoop【基础知识 04】【HDFS常用shell命令】(hadoop fs + hadoop dfs + hdfs dfs 使用举例)
764 5

相关实验场景

更多