Hadoop原理与技术——hdfs命令行基本操作

简介: Hadoop原理与技术——hdfs命令行基本操作

点击链接查看文档

在这里插入图片描述

一、实验目的
熟悉hdfs命令行基本操作
二、实验环境
Windows 10
VMware Workstation Pro虚拟机
Hadoop环境
Jdk1.8
三、实验内容
1:hdfs常见命令:
(1)查看帮助:hdfs dfs -help

(2)查看当前目录信息:hdfs dfs -ls /

(3)创建文件夹:hdfs dfs -mkdir /文件夹名

(4)上传文件:hdfs dfs -put /本地路径 /hdfs路径

(5)下载文件到本地:hdfs dfs -get /hdfs路径 /本地路径

(6)移动hdfs文件:hdfs dfs -mv /hdfs路径 /hdfs路径

(7)复制hdfs文件:hdfs dfs -cp /hdfs路径 /hdfs路径

(8)删除hdfs文件:hdfs dfs -rm /文件名

(9)删除hdfs文件夹:hdfs dfs -rm -r /文件夹名

(10)查看hdfs中的文件:hdfs dfs -cat /文件名

(11)查看文件夹中有多少个文件:hdfs dfs -count /文件夹名

(12)统计目录下的对象数:hdfs dfs -count /文件夹名

(13)统计目录下的对象大小:hdfs dfs -du [-s] [-h] /文件夹名

(14)显示hdfs的容量、数据块和数据节点的信息:hdfs dfsadmin -report

安全模式是hadoop的一种保护机制,用于保证集群中的数据块的安全性。当hdfs进入安全模式时不允许客户端进行任何修改文件的操作,包括上传文件,删除文件,重命名,创建文件夹等操作。

(15)查看安全模式状态:hdfs dfsadmin -safemode get

(16)强制进入安全模式:hdfs dfsadmin -safemode enter

(17)强制离开安全模式:hdfs dfsadmin -safemode leave

hdfs常见命令运行:

(1)查看帮助:hdfs dfs -help

在这里插入图片描述

(2)查看当前目录信息:hdfs dfs -ls /

在这里插入图片描述

(3)创建文件夹hdfsTest:hdfs dfs -mkdir /hdfsTest

在这里插入图片描述

(4)把本地路径为/home/hadoop/rg34/input.txt的文件上传到hdfs文件系统路径为/hdfsTest/hdfsFile1的目录下:hdfs dfs -put /home/hadoop/rg3 4/input.txt /hdfsTest/hdfsFile1

在这里插入图片描述

(5)下载路径为/hdfsTest/hdfsFile1/input.txt的hdfs文件到本地/home/hadoop/linusTest目录下:hdfs dfs -get /hdfsTest/hdfsFile1/ input.txt /home/hadoop/linusTest

在这里插入图片描述

(6)把路径为/hdfsTest/hdfsFile1/input.txt的hdfs文件移动到/hdfsTest/hdfsFile2下:hdfs dfs -mv /hdfsTest/hdfsFile1/input.txt /hdfsTest/hdfsFile2

在这里插入图片描述

(7)复制一份路径为/hdfsTest/hdfsFile2/input.txt的hdfs文件到路径为/hdfsTest/hdfsFile1目录下:hdfs dfs -cp /hdfsTest/hdfsFile2/input. Txt /hdfsTest/hdfsFile1

在这里插入图片描述

(8)删除路径为/hdfsTest/hdfsFile1/input.txt的hdfs文件:hdfs dfs -rm /hdfsTest/hdfsFile1/input.txt

在这里插入图片描述

(9)删除路径为/hdfsTest/hdfsFile1的hdfs文件夹:hdfs dfs -rm -r /hdfsTest/hdfsFile1

在这里插入图片描述

(10)查看路径为/hdfsTest/hdfsFile2/input.txt的hdfs文件:hdfs dfs -cat /hdfsTest/hdfsFile2/input.txt

    ![在这里插入图片描述](https://ucc.alicdn.com/images/user-upload-01/891dbd528e0d434a8caad8934388e918.png)
    

(11)查看hdfsTest文件夹中有多少个文件:hdfs dfs -count /hdfsTest

在这里插入图片描述(数字2表示有两个文件夹,数据1表示有1个文件)

(12)统计某目录下的对象数:hdfs dfs -count /

在这里插入图片描述

(13)统计某目录下的对象大小:hdfs dfs -du [-s] [-h] /

在这里插入图片描述

(14)显示hdfs的容量、数据块和数据节点的信息: hdfs dfsadmin -report

在这里插入图片描述安全模式是hadoop的一种保护机制,用于保证集群中的数据块的安全性。当hdfs进入安全模式时不允许客户端进行任何修改文件的操作,包括上传文件,删除文件,重命名,创建文件夹等操作。

(15)查看安全模式状态:hdfs dfsadmin -safemode get

在这里插入图片描述

(16)强制进入安全模式:hdfs dfsadmin -safemode enter

在这里插入图片描述

(17)强制离开安全模式:hdfs dfsadmin -safemode leave

在这里插入图片描述

目录
相关文章
|
2月前
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
184 6
|
2月前
|
SQL 分布式计算 监控
Hadoop-20 Flume 采集数据双写至本地+HDFS中 监控目录变化 3个Agent MemoryChannel Source对比
Hadoop-20 Flume 采集数据双写至本地+HDFS中 监控目录变化 3个Agent MemoryChannel Source对比
70 3
|
1月前
|
存储 分布式计算 Hadoop
数据湖技术:Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第27天】在大数据时代,数据湖技术凭借其灵活性和成本效益成为企业存储和分析大规模异构数据的首选。Hadoop和Spark作为数据湖技术的核心组件,通过HDFS存储数据和Spark进行高效计算,实现了数据处理的优化。本文探讨了Hadoop与Spark的最佳实践,包括数据存储、处理、安全和可视化等方面,展示了它们在实际应用中的协同效应。
109 2
|
1月前
|
存储 分布式计算 Hadoop
数据湖技术:Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第26天】本文详细探讨了Hadoop与Spark在大数据处理中的协同作用,通过具体案例展示了两者的最佳实践。Hadoop的HDFS和MapReduce负责数据存储和预处理,确保高可靠性和容错性;Spark则凭借其高性能和丰富的API,进行深度分析和机器学习,实现高效的批处理和实时处理。
74 1
|
2月前
|
分布式计算 负载均衡 算法
Hadoop-31 ZooKeeper 内部原理 简述Leader选举 ZAB协议 一致性
Hadoop-31 ZooKeeper 内部原理 简述Leader选举 ZAB协议 一致性
31 1
|
2月前
|
分布式计算 监控 Hadoop
Hadoop-29 ZooKeeper集群 Watcher机制 工作原理 与 ZK基本命令 测试集群效果 3台公网云服务器
Hadoop-29 ZooKeeper集群 Watcher机制 工作原理 与 ZK基本命令 测试集群效果 3台公网云服务器
45 1
|
2月前
|
SQL 分布式计算 关系型数据库
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
103 0
|
2月前
|
SQL 分布式计算 关系型数据库
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
47 0
|
2月前
|
SQL 分布式计算 关系型数据库
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
57 0
|
2月前
|
分布式计算 资源调度 Hadoop
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
78 2