Hadoop原理与技术——hdfs命令行基本操作

简介: Hadoop原理与技术——hdfs命令行基本操作

点击链接查看文档

在这里插入图片描述

一、实验目的
熟悉hdfs命令行基本操作
二、实验环境
Windows 10
VMware Workstation Pro虚拟机
Hadoop环境
Jdk1.8
三、实验内容
1:hdfs常见命令:
(1)查看帮助:hdfs dfs -help

(2)查看当前目录信息:hdfs dfs -ls /

(3)创建文件夹:hdfs dfs -mkdir /文件夹名

(4)上传文件:hdfs dfs -put /本地路径 /hdfs路径

(5)下载文件到本地:hdfs dfs -get /hdfs路径 /本地路径

(6)移动hdfs文件:hdfs dfs -mv /hdfs路径 /hdfs路径

(7)复制hdfs文件:hdfs dfs -cp /hdfs路径 /hdfs路径

(8)删除hdfs文件:hdfs dfs -rm /文件名

(9)删除hdfs文件夹:hdfs dfs -rm -r /文件夹名

(10)查看hdfs中的文件:hdfs dfs -cat /文件名

(11)查看文件夹中有多少个文件:hdfs dfs -count /文件夹名

(12)统计目录下的对象数:hdfs dfs -count /文件夹名

(13)统计目录下的对象大小:hdfs dfs -du [-s] [-h] /文件夹名

(14)显示hdfs的容量、数据块和数据节点的信息:hdfs dfsadmin -report

安全模式是hadoop的一种保护机制,用于保证集群中的数据块的安全性。当hdfs进入安全模式时不允许客户端进行任何修改文件的操作,包括上传文件,删除文件,重命名,创建文件夹等操作。

(15)查看安全模式状态:hdfs dfsadmin -safemode get

(16)强制进入安全模式:hdfs dfsadmin -safemode enter

(17)强制离开安全模式:hdfs dfsadmin -safemode leave

hdfs常见命令运行:

(1)查看帮助:hdfs dfs -help

在这里插入图片描述

(2)查看当前目录信息:hdfs dfs -ls /

在这里插入图片描述

(3)创建文件夹hdfsTest:hdfs dfs -mkdir /hdfsTest

在这里插入图片描述

(4)把本地路径为/home/hadoop/rg34/input.txt的文件上传到hdfs文件系统路径为/hdfsTest/hdfsFile1的目录下:hdfs dfs -put /home/hadoop/rg3 4/input.txt /hdfsTest/hdfsFile1

在这里插入图片描述

(5)下载路径为/hdfsTest/hdfsFile1/input.txt的hdfs文件到本地/home/hadoop/linusTest目录下:hdfs dfs -get /hdfsTest/hdfsFile1/ input.txt /home/hadoop/linusTest

在这里插入图片描述

(6)把路径为/hdfsTest/hdfsFile1/input.txt的hdfs文件移动到/hdfsTest/hdfsFile2下:hdfs dfs -mv /hdfsTest/hdfsFile1/input.txt /hdfsTest/hdfsFile2

在这里插入图片描述

(7)复制一份路径为/hdfsTest/hdfsFile2/input.txt的hdfs文件到路径为/hdfsTest/hdfsFile1目录下:hdfs dfs -cp /hdfsTest/hdfsFile2/input. Txt /hdfsTest/hdfsFile1

在这里插入图片描述

(8)删除路径为/hdfsTest/hdfsFile1/input.txt的hdfs文件:hdfs dfs -rm /hdfsTest/hdfsFile1/input.txt

在这里插入图片描述

(9)删除路径为/hdfsTest/hdfsFile1的hdfs文件夹:hdfs dfs -rm -r /hdfsTest/hdfsFile1

在这里插入图片描述

(10)查看路径为/hdfsTest/hdfsFile2/input.txt的hdfs文件:hdfs dfs -cat /hdfsTest/hdfsFile2/input.txt

    ![在这里插入图片描述](https://ucc.alicdn.com/images/user-upload-01/891dbd528e0d434a8caad8934388e918.png)
    

(11)查看hdfsTest文件夹中有多少个文件:hdfs dfs -count /hdfsTest

在这里插入图片描述(数字2表示有两个文件夹,数据1表示有1个文件)

(12)统计某目录下的对象数:hdfs dfs -count /

在这里插入图片描述

(13)统计某目录下的对象大小:hdfs dfs -du [-s] [-h] /

在这里插入图片描述

(14)显示hdfs的容量、数据块和数据节点的信息: hdfs dfsadmin -report

在这里插入图片描述安全模式是hadoop的一种保护机制,用于保证集群中的数据块的安全性。当hdfs进入安全模式时不允许客户端进行任何修改文件的操作,包括上传文件,删除文件,重命名,创建文件夹等操作。

(15)查看安全模式状态:hdfs dfsadmin -safemode get

在这里插入图片描述

(16)强制进入安全模式:hdfs dfsadmin -safemode enter

在这里插入图片描述

(17)强制离开安全模式:hdfs dfsadmin -safemode leave

在这里插入图片描述

目录
相关文章
|
29天前
|
分布式计算 Hadoop 大数据
大数据技术与Python:结合Spark和Hadoop进行分布式计算
【4月更文挑战第12天】本文介绍了大数据技术及其4V特性,阐述了Hadoop和Spark在大数据处理中的作用。Hadoop提供分布式文件系统和MapReduce,Spark则为内存计算提供快速处理能力。通过Python结合Spark和Hadoop,可在分布式环境中进行数据处理和分析。文章详细讲解了如何配置Python环境、安装Spark和Hadoop,以及使用Python编写和提交代码到集群进行计算。掌握这些技能有助于应对大数据挑战。
|
29天前
|
存储 分布式计算 Hadoop
Hadoop【基础知识 01】【分布式文件系统HDFS设计原理+特点+存储原理】(部分图片来源于网络)
【4月更文挑战第3天】Hadoop【基础知识 01】【分布式文件系统HDFS设计原理+特点+存储原理】(部分图片来源于网络)
42 3
|
29天前
|
存储 分布式计算 监控
Hadoop【基础知识 01+02】【分布式文件系统HDFS设计原理+特点+存储原理】(部分图片来源于网络)【分布式计算框架MapReduce核心概念+编程模型+combiner&partitioner+词频统计案例解析与进阶+作业的生命周期】(图片来源于网络)
【4月更文挑战第3天】【分布式文件系统HDFS设计原理+特点+存储原理】(部分图片来源于网络)【分布式计算框架MapReduce核心概念+编程模型+combiner&partitioner+词频统计案例解析与进阶+作业的生命周期】(图片来源于网络)
75 2
|
1天前
|
存储 分布式计算 运维
Hadoop的HDFS问题
【5月更文挑战第5天】Hadoop的HDFS问题
8 3
|
27天前
|
分布式计算 Hadoop 测试技术
Hadoop【基础知识 05】【HDFS的JavaAPI】(集成及测试)
【4月更文挑战第5天】Hadoop【基础知识 05】【HDFS的JavaAPI】(集成及测试)
45 8
|
27天前
|
分布式计算 资源调度 Hadoop
Hadoop【基础知识 03+04】【Hadoop集群资源管理器yarn】(图片来源于网络)(hadoop fs + hadoop dfs + hdfs dfs 使用举例)
【4月更文挑战第5天】Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】(图片来源于网络)Hadoop【基础知识 04】【HDFS常用shell命令】(hadoop fs + hadoop dfs + hdfs dfs 使用举例)
54 9
|
28天前
|
存储 运维 分布式计算
面经:HDFS分布式文件系统原理与故障排查
【4月更文挑战第10天】本文深入剖析了HDFS的底层原理和面试重点,包括HDFS的架构(NameNode、DataNode、Secondary NameNode)、文件读写流程、高级特性(快照、Erasure Coding、Federation、High Availability)以及故障排查方法。通过HDFS Shell命令示例,加强理解,并对比了HDFS与其他分布式文件系统的优缺点。掌握这些知识将有助于求职者在面试中脱颖而出,应对HDFS相关技术考察。
34 3
|
28天前
|
分布式计算 Hadoop Shell
Hadoop【基础知识 04】【HDFS常用shell命令】(hadoop fs + hadoop dfs + hdfs dfs 使用举例)
【4月更文挑战第4天】Hadoop【基础知识 04】【HDFS常用shell命令】(hadoop fs + hadoop dfs + hdfs dfs 使用举例)
33 5
|
1月前
|
分布式计算 Hadoop
Hadoop【问题记录 01】【hadoop-3.1.3 单机版】【Attempting to operate on hdfs namenode as root】
【4月更文挑战第2天】Hadoop【问题记录 01】【hadoop-3.1.3 单机版】【Attempting to operate on hdfs namenode as root】
14 0
|
1月前
|
存储 分布式计算 Hadoop
【Hadoop】HDFS中的块是什么?
【4月更文挑战第9天】【Hadoop】HDFS中的块是什么?