大数据Hadoop 之 HDFS的基本使用

Hadoop分布式文件系统（Hadoop Distributed File System，HDFS）是Hadoop框架中的一个核心组件，用于存储和处理大规模数据。HDFS将文件划分为数据块，并在集群中不同节点上分别存储这些数据块，以实现高可靠性和高吞吐量。

基本概念

以下是HDFS的一些基本概念：

NameNode和DataNode

HDFS由两种类型的节点组成：NameNode和DataNode。NameNode维护着整个文件系统的命名空间和每个文件的元数据信息，而DataNode则负责存储数据块。

数据块

HDFS将文件划分为若干个数据块，默认大小为128MB。每个数据块可以有多个副本，在不同的DataNode上复制存储，以提高可靠性和读取性能。

副本

HDFS默认会为每个数据块创建三个副本，分别存储在不同的DataNode上。其中一个副本作为主副本，负责读写操作，其余两个副本为备份。

基本功能

接下来，我们将介绍HDFS的一些基本操作：

创建目录

使用以下命令可以在HDFS上创建一个新目录：

hdfs dfs -mkdir /user/[username]/[directory]

其中，[username]是您的用户名，[directory]是您要创建的目录名称。

上传文件

使用以下命令可以将本地文件上传到HDFS：

hdfs dfs -put [localfile] [destination]

其中，[localfile]是本地文件路径，[destination]是HDFS文件路径。

下载文件

使用以下命令可以将HDFS文件下载到本地：

hdfs dfs -get [source] [localfile]

其中，[source]是HDFS文件路径，[localfile]是本地文件路径。

列出文件/目录

使用以下命令可以列出HDFS上的文件或目录：

hdfs dfs -ls [path]

其中，[path]是文件或目录的路径。

删除文件/目录

使用以下命令可以删除HDFS上的文件或目录：

hdfs dfs -rm [-r] [path]

其中，[path]是文件或目录的路径。如果想要删除目录及其所有内容，需要加上-r参数。

查看文件内容

使用以下命令可以查看HDFS上文件的内容：

hdfs dfs -cat [path]

其中，[path]是文件的路径。

以上是HDFS的一些基本操作，通过这些命令，您可以在HDFS上进行简单的文件操作。除此之外，HDFS还支持更多高级功能，如文件块大小、文件副本数等的配置，以适应不同场景的需求。

重要概念

下面就来讲解一下高级功能：

在使用HDFS时，您还需要了解一些其他重要的概念和操作：

HDFS文件系统树

HDFS中的文件系统以树形结构组织。根目录为/，所有其他目录都是其子目录。每个目录都可以包含其他目录或文件。

文件块大小

HDFS文件块的默认大小为128MB。但是，您可以通过更改Hadoop配置文件中的参数来修改文件块大小。

副本数量

Hadoop默认为每个数据块创建三个副本，其中一个作为主副本，其余两个为备份。但是，您也可以在上传文件时手动指定副本数量。

数据复制策略

HDFS采用了一种数据复制策略，即每个数据块都会被复制到不同的机架上。这样可以保证数据即使在机架故障时也能保持可访问性。

安全模式

当NameNode启动时，它会进入安全模式。在这种模式下，NameNode将阻止任何写操作，直到其确信数据已经完全恢复。

客户端缓存

HDFS客户端会将最近访问过的文件块缓存在本地磁盘上，以提高读取性能。这个缓存称为“本地缓存（Local Cache）”。

高级操作

下面是HDFS的一些高级操作：

修改文件副本数量

您可以使用以下命令手动修改文件的副本数量：

hdfs dfs -setrep [-R] <numReplicas> <path>

其中，-R参数表示递归遍历子目录。如果省略此参数，则只会更改指定路径下的文件副本数量。

更改文件块大小

您可以使用以下命令手动更改文件块大小：

hdfs dfs -D dfs.block.size=<size> -put [localfile] [destination]

其中，<size>是新块大小（以字节为单位），[localfile]是本地文件路径，[destination]是HDFS文件路径。

查看文件块信息

您可以使用以下命令查看HDFS上文件块的详细信息：

hdfs fsck / -files -blocks -locations

这个命令将输出文件系统检查器的结果，包括文件名、文件大小、块数量和每个块的位置。

清空本地缓存

您可以使用以下命令清空HDFS客户端的本地缓存：

hdfs cacheadmin -removeDirectives -path <path>

其中，<path>是您要清空缓存的文件路径。

以上是HDFS的一些高级操作。通过这些操作，您可以更好地利用HDFS的强大功能，并满足数据处理的不同需求。