Hadoop节点HDFS元数据与数据块的关系

简介: 【5月更文挑战第19天】

image.png
Hadoop中HDFS(Hadoop Distributed File System)的元数据与数据块之间的关系是HDFS架构的核心部分。以下是关于HDFS元数据与数据块关系的详细解释:

  1. 元数据(Metadata)
* 元数据是关于文件或目录的描述信息,如文件所在路径、文件名称、文件类型、生成时间、权限等。
* 在HDFS中,元数据主要由NameNode(元数据节点)进行管理。NameNode保存了整个文件系统的目录树结构,包括所有的文件和目录的元数据。
* 元数据以两种形式存在:
    + 内存:NameNode在内存中维护集群数据的最新信息,包括文件的元数据和数据块与数据节点的映射关系。
    + 磁盘:通过FsImage(文件系统元数据镜像文件)和Edits Log(编辑日志文件)对内存中的信息进行持久化。FsImage保存了文件系统目录树信息以及文件、块、DataNode的映射关系;Edits Log则记录了客户端对HDFS的所有更改记录,如增、删、重命名文件(目录)等操作。
  1. 数据块(Block)
* HDFS默认的最基本的存储单位是64MB的数据块(block)。文件在HDFS中是以数据块的形式进行存储的。
* 如果一个文件小于一个数据块的大小,它并不会占用整个数据块的存储空间。
* 每个数据块会额外复制2份(默认为3份),用于冗余备份和容灾。这些副本可能分布在不同的DataNode上。
  1. 元数据与数据块的关系
* NameNode维护了文件系统的元数据,包括每个文件对应的数据块列表。这些数据块列表记录了文件被分割成的数据块以及这些数据块所在的DataNode。
* 当客户端需要读取或写入文件时,它会与NameNode进行交互,获取文件的数据块列表和对应的DataNode信息,然后直接与DataNode进行数据传输。
* DataNode会周期性地向NameNode报告其存储的数据块信息,确保NameNode中的元数据是最新的。

总结来说,HDFS的元数据与数据块之间的关系是:元数据描述了文件或目录的属性以及它们与数据块之间的映射关系,而数据块则是文件在HDFS中的实际存储形式。NameNode负责维护和管理这些元数据,而DataNode则负责存储数据块并提供数据的读写服务。

目录
相关文章
|
2月前
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
196 6
|
2月前
|
SQL 分布式计算 监控
Hadoop-20 Flume 采集数据双写至本地+HDFS中 监控目录变化 3个Agent MemoryChannel Source对比
Hadoop-20 Flume 采集数据双写至本地+HDFS中 监控目录变化 3个Agent MemoryChannel Source对比
72 3
|
2月前
|
分布式计算 Hadoop Shell
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
89 4
|
2月前
|
分布式计算 Hadoop Shell
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
62 3
|
2月前
|
分布式计算 Java Hadoop
Hadoop-30 ZooKeeper集群 JavaAPI 客户端 POM Java操作ZK 监听节点 监听数据变化 创建节点 删除节点
Hadoop-30 ZooKeeper集群 JavaAPI 客户端 POM Java操作ZK 监听节点 监听数据变化 创建节点 删除节点
72 1
|
2月前
|
分布式计算 Hadoop Unix
Hadoop-28 ZooKeeper集群 ZNode简介概念和测试 数据结构与监听机制 持久性节点 持久顺序节点 事务ID Watcher机制
Hadoop-28 ZooKeeper集群 ZNode简介概念和测试 数据结构与监听机制 持久性节点 持久顺序节点 事务ID Watcher机制
54 1
|
2月前
|
分布式计算 Hadoop
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
59 1
|
2月前
|
SQL 分布式计算 关系型数据库
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
110 0
|
2月前
|
SQL 分布式计算 关系型数据库
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
52 0
|
2月前
|
SQL 分布式计算 关系型数据库
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
60 0

热门文章

最新文章

相关实验场景

更多