NameNode元数据

简介: NameNode元数据

NameNode是如何管理Block块的

 

NameNode基于

edits记录每次操作

fsimage记录某一个时间节点前的当前文件系统全部文件的状态和信息维护整个系统元数据

 

edits文件会被移动到fsimage中,这个合并理由:

SecondaryNameNode来操作

 

fsimage记录的内容是:文件的信息

 

 

edite文件

hdfs中,文件是被划分了一堆堆的block块,那如果文件很大,以及文件很多,Hadoop是如何记录和整理文件和block块的关系呢

答案就在于NameNode

image.png

edits文件,是一个流水账文件,记录了hdfs中的每一次操作,以及本次操作影响的文件其对应的block,会想如下一样记录下来

image.png

 

如果要查看某个文件内容,我们只能看最后一个edits文件才能知道文件当前的状态

所以就要合并edits文件,得到最终的结果

 

fsimage文件

将全部的edits文件,最终为合并结果,即可得到一个FSImage文件

image.png

NameNode元数据管理维护

NameNode基于editsFSImage的配合,完成整个文件系统文件的管理

1.每次对HDFS的操作,均被edits文件记录

2.edits达到大小上线后,开启新的edits文件记录

3.定期进行edits的合并操作

如果当前没有fsimage文件,将全部edits合并为第一个fsimage

如果当前已存在fsimage文件,将全部edits和已存在的fsimage进行合并,形成新的fsimage

 

 

 

元数据合并控制参数

对于元数据的合并,是一个定时过程,基于

dfs.namenode.checkpoint.period ,默认3600秒即为1小时

dfs.namenode.checkpoint.txns,默认1000000即为100w次事务

只要有一个达到条件就执行

检查是否达到条件,默认60秒检查一次,基于:
dfs.namenode.checkpoint.check.period,默认60秒,来决定

 

SecondaryNameNode的作用

NameNode只会写edits文件,合并是哦SecondaryNmaeNode做的

所以启动的时候必须要启动SecondaryNameNode要不然NameNodeedits文件会越来越多,HDFS也就会卡

对于元数据的合并,还记得之前基础的时候有一个角色是,SecondaryNameNode

image.png

合并元数据就是他来做的,SecondaryNameNode会通过httpNameNode拉取数据(editsfsimage

然后合并完成后提供给NameNode使用

 

 

目录
相关文章
|
7月前
|
存储 分布式计算 Hadoop
Hadoop数据块分散存储NameNode管理
【4月更文挑战第17天】Hadoop是一个开源的分布式计算框架,依赖HDFS进行分布式存储。文件被分割成数据块分散在DataNode上,NameNode负责元数据管理和协调,确保数据可靠性。NameNode的高可用性配置能防止单点故障,保证系统稳定性。这套机制支持高效、可靠和可扩展的大数据存储与访问。
90 3
CDH5.6下线Hdfs的DataNode
CDH5.6下线Hdfs的DataNode
202 0
|
7月前
|
存储 分布式计算 Hadoop
Hadoop节点HDFS元数据与数据块的关系
【5月更文挑战第19天】
133 4
|
7月前
|
存储 分布式计算 Hadoop
Hadoop节点HDFS数据块的作用
【5月更文挑战第19天】
82 3
|
7月前
|
存储 分布式计算 Hadoop
hadoop节点HDFS数据块(Block)
【5月更文挑战第18天】
185 1
|
7月前
|
存储 分布式计算 Hadoop
NameNode和DataNode在HDFS中的作用是什么?
NameNode和DataNode在HDFS中的作用是什么?
446 0
|
7月前
|
存储 分布式计算 Hadoop
HDFS中的NameNode和DataNode的作用是什么?它们之间的通信方式是什么?
HDFS中的NameNode和DataNode的作用是什么?它们之间的通信方式是什么?
815 0
|
存储 分布式计算 Hadoop
HDFS Namenode挂掉后分析解决
HDFS Namenode挂掉后分析解决
286 1
|
算法 数据中心
HDFS数据的读写流程
HDFS数据的读写流程
94 0
|
机器学习/深度学习 缓存 分布式计算
Hadoop基础学习---4、HDFS写、读数据流程、NameNode和SecondaryNameNode、DataNode
Hadoop基础学习---4、HDFS写、读数据流程、NameNode和SecondaryNameNode、DataNode