NameNode元数据

简介: NameNode元数据

NameNode是如何管理Block块的

 

NameNode基于

edits记录每次操作

fsimage记录某一个时间节点前的当前文件系统全部文件的状态和信息维护整个系统元数据

 

edits文件会被移动到fsimage中,这个合并理由:

SecondaryNameNode来操作

 

fsimage记录的内容是:文件的信息

 

 

edite文件

hdfs中,文件是被划分了一堆堆的block块,那如果文件很大,以及文件很多,Hadoop是如何记录和整理文件和block块的关系呢

答案就在于NameNode

image.png

edits文件,是一个流水账文件,记录了hdfs中的每一次操作,以及本次操作影响的文件其对应的block,会想如下一样记录下来

image.png

 

如果要查看某个文件内容,我们只能看最后一个edits文件才能知道文件当前的状态

所以就要合并edits文件,得到最终的结果

 

fsimage文件

将全部的edits文件,最终为合并结果,即可得到一个FSImage文件

image.png

NameNode元数据管理维护

NameNode基于editsFSImage的配合,完成整个文件系统文件的管理

1.每次对HDFS的操作,均被edits文件记录

2.edits达到大小上线后,开启新的edits文件记录

3.定期进行edits的合并操作

如果当前没有fsimage文件,将全部edits合并为第一个fsimage

如果当前已存在fsimage文件,将全部edits和已存在的fsimage进行合并,形成新的fsimage

 

 

 

元数据合并控制参数

对于元数据的合并,是一个定时过程,基于

dfs.namenode.checkpoint.period ,默认3600秒即为1小时

dfs.namenode.checkpoint.txns,默认1000000即为100w次事务

只要有一个达到条件就执行

检查是否达到条件,默认60秒检查一次,基于:
dfs.namenode.checkpoint.check.period,默认60秒,来决定

 

SecondaryNameNode的作用

NameNode只会写edits文件,合并是哦SecondaryNmaeNode做的

所以启动的时候必须要启动SecondaryNameNode要不然NameNodeedits文件会越来越多,HDFS也就会卡

对于元数据的合并,还记得之前基础的时候有一个角色是,SecondaryNameNode

image.png

合并元数据就是他来做的,SecondaryNameNode会通过httpNameNode拉取数据(editsfsimage

然后合并完成后提供给NameNode使用

 

 

目录
相关文章
|
5天前
|
存储 分布式计算 Hadoop
Hadoop数据块分散存储NameNode管理
【4月更文挑战第17天】Hadoop是一个开源的分布式计算框架,依赖HDFS进行分布式存储。文件被分割成数据块分散在DataNode上,NameNode负责元数据管理和协调,确保数据可靠性。NameNode的高可用性配置能防止单点故障,保证系统稳定性。这套机制支持高效、可靠和可扩展的大数据存储与访问。
14 3
|
9天前
|
存储 分布式计算 监控
Hadoop的NameNode的监控与副本管理
【4月更文挑战第15天】NameNode是Hadoop HDFS的关键组件,负责元数据管理和监控,确保数据安全、可靠和性能。监控包括NameNode的状态、资源使用和性能,以保证集群稳定性。NameNode在副本管理中负责副本创建、分布、维护和删除,确保数据冗余和容错性。有效的监控和副本管理策略对Hadoop集群的高效运行至关重要。
13 2
|
3月前
|
存储 分布式计算 Hadoop
NameNode和DataNode在HDFS中的作用是什么?
NameNode和DataNode在HDFS中的作用是什么?
130 0
|
3月前
|
存储 分布式计算 Hadoop
HDFS中的NameNode和DataNode的作用是什么?它们之间的通信方式是什么?
HDFS中的NameNode和DataNode的作用是什么?它们之间的通信方式是什么?
99 0
|
3月前
|
存储 分布式计算 Hadoop
Hadoop的Secondary NameNode在HDFS中的作用是什么?
Hadoop的Secondary NameNode在HDFS中的作用是什么?
38 0
|
7月前
|
存储 分布式计算 Hadoop
HDFS Namenode挂掉后分析解决
HDFS Namenode挂掉后分析解决
169 1
|
8月前
|
机器学习/深度学习 缓存 分布式计算
Hadoop基础学习---4、HDFS写、读数据流程、NameNode和SecondaryNameNode、DataNode
Hadoop基础学习---4、HDFS写、读数据流程、NameNode和SecondaryNameNode、DataNode
|
10月前
|
存储 机器学习/深度学习 缓存
HDFS的元数据和数据块管理
介绍Hadoop文件系统(HDFS)的元数据和数据块管理
274 0
|
11月前
|
存储
HDFS之namenode管理元数据机制及一些问题
HDFS之namenode管理元数据机制及一些问题
113 0
|
存储 分布式计算 Hadoop
HDFS的副本放置策略及机架感知
副本放置策略的基本思想是: 第一个block副本放在和client所在的node里(如果client不在集群范围内,则这第一个node是随机选取的,当然系统会尝试不选择哪些太满或者太忙的node)。 第二个副本放置在与第一个节点不同的机架中的node中(随机选择)。 第三个副本和第二个在同一个机架,随机放在不同的node中。