NameNode元数据

简介: NameNode元数据

NameNode是如何管理Block块的

 

NameNode基于

edits记录每次操作

fsimage记录某一个时间节点前的当前文件系统全部文件的状态和信息维护整个系统元数据

 

edits文件会被移动到fsimage中,这个合并理由:

SecondaryNameNode来操作

 

fsimage记录的内容是:文件的信息

 

 

edite文件

hdfs中,文件是被划分了一堆堆的block块,那如果文件很大,以及文件很多,Hadoop是如何记录和整理文件和block块的关系呢

答案就在于NameNode

image.png

edits文件,是一个流水账文件,记录了hdfs中的每一次操作,以及本次操作影响的文件其对应的block,会想如下一样记录下来

image.png

 

如果要查看某个文件内容,我们只能看最后一个edits文件才能知道文件当前的状态

所以就要合并edits文件,得到最终的结果

 

fsimage文件

将全部的edits文件,最终为合并结果,即可得到一个FSImage文件

image.png

NameNode元数据管理维护

NameNode基于editsFSImage的配合,完成整个文件系统文件的管理

1.每次对HDFS的操作,均被edits文件记录

2.edits达到大小上线后,开启新的edits文件记录

3.定期进行edits的合并操作

如果当前没有fsimage文件,将全部edits合并为第一个fsimage

如果当前已存在fsimage文件,将全部edits和已存在的fsimage进行合并,形成新的fsimage

 

 

 

元数据合并控制参数

对于元数据的合并,是一个定时过程,基于

dfs.namenode.checkpoint.period ,默认3600秒即为1小时

dfs.namenode.checkpoint.txns,默认1000000即为100w次事务

只要有一个达到条件就执行

检查是否达到条件,默认60秒检查一次,基于:
dfs.namenode.checkpoint.check.period,默认60秒,来决定

 

SecondaryNameNode的作用

NameNode只会写edits文件,合并是哦SecondaryNmaeNode做的

所以启动的时候必须要启动SecondaryNameNode要不然NameNodeedits文件会越来越多,HDFS也就会卡

对于元数据的合并,还记得之前基础的时候有一个角色是,SecondaryNameNode

image.png

合并元数据就是他来做的,SecondaryNameNode会通过httpNameNode拉取数据(editsfsimage

然后合并完成后提供给NameNode使用

 

 

目录
相关文章
|
资源调度
YARN集群启停命令
YARN集群启停命令
395 0
|
存储 算法 计算机视觉
FPGA上实现低通滤波器
FPGA上实现低通滤波器
382 0
|
Python
Python满屏飘字表白完整代码
Python满屏飘字表白完整代码
2809 1
|
调度 iOS开发 开发者
Mac提示文件:已损坏,无法打开。你应该把它移到废纸篓
Mac提示文件:已损坏,无法打开。你应该把它移到废纸篓
528 0
|
3月前
|
算法 关系型数据库 文件存储
ProxylessNAS:直接在目标任务和硬件上进行神经架构搜索——论文解读
ProxylessNAS是一种直接在目标任务和硬件上进行神经架构搜索的方法,有效降低了传统NAS的计算成本。通过路径二值化和两路径采样策略,减少内存占用并提升搜索效率。相比代理任务方法,ProxylessNAS在ImageNet等大规模任务中展现出更优性能,兼顾准确率与延迟,支持针对不同硬件(如GPU、CPU、移动端)定制高效网络架构。
303 126
ProxylessNAS:直接在目标任务和硬件上进行神经架构搜索——论文解读
|
5月前
|
传感器 人工智能 运维
吃得安心靠AI?聊聊AI在食品供应链安全里的“神操作”
吃得安心靠AI?聊聊AI在食品供应链安全里的“神操作”
249 6
|
安全 JavaScript Java
SpringBoot解决跨域最佳实践
本文介绍了跨域问题的起因及最佳实践,重点讲解了SpringBoot中如何利用`CorsFilter`解决跨域问题。首先解释了由于浏览器的同源策略限制导致的跨域现象,然后提出了在服务端入口处解决跨域问题的建议,最后详细展示了三种SpringBoot中配置跨域的方法:使用默认配置、自定义配置规则以及通过配置文件管理跨域设置,以适应不同的应用场景。
612 5
|
存储 编解码 边缘计算
从RTMPS到MPEG-DASH:直播带货背后的秘密流程
大家好,我是小米,今天聊聊“社区直播带货”的技术流程。文章介绍了RTMPS协议的安全可靠传输,MPEG-DASH的自适应比特率流媒体技术,以及直播数据如何通过边缘节点和数据中心进行高效处理与分发,确保用户流畅观看。通过这些技术,直播带货不仅画质清晰,还保障了安全性和用户体验。希望本文能帮助你深入了解这一流程。如果有任何问题,欢迎留言讨论!
227 2
|
存储 边缘计算 安全
边缘计算设备的设计与部署技术探索
【8月更文挑战第1天】边缘计算设备的设计与部署是一个复杂而系统的工程,需要综合考虑多个方面的因素。通过制定全面的战略规划、选择合适的技术和设备、设计合理的网络架构、实施有效的安全策略以及定期管理维护等措施,可以确保边缘计算设备的稳定运行和高效应用。随着物联网和云计算技术的不断发展,边缘计算将在更多领域展现出其独特的优势和潜力。
438 10