NameNode元数据

简介: NameNode元数据

NameNode是如何管理Block块的

 

NameNode基于

edits记录每次操作

fsimage记录某一个时间节点前的当前文件系统全部文件的状态和信息维护整个系统元数据

 

edits文件会被移动到fsimage中,这个合并理由:

SecondaryNameNode来操作

 

fsimage记录的内容是:文件的信息

 

 

edite文件

hdfs中,文件是被划分了一堆堆的block块,那如果文件很大,以及文件很多,Hadoop是如何记录和整理文件和block块的关系呢

答案就在于NameNode

image.png

edits文件,是一个流水账文件,记录了hdfs中的每一次操作,以及本次操作影响的文件其对应的block,会想如下一样记录下来

image.png

 

如果要查看某个文件内容,我们只能看最后一个edits文件才能知道文件当前的状态

所以就要合并edits文件,得到最终的结果

 

fsimage文件

将全部的edits文件,最终为合并结果,即可得到一个FSImage文件

image.png

NameNode元数据管理维护

NameNode基于editsFSImage的配合,完成整个文件系统文件的管理

1.每次对HDFS的操作,均被edits文件记录

2.edits达到大小上线后,开启新的edits文件记录

3.定期进行edits的合并操作

如果当前没有fsimage文件,将全部edits合并为第一个fsimage

如果当前已存在fsimage文件,将全部edits和已存在的fsimage进行合并,形成新的fsimage

 

 

 

元数据合并控制参数

对于元数据的合并,是一个定时过程,基于

dfs.namenode.checkpoint.period ,默认3600秒即为1小时

dfs.namenode.checkpoint.txns,默认1000000即为100w次事务

只要有一个达到条件就执行

检查是否达到条件,默认60秒检查一次,基于:
dfs.namenode.checkpoint.check.period,默认60秒,来决定

 

SecondaryNameNode的作用

NameNode只会写edits文件,合并是哦SecondaryNmaeNode做的

所以启动的时候必须要启动SecondaryNameNode要不然NameNodeedits文件会越来越多,HDFS也就会卡

对于元数据的合并,还记得之前基础的时候有一个角色是,SecondaryNameNode

image.png

合并元数据就是他来做的,SecondaryNameNode会通过httpNameNode拉取数据(editsfsimage

然后合并完成后提供给NameNode使用

 

 

目录
相关文章
|
存储 NoSQL 安全
8)详解 Redis 的配置文件以及数据持久化
8)详解 Redis 的配置文件以及数据持久化
634 0
|
11月前
|
JSON 安全 API
亚马逊支付API:支持国际卡种,开拓跨境用户
亚马逊通过集成支持Visa、Mastercard等国际卡种的支付API,提升跨境交易便捷性。本文详解API调用、卡种识别、实时汇率转换与安全机制,结合代码示例与合规要点,助力开发者高效实现全球化支付,拓展国际市场。
|
存储 边缘计算 安全
边缘计算设备的设计与部署技术探索
【8月更文挑战第1天】边缘计算设备的设计与部署是一个复杂而系统的工程,需要综合考虑多个方面的因素。通过制定全面的战略规划、选择合适的技术和设备、设计合理的网络架构、实施有效的安全策略以及定期管理维护等措施,可以确保边缘计算设备的稳定运行和高效应用。随着物联网和云计算技术的不断发展,边缘计算将在更多领域展现出其独特的优势和潜力。
619 10
|
存储 算法 计算机视觉
FPGA上实现低通滤波器
FPGA上实现低通滤波器
590 0
|
存储 缓存 监控
使用函数计算构建健壮、高并发、稳定的第三方 Token 缓存服务
本服务作为获取其它服务商 Api Token 的桥梁,提供 Token 的获取和缓存等功能,并内嵌灵活的配置以覆盖大部分的从其他服务商获取 Token 的场景。
使用函数计算构建健壮、高并发、稳定的第三方 Token 缓存服务
|
11月前
|
算法 关系型数据库 文件存储
ProxylessNAS:直接在目标任务和硬件上进行神经架构搜索——论文解读
ProxylessNAS是一种直接在目标任务和硬件上进行神经架构搜索的方法,有效降低了传统NAS的计算成本。通过路径二值化和两路径采样策略,减少内存占用并提升搜索效率。相比代理任务方法,ProxylessNAS在ImageNet等大规模任务中展现出更优性能,兼顾准确率与延迟,支持针对不同硬件(如GPU、CPU、移动端)定制高效网络架构。
534 126
ProxylessNAS:直接在目标任务和硬件上进行神经架构搜索——论文解读
|
调度 iOS开发 开发者
Mac提示文件:已损坏,无法打开。你应该把它移到废纸篓
Mac提示文件:已损坏,无法打开。你应该把它移到废纸篓
786 0
|
机器学习/深度学习 边缘计算 5G
室内定位之5G定位
室内定位之5G定位
1290 1
|
机器人 API 项目管理
伙伴客户案例|阿里云RPA助力制造零售企业降本增效 ——人事场景篇
RPA全称机器人流程自动化(Robotic Process Automation),是一种新兴的“数字劳动力”,可以替代或辅助人完成规则明确的重复性劳动,大幅提升业务流程效率,实现企业业务流程的自动化和智能化,从而降本增效。目前,RPA解决方案的应用场景几乎涵盖了所有行业,包括银行、保险、制造、零售、医疗、物流、电子商务甚至政府和公共机构。
3862 4
伙伴客户案例|阿里云RPA助力制造零售企业降本增效 ——人事场景篇
|
传感器 人工智能 运维
吃得安心靠AI?聊聊AI在食品供应链安全里的“神操作”
吃得安心靠AI?聊聊AI在食品供应链安全里的“神操作”
542 6

热门文章

最新文章