Hadoop-HDFS的NameNode工作机制

简介: Hadoop-HDFS的NameNode工作机制

image.png

NameNode工作机制

1、NameNode启动,加载编辑日志和镜像文件;(每个Block元数据约150B),获取最新元数据。
2、HDFS客户端进行增删改操作
3、NameNode记录编辑日志,之后修改内存中的元数据。
4、SecondaryNameNode请求NameNode是否需要CheckPoint。触发条件(定时1小时,编辑日志满100w)
5、SecondaryNameNode向NameNode请求执行CheckPoint
6、NameNode将编辑日志打标签,滚动生成另外的编辑日志文件。
7、SecondaryNameNode拷贝NameNode的编辑日志和镜像文件到自己的内存中,合并并生成新的镜像文件。
8、将新的镜像文件,拷贝到NameNode并重新命名。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
4天前
|
存储 分布式计算 Hadoop
Hadoop数据块分散存储NameNode管理
【4月更文挑战第17天】Hadoop是一个开源的分布式计算框架,依赖HDFS进行分布式存储。文件被分割成数据块分散在DataNode上,NameNode负责元数据管理和协调,确保数据可靠性。NameNode的高可用性配置能防止单点故障,保证系统稳定性。这套机制支持高效、可靠和可扩展的大数据存储与访问。
16 3
|
4天前
|
存储 分布式计算 监控
Hadoop的NameNode的监控与副本管理
【4月更文挑战第15天】NameNode是Hadoop HDFS的关键组件,负责元数据管理和监控,确保数据安全、可靠和性能。监控包括NameNode的状态、资源使用和性能,以保证集群稳定性。NameNode在副本管理中负责副本创建、分布、维护和删除,确保数据冗余和容错性。有效的监控和副本管理策略对Hadoop集群的高效运行至关重要。
19 2
|
4天前
|
分布式计算 Hadoop
Hadoop【问题记录 01】【hadoop-3.1.3 单机版】【Attempting to operate on hdfs namenode as root】
【4月更文挑战第2天】Hadoop【问题记录 01】【hadoop-3.1.3 单机版】【Attempting to operate on hdfs namenode as root】
23 0
|
4天前
|
存储 分布式计算 Hadoop
Hadoop的Secondary NameNode在HDFS中的作用是什么?
Hadoop的Secondary NameNode在HDFS中的作用是什么?
43 0
|
5月前
|
分布式计算 Hadoop 大数据
|
7月前
|
分布式计算 Hadoop
【hadoop】解决Datanode denied communication with namenode because hostname cannot be resolved
【hadoop】解决Datanode denied communication with namenode because hostname cannot be resolved
163 0
|
9月前
|
机器学习/深度学习 缓存 分布式计算
Hadoop基础学习---4、HDFS写、读数据流程、NameNode和SecondaryNameNode、DataNode
Hadoop基础学习---4、HDFS写、读数据流程、NameNode和SecondaryNameNode、DataNode
|
10月前
|
分布式计算 Hadoop
hadoop 的 namenode 宕机,怎么解决?
hadoop 的 namenode 宕机,怎么解决?
219 0
|
10月前
|
存储 域名解析 分布式计算
【hadoop】解决:Datanode denied communication with namenode because hostname cannot be resolve
【hadoop】解决:Datanode denied communication with namenode because hostname cannot be resolve
140 0
|
机器学习/深度学习 分布式计算 安全
大规模集群下Hadoop NameNode如何承载每秒上千次的高并发访问
大规模集群下Hadoop NameNode如何承载每秒上千次的高并发访问
268 0
大规模集群下Hadoop NameNode如何承载每秒上千次的高并发访问

相关实验场景

更多