Hadoop-HDFS的NameNode工作机制

简介: Hadoop-HDFS的NameNode工作机制

image.png

NameNode工作机制

1、NameNode启动,加载编辑日志和镜像文件;(每个Block元数据约150B),获取最新元数据。
2、HDFS客户端进行增删改操作
3、NameNode记录编辑日志,之后修改内存中的元数据。
4、SecondaryNameNode请求NameNode是否需要CheckPoint。触发条件(定时1小时,编辑日志满100w)
5、SecondaryNameNode向NameNode请求执行CheckPoint
6、NameNode将编辑日志打标签,滚动生成另外的编辑日志文件。
7、SecondaryNameNode拷贝NameNode的编辑日志和镜像文件到自己的内存中,合并并生成新的镜像文件。
8、将新的镜像文件,拷贝到NameNode并重新命名。

相关实践学习
通过日志服务实现云资源OSS的安全审计
本实验介绍如何通过日志服务实现云资源OSS的安全审计。
相关文章
|
存储 机器学习/深度学习 分布式计算
HDFS NameNode元数据管理
HDFS NameNode元数据管理
|
存储 分布式计算 资源调度
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(一)
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(一)
334 5
|
资源调度 数据可视化 大数据
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(二)
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(二)
208 4
|
分布式计算 安全 Hadoop
HDFS NAMENODE 安全模式
HDFS NAMENODE 安全模式
|
存储 分布式计算 Hadoop
|
存储 分布式计算 Hadoop
Hadoop 中 NameNode 和 DataNode 的角色
【8月更文挑战第12天】
1790 4
|
分布式计算 Hadoop
Hadoop中NameNode故障
【7月更文挑战第11天】
555 3
|
存储 分布式计算 Hadoop
|
存储 分布式计算 资源调度
|
存储 分布式计算 Hadoop
Hadoop节点名称节点(NameNode)
【5月更文挑战第17天】
1067 3

相关实验场景

更多