Hadoop-HDFS的DataNode工作机制

简介: Hadoop-HDFS的DataNode工作机制

image.png

DataNode工作机制

1、DataNode启动向NameNode注册。即上报自己数据块的基本信息。(DataNode磁盘上存储两种文件,一个时数据块,一个时元数据,包括:块数据校验、块数据长度,以及时间戳。)
2、NameNode保存DataNode的元数据,并返回告诉DataNode注册成功。
3、以后每周期(1小时)上报一次元数据;保证数据块的健康与冗余。
4、DataNode每3秒向NameNode上报一次心跳,并返回NameNode给DataNode的指令。
5、超过10分钟没有收到DataNode的心跳,则认为该节点不可用;不会向节点传输任何数据或发出任何指令。

相关文章
|
4天前
|
存储 分布式计算 Hadoop
【Hadoop】HDFS 读写流程
【4月更文挑战第9天】【Hadoop】HDFS 读写流程
|
4天前
|
存储 分布式计算 运维
【Hadoop】Hadoop HDFS是否容错?
【4月更文挑战第9天】【Hadoop】Hadoop HDFS是否容错?
|
4天前
|
存储 分布式计算 Hadoop
Hadoop的Secondary NameNode在HDFS中的作用是什么?
Hadoop的Secondary NameNode在HDFS中的作用是什么?
43 0
|
存储 分布式计算 监控
Hadoop 之 HDFS 进程详解
你好看官,里面请!今天笔者讲的是Hadoop 之 HDFS 进程详解。不懂或者觉得我写的有问题可以在评论区留言,我看到会及时回复。 注意:本文仅用于学习参考,不可用于商业用途,如需转载请跟我联系。
442 1
|
存储 分布式计算 监控
hadoop之hdfs概念(7)
hadoop之hdfs概念(7)
170 0
hadoop之hdfs概念(7)
|
存储 分布式计算 Hadoop
Hadoop : hdfs的客户端操作
Hadoop : hdfs的客户端操作
383 0
|
存储
Hadoop-HDFS读写流程
Hadoop-HDFS读写流程
175 0
Hadoop-HDFS读写流程
|
存储 分布式计算 Hadoop
Hadoop之HDFS03【NameNode工作原理】
Hadoop之HDFS03【NameNode工作原理】
Hadoop之HDFS03【NameNode工作原理】
|
存储 分布式计算 Hadoop

相关实验场景

更多