HDFS数据的读写流程

简介: HDFS数据的读写流程

数据写入流程

image.png

1.客户端向NameNode发起请求

2.NameNode审核权限,剩余空间后,满足条件允许写入,并告知客户端写入的DataNode地址

3.客户端指向指定的DataNade发送数据包

4.被写入数据的DataNode同时完成数据副本的复制工作,将其接受的数据分发给其他DataNode

5.如上,DataNode1复制给DataNode2,然后基于DataNode2复制给DataNode3DataNode4

6.写入完成客户端通知NameNodeNameNode做元数据记录工作

 

 

关键信息点:

NameNode不负责数据写入,只负责元数据记录和权限审批

客户端直接向一台DataNode写数据,这个DataNode一般是离客户端最近(网络距离)的那一个(网络速度快)

数据块副本的复制工作,由DataNode之间自行完成(构造一个PipLine,按顺序复制分发,如图12234

 

 

数据读取流程

image.png

1.客户端向NameNode申请读取某文件

2.NameNode判断服务端权限等细节后,允许读取,并返回此文件的block列表

3.客户端拿到block列表后自行寻找DataNode读取即可

 

关键点:
1.数据同样不通过NameNode提供,NameNode只负责审查

2.NameNode提供的block列表,会基于网络距离计算尽量提供客户端最近的

因为1block3份,会尽量找离客户端最近的那一份让其读取

 

 

1.对于客户端读取DHFS数据的流程中,一定要知道

不论读,还是写,NameNode都不经手数据,均是客户端和DataNode直接通讯不然对NameNode压力大

2.写入和读取的流程,简单来说就是:

NameNode做授权判断(是否能写,是否能读)

客户端直连DataNode进行写入(由DataNode自己完成副本复制),客户端直连DataNode进行block读取

写入,客户端会被分配找自己最近的DataNode写数据

读取,客户端拿到block列表,会是网络距离最近的一份

3.网络距离

最近的距离就是在同一台机器

其次就是同一个局域网(交换机)

再其次就是跨越交换机

再其次就是跨越数据中心

HDFS内置网络距离计算算法,可以通过IP地址,路由表来推断网络距离

 

 

目录
相关文章
|
16小时前
|
存储 分布式计算 Hadoop
【Hadoop】HDFS 读写流程
【4月更文挑战第9天】【Hadoop】HDFS 读写流程
|
16小时前
|
存储 分布式计算 Java
HDFS的数据读取流程是怎样的?请描述数据读取的过程。
HDFS的数据读取流程是怎样的?请描述数据读取的过程。
33 0
|
16小时前
|
Java API
HDFS的数据写入流程是怎样的?请描述数据写入的过程。
HDFS的数据写入流程是怎样的?请描述数据写入的过程。
25 0
|
16小时前
|
存储 Linux
[hadoop3.x]HDFS之银行海量转账数据分层案例(八)
[hadoop3.x]HDFS之银行海量转账数据分层案例(八)
112 1
|
7月前
|
SQL 分布式计算 大数据
大数据问题排查系列 - 因HIVE 中元数据与HDFS中实际的数据不一致引起的问题的修复
大数据问题排查系列 - 因HIVE 中元数据与HDFS中实际的数据不一致引起的问题的修复
|
8月前
|
存储 分布式计算 负载均衡
HDFS服役新数据节点和退役旧节点步骤
HDFS服役新数据节点和退役旧节点步骤
198 1
|
8月前
|
缓存 分布式计算 负载均衡
HDFS 的写数据流程分析
HDFS的写数据流程是一道比较常见的面试题,同时梳理了写流程也可以帮助我们更加深入一点的了解 HDFS 的主要原理和各个组件的交互过程
|
9月前
|
JSON 缓存 关系型数据库
5、DataX(DataX简介、DataX架构原理、DataX部署、使用、同步MySQL数据到HDFS、同步HDFS数据到MySQL)(二)
5、DataX(DataX简介、DataX架构原理、DataX部署、使用、同步MySQL数据到HDFS、同步HDFS数据到MySQL)(二)
|
16小时前
|
存储 分布式计算 Hadoop
【Hadoop】HDFS中的块是什么?
【4月更文挑战第9天】【Hadoop】HDFS中的块是什么?
|
16小时前
|
存储 分布式计算 Hadoop
【Hadoop】HDFS仅支持独占写入?
【4月更文挑战第9天】【Hadoop】HDFS仅支持独占写入?