大家好,我是风云,欢迎大家关注我的博客【笑看风云路】,在未来的日子里我们一起来学习大数据相关的技术,一起努力奋斗,遇见更好的自己!
前言
HDFS作为Hadoop中的一个重要组件,那么它的读数据和写数据的流程是怎样的呢?今天就来分享一下HDFS的内部的运行机制。
HDFS的读数据流程
描述:
- hdfs客户端向NameNode发送下载请求,请求中携带目标文件
- NameNode节点响应下载请求,返回目标文件的元数据
- 客户端就会根据元数据去数据所在的DataNode节点发送读数据请求
- DataNode节点就传输数据到客户端
- 所有DataNode节点的数据传输完成
HDFS的写数据流程
描述:
- hdfs 客户端向NameNode节点发送上传文件请求
- NameNode响应请求,返回可以上传文件
- hdfs 客户端发送要上传第一个Block(0-128MB)的请求
- NameNode响应请求,返回存储数据的DataNode的节点信息
- 往上一步中得到DataNode节点发送建立Block传输通道的请求
- DataNode节点应答成功
- 客户端开始向DataNode节点传输数据
- 当向所有的DataNode节点的数据传输完成之后,客户端就会给NameNode节点反馈传输数据完成。
好了,今天的分享就先到这来吧,咱们下次见~~~