Hadoop 知识点总结——HDFS读流程和写流程

简介: HDFS读流程和写流程

大家好,我是风云,欢迎大家关注我的博客【笑看风云路】,在未来的日子里我们一起来学习大数据相关的技术,一起努力奋斗,遇见更好的自己!

前言

HDFS作为Hadoop中的一个重要组件,那么它的读数据和写数据的流程是怎样的呢?今天就来分享一下HDFS的内部的运行机制。

HDFS的读数据流程

描述:

  1. hdfs客户端向NameNode发送下载请求,请求中携带目标文件
  2. NameNode节点响应下载请求,返回目标文件的元数据
  3. 客户端就会根据元数据去数据所在的DataNode节点发送读数据请求
  4. DataNode节点就传输数据到客户端
  5. 所有DataNode节点的数据传输完成

HDFS的写数据流程

描述:

  1. hdfs 客户端向NameNode节点发送上传文件请求
  2. NameNode响应请求,返回可以上传文件
  3. hdfs 客户端发送要上传第一个Block(0-128MB)的请求
  4. NameNode响应请求,返回存储数据的DataNode的节点信息
  5. 往上一步中得到DataNode节点发送建立Block传输通道的请求
  6. DataNode节点应答成功
  7. 客户端开始向DataNode节点传输数据
  8. 当向所有的DataNode节点的数据传输完成之后,客户端就会给NameNode节点反馈传输数据完成。

好了,今天的分享就先到这来吧,咱们下次见~~~

相关文章
|
20天前
|
存储 分布式计算 监控
Hadoop【基础知识 01+02】【分布式文件系统HDFS设计原理+特点+存储原理】(部分图片来源于网络)【分布式计算框架MapReduce核心概念+编程模型+combiner&partitioner+词频统计案例解析与进阶+作业的生命周期】(图片来源于网络)
【4月更文挑战第3天】【分布式文件系统HDFS设计原理+特点+存储原理】(部分图片来源于网络)【分布式计算框架MapReduce核心概念+编程模型+combiner&partitioner+词频统计案例解析与进阶+作业的生命周期】(图片来源于网络)
70 2
|
18天前
|
分布式计算 Hadoop 测试技术
Hadoop【基础知识 05】【HDFS的JavaAPI】(集成及测试)
【4月更文挑战第5天】Hadoop【基础知识 05】【HDFS的JavaAPI】(集成及测试)
41 8
|
18天前
|
分布式计算 资源调度 Hadoop
Hadoop【基础知识 03+04】【Hadoop集群资源管理器yarn】(图片来源于网络)(hadoop fs + hadoop dfs + hdfs dfs 使用举例)
【4月更文挑战第5天】Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】(图片来源于网络)Hadoop【基础知识 04】【HDFS常用shell命令】(hadoop fs + hadoop dfs + hdfs dfs 使用举例)
45 9
|
19天前
|
分布式计算 Hadoop Shell
Hadoop【基础知识 04】【HDFS常用shell命令】(hadoop fs + hadoop dfs + hdfs dfs 使用举例)
【4月更文挑战第4天】Hadoop【基础知识 04】【HDFS常用shell命令】(hadoop fs + hadoop dfs + hdfs dfs 使用举例)
29 5
|
21天前
|
存储 分布式计算 Hadoop
【Hadoop】HDFS中的块是什么?
【4月更文挑战第9天】【Hadoop】HDFS中的块是什么?
|
21天前
|
存储 分布式计算 Hadoop
【Hadoop】HDFS仅支持独占写入?
【4月更文挑战第9天】【Hadoop】HDFS仅支持独占写入?
|
21天前
|
存储 分布式计算 Hadoop
【Hadoop】区分HDFS块和输入拆分
【4月更文挑战第9天】【Hadoop】区分HDFS块和输入拆分
|
5月前
|
存储 分布式计算 Hadoop
Hadoop系列HDFS详解
Hadoop系列HDFS详解
42 0
|
5月前
|
存储 固态存储 文件存储
[hadoop3.x]HDFS存储类型和存储策略(五)概述
[hadoop3.x]HDFS存储类型和存储策略(五)概述
69 1
|
20天前
|
存储 分布式计算 Hadoop
Hadoop【基础知识 01】【分布式文件系统HDFS设计原理+特点+存储原理】(部分图片来源于网络)
【4月更文挑战第3天】Hadoop【基础知识 01】【分布式文件系统HDFS设计原理+特点+存储原理】(部分图片来源于网络)
36 3

热门文章

最新文章