HDFS 读数据流程| 学习笔记

简介: 快速学习 HDFS 读数据流程

开发者学堂课程【Hadoop 分布式文件系统 HDFSHDFS 读数据流程】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/93/detail/1455


HDFS 读数据流程


内容介绍:

一、HDFS 读数据流程


一、HDFS 读数据流程

HDFS 的读数据流程,如图3-13所示。

1.png

右侧是个集群,三个 DataNode 和一个 NameNodeNameNode 中所存的是元数据,两块的三个副本。

左侧是客户端,它读取集群下的元数据,在此之前,它会先创建一个fs对象操作集群来访问数据。

然后返回目标文件的元数据,安排 avi 去读取节点,命令之后它回创建相应的输入流,(因为右侧 DataNode 中是元数据)读取数据还是依照上节讲的最近原则。

读取完后,它再将其拼接在一起,形成真真的数据流。

1.  请求下载文件/user/atguigu/ss.avi

2.  返回目标文件的元数据

3.  请求读数据blk_1

4.  传输数据

5.  请求读数据blk_2

6.  传输数据

相关文章
|
8月前
|
存储 分布式计算 负载均衡
Hadoop学习笔记(二)之HDFS
Hadoop学习笔记(二)之HDFS
|
26天前
|
存储 分布式计算 Hadoop
【Hadoop】HDFS 读写流程
【4月更文挑战第9天】【Hadoop】HDFS 读写流程
|
4月前
|
存储 分布式计算 Java
HDFS的数据读取流程是怎样的?请描述数据读取的过程。
HDFS的数据读取流程是怎样的?请描述数据读取的过程。
30 0
|
4月前
|
Java API
HDFS的数据写入流程是怎样的?请描述数据写入的过程。
HDFS的数据写入流程是怎样的?请描述数据写入的过程。
21 0
|
10月前
|
缓存
HDFS 读数据流程【重要】
HDFS 读数据流程【重要】
72 0
|
5月前
|
存储 SQL 分布式计算
Hadoop(HDFS+MapReduce+Hive+数仓基础概念)学习笔记(自用)
Hadoop(HDFS+MapReduce+Hive+数仓基础概念)学习笔记(自用)
277 0
|
5月前
|
存储 机器学习/深度学习 分布式计算
Hadoop学习笔记(HDP)-Part.12 安装HDFS
01 关于HDP 02 核心组件原理 03 资源规划 04 基础环境配置 05 Yum源配置 06 安装OracleJDK 07 安装MySQL 08 部署Ambari集群 09 安装OpenLDAP 10 创建集群 11 安装Kerberos 12 安装HDFS 13 安装Ranger 14 安装YARN+MR 15 安装HIVE 16 安装HBase 17 安装Spark2 18 安装Flink 19 安装Kafka 20 安装Flume
71 0
Hadoop学习笔记(HDP)-Part.12 安装HDFS
|
6月前
|
算法 数据中心
HDFS数据的读写流程
HDFS数据的读写流程
44 0
|
8月前
|
缓存 分布式计算 负载均衡
HDFS 的写数据流程分析
HDFS的写数据流程是一道比较常见的面试题,同时梳理了写流程也可以帮助我们更加深入一点的了解 HDFS 的主要原理和各个组件的交互过程
|
9月前
|
机器学习/深度学习 缓存 分布式计算
Hadoop基础学习---4、HDFS写、读数据流程、NameNode和SecondaryNameNode、DataNode
Hadoop基础学习---4、HDFS写、读数据流程、NameNode和SecondaryNameNode、DataNode