HDFS 块的大小设置| 学习笔记

简介: 快速学习 HDFS 块的大小设置

开发者学堂课程【Hadoop 分布式文件系统 HDFSHDFS 块的大小设置】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/93/detail/1436


HDFS块的大小设置


内容介绍:

一、  HDFS文件块大小

二、 例题:


一、  HDFS文件块大小

HDFS中的文件在物理上是分块存储(Block),块的大小可以通过配置参数(dfs.blocksize)来规定,默认大小在Hadoop2.x版本中是128M,老版本中是64M
注:

1.  集群中的 block(如下图)。

2.  如果寻址时间约为10ms,即查找到目标 block 的时间为10ms

3.  寻址时间为传输时间的1%时,为最佳状态。 因此,传输时间=10ms/0.01=1000ms=1s

4.  而目前磁盘的传输速率普遍为100MB/s

5.  block 大小=1s*100MB/s=100MB

1.png


二、 例题:

为什么块的大小不能设置太小,也不能设置太大?

1.  HDFS 的块设置太小,会增加寻址时间,程序一直在找块的开始位置;

2.  如果块设置的太大,从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。

导致程序在处理这块数据时,会非常慢。
总结:HDFS 块的大小设置主要取决于磁
盘传输速率。

相关文章
|
6月前
|
存储 分布式计算 Hadoop
【Hadoop】HDFS中的块是什么?
【4月更文挑战第9天】【Hadoop】HDFS中的块是什么?
|
6月前
|
存储 分布式计算 Hadoop
【Hadoop】区分HDFS块和输入拆分
【4月更文挑战第9天】【Hadoop】区分HDFS块和输入拆分
|
存储 分布式计算 负载均衡
Hadoop学习笔记(二)之HDFS
Hadoop学习笔记(二)之HDFS
|
5月前
|
存储 分布式计算 资源调度
|
6月前
|
存储 机器学习/深度学习 分布式计算
Hadoop学习笔记(HDP)-Part.12 安装HDFS
01 关于HDP 02 核心组件原理 03 资源规划 04 基础环境配置 05 Yum源配置 06 安装OracleJDK 07 安装MySQL 08 部署Ambari集群 09 安装OpenLDAP 10 创建集群 11 安装Kerberos 12 安装HDFS 13 安装Ranger 14 安装YARN+MR 15 安装HIVE 16 安装HBase 17 安装Spark2 18 安装Flink 19 安装Kafka 20 安装Flume
174 0
Hadoop学习笔记(HDP)-Part.12 安装HDFS
|
6月前
|
存储 SQL 分布式计算
Hadoop(HDFS+MapReduce+Hive+数仓基础概念)学习笔记(自用)
Hadoop(HDFS+MapReduce+Hive+数仓基础概念)学习笔记(自用)
516 0
|
机器学习/深度学习 移动开发 分布式计算
配置 HDFS-配置 core-site-hdfs-size 以及 env.sh 等配置文件|学习笔记
快速学习配置 HDFS-配置 core-site-hdfs-size 以及 env.sh 等配置文件
409 0
|
存储
HDFS 文件块的大小为什么不能设置太小、也不能设置太大?
HDFS 文件块的大小为什么不能设置太小、也不能设置太大?
255 0
|
存储 缓存 分布式计算
HDFS(二)|学习笔记
快速学习 HDFS(二)
155 0
HDFS(二)|学习笔记
|
SQL JSON 负载均衡
离线同步 mysql 数据到 HDFS2 | 学习笔记
快速学习离线同步 mysql 数据到 HDFS2
187 0
离线同步 mysql 数据到 HDFS2  |  学习笔记