Hadoop-HDFS文件块大小的设置

简介: Hadoop-HDFS文件块大小的设置

文件分块

HDFS中文件在物理上分块存储
Hadoop2.x版本中默认文件块为: 128M
通过hdfs参数: dfs.blocksize 设置

文件块大小设置

(1)寻址时间:10ms
(2)传输时间:寻址时间为传输时间1%为最佳状态
因此: 传输时间 = 10ms / 0.01 = 1s
(3)目前磁盘普遍传输速率: 100Mb/s (适合文件块:128M)
(4)固态硬盘(适合文件块:256M 甚至 512M)
固态硬盘不同品牌型号之间,平均大约在150~300M每秒。
最高可达500MB/s
结论:HDFS块大小设置主要取决于磁盘传输速率

太大太小的问题

(1)HDFS块设置太小,会增加寻址时间,程序一直在找块的位置。
(2)HDFS块设置太大,磁盘传输时间明细大于寻址时间,处理数据非常慢。

目录
打赏
0
0
0
0
52
分享
相关文章
|
2月前
|
java实现从HDFS上下载文件及文件夹的功能,以流形式输出,便于用户自定义保存任何路径下
java实现从HDFS上下载文件及文件夹的功能,以流形式输出,便于用户自定义保存任何路径下
120 34
|
4月前
|
java实现从HDFS上下载文件及文件夹的功能,以流形式输出,便于用户自定义保存任何路径下
java实现从HDFS上下载文件及文件夹的功能,以流形式输出,便于用户自定义保存任何路径下
93 2
java实现从HDFS上下载文件及文件夹的功能,以流形式输出,便于用户自定义保存任何路径下
|
4月前
Hadoop-09-HDFS集群 JavaClient 代码上手实战!详细附代码 安装依赖 上传下载文件 扫描列表 PUT GET 进度条显示(二)
Hadoop-09-HDFS集群 JavaClient 代码上手实战!详细附代码 安装依赖 上传下载文件 扫描列表 PUT GET 进度条显示(二)
68 3
Hadoop-09-HDFS集群 JavaClient 代码上手实战!详细附代码 安装依赖 上传下载文件 扫描列表 PUT GET 进度条显示(一)
Hadoop-09-HDFS集群 JavaClient 代码上手实战!详细附代码 安装依赖 上传下载文件 扫描列表 PUT GET 进度条显示(一)
65 2
Hadoop-08-HDFS集群 基础知识 命令行上机实操 hadoop fs 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
Hadoop-08-HDFS集群 基础知识 命令行上机实操 hadoop fs 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
67 1
Hadoop-07-HDFS集群 基础知识 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
Hadoop-07-HDFS集群 基础知识 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
94 1
Hadoop编辑hadoop-env.sh文件
【7月更文挑战第19天】
418 5
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
252 6

相关实验场景

更多
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等