hadoop节点HDFS数据块基本概念

简介: 【5月更文挑战第19天】

image.png
Hadoop的HDFS(Hadoop Distributed File System)是一个分布式文件系统,用于在Hadoop集群中存储和处理大数据。在HDFS中,数据块(Block)是基本的存储单元,以下是关于HDFS数据块的基本概念:

  1. 数据块大小

    • 在Hadoop 1.x版本中,HDFS默认的数据块大小是64MB
    • 但在Hadoop 2.x及更高版本中,默认的数据块大小被调整为128MB
  2. 存储方式

    • HDFS中的文件被切分成多个数据块进行存储。
    • 如果一个文件的大小小于一个数据块的大小,它不会占用整个数据块的空间,只占用实际文件大小的空间。
  3. 数据块备份

    • 为了确保数据的可靠性和容错性,HDFS默认会对每个数据块进行备份。备份的数量(即副本数)可以在配置文件中设置。
    • 这些备份数据块会被分布在不同的DataNode上,以防止单点故障。
  4. 与数据节点(DataNode)的关系

    • 数据块实际上存储在DataNode节点中。DataNode是HDFS集群中的从服务器,负责实际的数据存储。
    • DataNode与NameNode(元数据节点)保持通信,接收NameNode的调度指令,存储和检索数据块。
  5. 与元数据节点(NameNode)的关系

    • NameNode是HDFS集群的主服务器,负责管理文件系统的命名空间和元数据。
    • NameNode保存了文件与数据块之间的映射关系,即知道哪些数据块属于哪个文件,以及这些数据块分布在哪些DataNode上。
  6. 总结

    • HDFS通过数据块的概念实现了大数据文件的分布式存储和管理。
    • 数据块的大小和备份数量可以根据集群的配置和需求进行调整。
    • 通过NameNode和DataNode的协同工作,HDFS能够确保数据的可靠性和高效性。
目录
相关文章
|
7月前
|
XML 存储 分布式计算
【赵渝强老师】史上最详细:Hadoop HDFS的体系架构
HDFS(Hadoop分布式文件系统)由三个核心组件构成:NameNode、DataNode和SecondaryNameNode。NameNode负责管理文件系统的命名空间和客户端请求,维护元数据文件fsimage和edits;DataNode存储实际的数据块,默认大小为128MB;SecondaryNameNode定期合并edits日志到fsimage中,但不作为NameNode的热备份。通过这些组件的协同工作,HDFS实现了高效、可靠的大规模数据存储与管理。
649 70
|
12月前
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
441 6
|
12月前
|
SQL 分布式计算 监控
Hadoop-20 Flume 采集数据双写至本地+HDFS中 监控目录变化 3个Agent MemoryChannel Source对比
Hadoop-20 Flume 采集数据双写至本地+HDFS中 监控目录变化 3个Agent MemoryChannel Source对比
171 3
|
12月前
|
分布式计算 Hadoop Shell
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
249 4
|
12月前
|
SQL 分布式计算 Hadoop
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(一)
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(一)
174 4
|
12月前
|
分布式计算 Hadoop Shell
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
151 3
|
12月前
|
SQL 分布式计算 Hadoop
Hadoop-19 Flume Agent批量采集数据到HDFS集群 监听Hive的日志 操作则把记录写入到HDFS 方便后续分析
Hadoop-19 Flume Agent批量采集数据到HDFS集群 监听Hive的日志 操作则把记录写入到HDFS 方便后续分析
189 2
|
12月前
|
SQL 存储 数据管理
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测
171 2
|
12月前
|
分布式计算 Java Hadoop
Hadoop-30 ZooKeeper集群 JavaAPI 客户端 POM Java操作ZK 监听节点 监听数据变化 创建节点 删除节点
Hadoop-30 ZooKeeper集群 JavaAPI 客户端 POM Java操作ZK 监听节点 监听数据变化 创建节点 删除节点
199 1
|
12月前
|
分布式计算 Hadoop Unix
Hadoop-28 ZooKeeper集群 ZNode简介概念和测试 数据结构与监听机制 持久性节点 持久顺序节点 事务ID Watcher机制
Hadoop-28 ZooKeeper集群 ZNode简介概念和测试 数据结构与监听机制 持久性节点 持久顺序节点 事务ID Watcher机制
185 1

相关实验场景

更多