Hadoop节点名称节点(NameNode)

简介: 【5月更文挑战第17天】

image.png
在Hadoop分布式文件系统(HDFS)中,NameNode(节点名称节点)是一个核心组件,它负责管理文件系统的元数据(metadata)。元数据是关于数据的数据,对于HDFS来说,这包括文件系统的目录树、文件和目录的权限、文件到数据块的映射等。

以下是NameNode的一些关键职责和特性:

  1. 管理元数据:NameNode存储了HDFS文件系统的所有元数据。它不存储实际的数据块,但知道数据块的位置和如何将这些块组合成文件。
  2. 命名空间:NameNode维护了一个命名空间,该命名空间是一个目录树,其中包含了文件和目录。
  3. 打开和关闭文件:当客户端请求打开一个文件时,NameNode首先检查请求者是否有权访问该文件,然后返回文件的数据块列表。当文件被关闭时,NameNode会更新元数据以反映这一变化。
  4. 数据块映射:HDFS将数据分为固定大小的块(默认为128MB),并将这些块存储在不同的DataNode上。NameNode知道每个数据块存储在哪些DataNode上,并维护这些映射关系。
  5. 心跳机制:DataNode定期向NameNode发送心跳信号,以报告其状态。如果NameNode在一段时间内没有收到某个DataNode的心跳信号,它会认为该DataNode已经失效,并采取相应的措施(如将存储在该DataNode上的数据块复制到其他DataNode上)。
  6. 检查点(Checkpoint):为了防止元数据丢失,NameNode会定期将其元数据写入到本地文件系统中,并创建一个检查点。这样,即使NameNode崩溃,也可以从最近的检查点恢复元数据。
  7. 安全性:NameNode还负责处理与安全性相关的操作,如权限检查和访问控制。

由于NameNode存储了所有的元数据,因此它可能成为HDFS的瓶颈或单点故障源。为了解决这个问题,Hadoop提供了高可用性(HA)配置,其中使用两个NameNode(一个处于活动状态,另一个处于备用状态)来确保元数据的安全性和可用性。此外,Hadoop还提供了Federation功能,允许在集群中运行多个NameNode,以支持更大的命名空间或更高的吞吐量。

目录
相关文章
|
1月前
|
分布式计算 Hadoop Shell
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
69 4
|
1月前
|
存储 分布式计算 资源调度
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(一)
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(一)
75 5
|
1月前
|
资源调度 数据可视化 大数据
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(二)
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(二)
36 4
|
1月前
|
大数据 网络安全 数据安全/隐私保护
大数据-03-Hadoop集群 免密登录 超详细 3节点云 分发脚本 踩坑笔记 SSH免密 集群搭建(二)
大数据-03-Hadoop集群 免密登录 超详细 3节点云 分发脚本 踩坑笔记 SSH免密 集群搭建(二)
118 5
|
1月前
|
XML 分布式计算 资源调度
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(一)
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(一)
151 5
|
1月前
|
分布式计算 Hadoop Shell
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
57 3
|
1月前
|
XML 大数据 网络安全
大数据-03-Hadoop集群 免密登录 超详细 3节点云 分发脚本 踩坑笔记 SSH免密 集群搭建(一)
大数据-03-Hadoop集群 免密登录 超详细 3节点云 分发脚本 踩坑笔记 SSH免密 集群搭建(一)
68 4
|
1月前
|
XML 资源调度 网络协议
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(二)
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(二)
88 4
|
1月前
|
分布式计算 资源调度 Hadoop
大数据-01-基础环境搭建 超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece
大数据-01-基础环境搭建 超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece
77 4
|
1月前
|
SQL 存储 数据管理
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测
58 2

相关实验场景

更多
下一篇
无影云桌面