HDFS NAMENODE 安全模式

简介: HDFS NAMENODE 安全模式

一、安全模式现象探究

1.1 关闭所有服务,使用命令单独启动服务

1

2

3

4

5

6

7

8

9

10

使用hdfs --daemon命令逐个进程启动集群,观察现象

1.首先启动namenode

stop-all.sh

jps

hdfs --daemon start namenode

jps

hadoop fs -ls /           #使用ls浏览时正常显示

hadoop fs -cat /test.txt  #使用cat查看数据或创建目录等写操作时报错,提示现在是安全模式

hadoop fs -mkdir /hello

mkdir: Cannot create directory /hello. Name node is in safe mode.

1.2 访问控制台

注意summary信息   The reported blocks 0 needs additional 2 blocks to reach the threshold 0.9990 of total blocks 3

1.3 启动一台datanode

1

hdfs --daemon start datanode  #第一台启动datanode,刷新访问控制台

根据提示,安全模式已经关闭

1

hadoop fs -mkdir /hello #再次创建目录没有异常

二、安全模式概述

1

2

3

1.在NameNode主节点启动时,HDFS会首先进入安全模式。检查包括文件副本的数量、可用的datanode数量、集群可用block比例等参数。

2.在安全模式下,文件系统只接受读数据请求,而不接受删除、修改等变更请求。

3.在NameNode启动过程中,首先会从fsimage和edits日志文件加载文件系统状态。然后,等待DataNodes汇报可用的block信息。在此期间,NameNode保持在安全模式。随着DataNode的block汇报持续进行,当整个系统达到安全标准时,HDFS自动离开安全模式。在NameNode Web主页上会显示安全模式是打开还是关闭。 

三、安全模式自动离开

1

2

3

4

5

6

7

相关参数(hdfs-site.xml):

dfs.replication      #hdfs block的副本数据,默认3

dfs.replication.max   #最大块副本数,默认512

dfs.namenode.replication.min   #最小块副本数,默认1

dfs.namenode.safemode.threshold-pct  #已汇报可用数据块数量占整体块数量的百分比阈值。默认0.999f,小于或等于0,则表示退出安全模式之前,不要等待特定百分比的块。大于1的值将使安全模式永久生效。

dfs.namenode.safemode.min.datanodes  #指在退出安全模式之前必须存活的DataNode数量,默认0

dfs.namenode.safemode.extension  #达到阈值条件后持续扩展的时间。倒计时结束如果依然满足阈值条件,自动离开安全模式。默认30000毫秒 

四、安全模式手动进入、离开

1

2

3

4

5

hdfs dfsadmin -safemode get     查看安全模式的状态

hdfs dfsadmin -safemode enter   进入安全模式

hdfs dfsadmin -safemode wait    进入安全模式

hdfs dfsadmin -safemode leave   离开安全模式

enter和wait都是进入安全模式,区别是enter是一定进入安全模式的,wait是等待HDFS进入安全模式

  

相关文章
|
16天前
|
存储 机器学习/深度学习 分布式计算
HDFS NameNode元数据管理
HDFS NameNode元数据管理
|
4月前
|
分布式计算 Hadoop
Hadoop【问题记录 01】【hadoop-3.1.3 单机版】【Attempting to operate on hdfs namenode as root】
【4月更文挑战第2天】Hadoop【问题记录 01】【hadoop-3.1.3 单机版】【Attempting to operate on hdfs namenode as root】
53 0
|
4月前
|
存储 分布式计算 Hadoop
NameNode和DataNode在HDFS中的作用是什么?
NameNode和DataNode在HDFS中的作用是什么?
279 0
|
4月前
|
存储 分布式计算 Hadoop
Hadoop的Secondary NameNode在HDFS中的作用是什么?
Hadoop的Secondary NameNode在HDFS中的作用是什么?
91 0
|
4月前
|
存储 分布式计算 Hadoop
HDFS中的NameNode和DataNode的作用是什么?它们之间的通信方式是什么?
HDFS中的NameNode和DataNode的作用是什么?它们之间的通信方式是什么?
351 0
|
3月前
|
存储 分布式计算 Hadoop
Hadoop Distributed File System (HDFS): 概念、功能点及实战
【6月更文挑战第12天】Hadoop Distributed File System (HDFS) 是 Hadoop 生态系统中的核心组件之一。它设计用于在大规模集群环境中存储和管理海量数据,提供高吞吐量的数据访问和容错能力。
497 4
|
21天前
|
存储 分布式计算 Hadoop
【揭秘Hadoop背后的秘密!】HDFS读写流程大曝光:从理论到实践,带你深入了解Hadoop分布式文件系统!
【8月更文挑战第24天】Hadoop分布式文件系统(HDFS)是Hadoop生态系统的关键组件,专为大规模数据集提供高效率存储及访问。本文深入解析HDFS数据读写流程并附带示例代码。HDFS采用NameNode和DataNode架构,前者负责元数据管理,后者承担数据块存储任务。文章通过Java示例演示了如何利用Hadoop API实现数据的写入与读取,有助于理解HDFS的工作原理及其在大数据处理中的应用价值。
38 1
|
1月前
|
存储 缓存 分布式计算
|
1月前
|
存储 分布式计算 运维
Hadoop重新格式化HDFS的方案
【8月更文挑战第8天】