大数据||HDFS启动时安全模式(safemode)

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 安全模式期间:nameNode启动成功后到收到99.99%的datanode块数据。HDFS的Namenode等待DataNode向其发送块报告,当NameNode统计总模块和发送过来的块报告中的统计信息达到99.999%的时候,表示不存在块的丢失,此时安全模式才会退出。

安全模式期间:nameNode启动成功后到收到99.99%的datanode块数据。
HDFS的Namenode等待DataNode向其发送块报告,当NameNode统计总模块和发送过来的块报告中的统计信息达到99.999%的时候,表示不存在块的丢失,此时安全模式才会退出。
安全模式已开启。报告的块0需要额外的9个块才能达到块总数的0.9990。活动数据块0的数量已达到最小数0。一旦达到阈值(99.9999%),安全模式将自动关闭。

在安全期间的操作

查看文件系统的文件
不可以改变文件系统的命名空间
  •  不可以创建文件夹
    
  •  不可以上传文件
    
  •  不可以删除文件
    

正常的HDFS文件系统Safemode 是关闭的

image.png

HDFS的namenode节点启动的时候会开启安全模式

关闭hadoop下的所有服务

namenode启动



Safe mode is ON. The reported blocks 0 needs additional 9 blocks to reach the threshold 0.9990 of total blocks 9. The number of live datanodes 0 has reached the minimum number 0. Safe mode will be turned off automatically once the thresholds have been reached. 搜索网络
安全模式已开启。报告的块0需要额外的9个块才能达到块总数的0.9990。活动数据块0的数量已达到最小数0。一旦达到阈值(99.9999%),安全模式将自动关闭。

再启动datanode(注意:9)

说明:给个短暂的30秒,稳定一些文件系统,再提供给客户使用。

30秒后查看

hdfs管理员可以管理安全模式

命令:[root@hadoop-senior hadoop-2.5.0]# bin/hdfs dfsadmin safemode enter

进入安全模式
image.png
查看安全模式

查看命令:bin/hdfs dfsadmin -safemode get



说明:
Safe mode is ON. It was turned on manually. Use "hdfs dfsadmin -safemode leave" to turn safe mode off. 36 files and directories, 9 blocks = 45 total filesystem object(s).
安全模式打开。手动打开。使用“hdfs dfsadmin -safemode leave”关闭安全模式。36个文件和目录,9个块=45个文件系统对象。

关闭安全模式

bin/hdfs dfsadmin -safemode leave


image.png
相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
2月前
|
机器学习/深度学习 传感器 监控
吃得安心靠数据?聊聊用大数据盯紧咱们的餐桌安全
吃得安心靠数据?聊聊用大数据盯紧咱们的餐桌安全
100 1
|
4月前
|
存储 Java 大数据
Java 大视界 -- Java 大数据在智能家居能源消耗模式分析与节能策略制定中的应用(198)
简介:本文探讨Java大数据技术在智能家居能源消耗分析与节能策略中的应用。通过数据采集、存储与智能分析,构建能耗模型,挖掘用电模式,制定设备调度策略,实现节能目标。结合实际案例,展示Java大数据在智能家居节能中的关键作用。
|
6月前
|
SQL 安全 大数据
大数据时代的安全挑战——数据泄露如何悄然发生?
大数据时代的安全挑战——数据泄露如何悄然发生?
287 18
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
480 6
|
消息中间件 分布式计算 关系型数据库
大数据-140 - ClickHouse 集群 表引擎详解5 - MergeTree CollapsingMergeTree 与其他数据源 HDFS MySQL
大数据-140 - ClickHouse 集群 表引擎详解5 - MergeTree CollapsingMergeTree 与其他数据源 HDFS MySQL
236 0
|
分布式计算 资源调度 大数据
大数据-110 Flink 安装部署 下载解压配置 Standalone模式启动 打包依赖(一)
大数据-110 Flink 安装部署 下载解压配置 Standalone模式启动 打包依赖(一)
345 0
|
分布式计算 资源调度 大数据
大数据-110 Flink 安装部署 下载解压配置 Standalone模式启动 打包依赖(二)
大数据-110 Flink 安装部署 下载解压配置 Standalone模式启动 打包依赖(二)
276 0
|
9月前
|
存储 SQL 安全
大数据的隐私与安全:你的一举一动,都在“裸奔”?
大数据的隐私与安全:你的一举一动,都在“裸奔”?
222 15
|
存储 分布式计算 druid
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细!(一)
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细!(一)
175 1
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细!(一)
|
SQL 存储 算法
基于对象 - 事件模式的数据计算问题
基于对象-事件模式的数据计算是商业中最常见的数据分析任务之一。对象如用户、账号、商品等,通过唯一ID记录其相关事件,如操作日志、交易记录等。这种模式下的统计任务包括无序计算(如交易次数、通话时长)和有序计算(如漏斗分析、连续交易检测)。尽管SQL在处理无序计算时表现尚可,但在有序计算中却显得力不从心,主要原因是其对跨行记录运算的支持较弱,且大表JOIN和大结果集GROUP BY的性能较差。相比之下,SPL语言通过强化离散性和有序集合的支持,能够高效地处理这类计算任务,避免了大表JOIN和复杂的GROUP BY操作,从而显著提升了计算效率。

热门文章

最新文章