Hadoop 集群一直处于安全模式,强制退出后出现数据丢失警告。解决方法

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
大数据开发治理平台 DataWorks,不限时长
简介: 本文介绍了Hadoop集群安全模式的相关命令和问题解决。当集群处于安全模式时,可使用`hdfs dfsadmin -safemode get`检查状态,`enter`进入,`leave`或`forceExit`离开。若因数据块不一致导致安全模式持续,可通过强制退出,然后删除丢失数据块的文件以恢复正常。如果遇到权限问题,可以使用`chmod`授权或关闭HDFS权限验证(不推荐),配置修改后需重启集群生效。

@[toc]

安全模式相关命令

# 查看安全模式状态
hdfs dfsadmin -safemode get

# 进入安全模式
hdfs dfsadmin -safemode enter

# 离开安全模式
hdfs dfsadmin -safemode leave

# 强制退出安全模式
hdfs dfsadmin -safemode forceExit

# 等待安全模式
hdfs dfsadmin -safemode wait

等待安全模式,通常情况下在脚本中使用,当集群退出安全模式后,立马执行相关操作。

分析集群为什么一直处于安全模式

集群启动后,发现一直处于安全模式中,进入 WEB 界面查看,还有一大段提示,如下:

image.png

系统报告称,共有 6288 个数据块,还需要额外的 16 个数据块才能达到总共 6311 个数据块的阈值 0.999

通俗来说就是,当前系统中元数据与记录数据块前后不一致,而 Hadoop 默认要求最大的误差阀值为 0.001,如果超过这个值,就会导致 Hadoop 一直处于安全模式。

image.png

也就是说,我们其实已经实际删除了某些数据块,但是记录的元数据因为一些故障导致没有进行同步,就会出现这种情况。

解决方法

首先强制退出安全模式:

hdfs dfsadmin -safemode forceExit

接着,我们进入 WEB 管理界面,刷新一下。

image.png

此时,我们就会发现那些数据块丢失的文件,将这些文件按照路径在 HDFS 中全部删除即可。

如果你想要对文件进行恢复,那么则需要请教相关专业人士,使用磁盘修复工具进行处理。

删除完成后,我们重启集群,进入 WEB 界面查看是否正常:

image.png


如果删除过程中遇到报错,如下所示:

Permission denied: user=master, access=WRITE, inode="/benchmarks/TestDFSIO":root:supergroup:drwxr-xr-x

权限不足,无法进行写操作。

我们需要先使用 root 账号对操作目录授权,或者直接关闭 HDFS 权限验证。

方法一

# 使用 `root` 账号对操作目录授权
hdfs dfs -chmod -R 777 /benchmarks/TestDFSIO

方法二

不建议,会影响集群安全。

# 直接关闭 HDFS 权限验证,在 hdfs-site.xml 文件中添加如下配置:
<property>
   <name>dfs.permissions</name>
   <value>false</value>
</property>

添加完成后,分发同步该文件,重启集群后生效。

相关文章
|
3天前
|
分布式计算 Hadoop 大数据
大数据--hadoop集群搭建
大数据--hadoop集群搭建
8 0
|
4天前
|
分布式计算 Hadoop 大数据
【大数据】Hadoop下载安装及伪分布式集群搭建教程
【大数据】Hadoop下载安装及伪分布式集群搭建教程
15 0
|
12天前
|
分布式计算 Hadoop Java
|
12天前
|
分布式计算 Hadoop 网络安全
|
12天前
|
存储 分布式计算 Hadoop
|
5天前
|
存储 分布式计算 Hadoop
大数据之hadoop3入门到精通(一)
大数据之hadoop3入门到精通(一)
|
1月前
|
存储 分布式计算 Hadoop
大数据处理架构Hadoop
【4月更文挑战第10天】Hadoop是开源的分布式计算框架,核心包括MapReduce和HDFS,用于海量数据的存储和计算。具备高可靠性、高扩展性、高效率和低成本优势,但存在低延迟访问、小文件存储和多用户写入等问题。运行模式有单机、伪分布式和分布式。NameNode管理文件系统,DataNode存储数据并处理请求。Hadoop为大数据处理提供高效可靠的解决方案。
120 2
|
1月前
|
分布式计算 Hadoop 大数据
大数据技术与Python:结合Spark和Hadoop进行分布式计算
【4月更文挑战第12天】本文介绍了大数据技术及其4V特性,阐述了Hadoop和Spark在大数据处理中的作用。Hadoop提供分布式文件系统和MapReduce,Spark则为内存计算提供快速处理能力。通过Python结合Spark和Hadoop,可在分布式环境中进行数据处理和分析。文章详细讲解了如何配置Python环境、安装Spark和Hadoop,以及使用Python编写和提交代码到集群进行计算。掌握这些技能有助于应对大数据挑战。
|
4天前
|
分布式计算 Hadoop 分布式数据库
Hadoop生态系统介绍(二)大数据技术Hadoop入门理论系列之一----hadoop生态圈介绍
Hadoop生态系统介绍(二)大数据技术Hadoop入门理论系列之一----hadoop生态圈介绍
14 2
|
1天前
|
分布式计算 Hadoop 大数据
大数据技术:Hadoop与Spark的对比
【6月更文挑战第15天】**Hadoop与Spark对比摘要** Hadoop是分布式系统基础架构,擅长处理大规模批处理任务,依赖HDFS和MapReduce,具有高可靠性和生态多样性。Spark是快速数据处理引擎,侧重内存计算,提供多语言接口,支持机器学习和流处理,处理速度远超Hadoop,适合实时分析和交互式查询。两者在资源占用和生态系统上有差异,适用于不同应用场景。选择时需依据具体需求。

热门文章

最新文章

相关实验场景

更多