hadoop 3.x Replication与Availability不一致的两种可能原因以及解决方法(已解决)

本文涉及的产品
云防火墙,500元 1000GB
简介: hadoop 3.x Replication与Availability不一致的两种可能原因以及解决方法(已解决)

异常情况

由于我在写这篇博客的时候已经解决了这个问题,因此我只能用别人出异常的情况来表述了,我的情况和他一样,也是只有一个Availability,但是却显示Replication有3个.

第一种情况解决方法

第一种情况原文来源

如图,显示的副本数为3,但是实际可用的只有一台机器,

这里可以打开hadoop目录下的data文件,然后一直向下找

这里你应该去查看Availability里面没有显示出来的主机的这个目录里是否有文件.

我查看了一下,由于我是Hadoop0117这台主机没有出现在Availability里面,因此我查看了这台主机的data文件,果然是没有的,那么出现这种情况的原因,应该是由于你的拷贝hadoop目录的时候,本身就有了一份data和logs目录,而你拷贝之后启动hdfs的时候并没有先删除这份,那么里面存储的NameNodeuuid其对应的NameNode是先前主机的uuid,也就是VERSION不一致导致的他匹配的还是先前的那个NameNode管理的集群,因此这个新的集群他就无法进入了,解决方法很简单

1:关闭hadoop集群

[yoshino@hadoop0115 hadoop-3.1.3]$ sbin/stop-dfs.sh 

2:删除对应的data与logs文件

rm -rf logs/
rm -rf data/

3:再次打开hdfs

[yoshino@hadoop0115 hadoop-3.1.3]$ sbin/start-dfs.sh

这样就能解决了

第二种情况解决方法

这种情况我们可以先点击HDFS网页的Datanodes

正常情况里面应该是你配置了多少主机这里就有多少台DataNode

然后你在Availability不存在的主机对应的HttpAddress

如果你发现他进不去,而其他两个Availability里面有的主机是可以进去的,那么就说明你对应的这台主机的防火墙没关.

没错,我就是这种情况

所以你只需要关闭防火墙即可

查看防火墙状态

systemctl status firewalld.service

关闭防火墙

sudo systemctl stop firewalld

我就是靠这种方法解决的

至此,就是解决出现hadoop 3.x Replication与Availability不一致问题的方法


相关文章
|
7月前
|
分布式计算 安全 Hadoop
Hadoop 集群一直处于安全模式,强制退出后出现数据丢失警告。解决方法
本文介绍了Hadoop集群安全模式的相关命令和问题解决。当集群处于安全模式时,可使用`hdfs dfsadmin -safemode get`检查状态,`enter`进入,`leave`或`forceExit`离开。若因数据块不一致导致安全模式持续,可通过强制退出,然后删除丢失数据块的文件以恢复正常。如果遇到权限问题,可以使用`chmod`授权或关闭HDFS权限验证(不推荐),配置修改后需重启集群生效。
668 0
Hadoop 集群一直处于安全模式,强制退出后出现数据丢失警告。解决方法
|
分布式计算 Hadoop 程序员
Hadoop运行报ERROR: Attempting to operate on hdfs as root或者HDFS_ZKFC_USER defined错误的解决方法
Hadoop运行报ERROR: Attempting to operate on hdfs as root或者HDFS_ZKFC_USER defined错误的解决方法
|
分布式计算 Hadoop
Unable to load native-hadoop library for your platform解决方法
Unable to load native-hadoop library for your platform解决方法
416 0
|
分布式计算 Hadoop
Hadoop集群nodes unhealthy解决方法
Hadoop集群nodes unhealthy解决方法
388 0
|
分布式计算 负载均衡 Hadoop
|
存储 分布式计算 Java
|
分布式计算 算法 网络协议
Hadoop安装Hbase启动失败报错解决方法
Hadoop安装Hbase启动失败报错解决方法
1441 0
Hadoop安装Hbase启动失败报错解决方法
|
分布式计算 Hadoop
在Hadoop系统中运行WordCount案例失败解决方法
在Hadoop系统中运行WordCount案例失败解决方法
588 0
|
资源调度 分布式计算 大数据
Hadoop集群nodes unhealthy解决方法
欢迎关注大数据和人工智能技术文章发布的微信公众号:清研学堂,在这里你可以学到夜白(作者笔名)精心整理的笔记,让我们每天进步一点点,让优秀成为一种习惯! 在搭建好Hadoop集群之后,所有服务均可正常启动,但是在运行MapReduce程序的时候,发现任务卡在7/09/07 22:28:14 INFO mapreduce.
2190 0
|
SQL 分布式计算 Hadoop
Warning: $HADOOP_HOME is deprecated.的原因以及解决方法
<p style="line-height:23.8px; color:rgb(51,51,51); font-family:Arial; font-size:14px"> <span style="font-size:18px">今天把hadoop从0.20.2版本升级到1.2.1版本之后,在很多时候都会报如下警告:Warning: $HADOOP_HOME is deprecated
1426 0

相关实验场景

更多