hadoop 3.x Replication与Availability不一致的两种可能原因以及解决方法(已解决)

简介: hadoop 3.x Replication与Availability不一致的两种可能原因以及解决方法(已解决)

异常情况

由于我在写这篇博客的时候已经解决了这个问题,因此我只能用别人出异常的情况来表述了,我的情况和他一样,也是只有一个Availability,但是却显示Replication有3个.

第一种情况解决方法

第一种情况原文来源

如图,显示的副本数为3,但是实际可用的只有一台机器,

这里可以打开hadoop目录下的data文件,然后一直向下找

这里你应该去查看Availability里面没有显示出来的主机的这个目录里是否有文件.

我查看了一下,由于我是Hadoop0117这台主机没有出现在Availability里面,因此我查看了这台主机的data文件,果然是没有的,那么出现这种情况的原因,应该是由于你的拷贝hadoop目录的时候,本身就有了一份data和logs目录,而你拷贝之后启动hdfs的时候并没有先删除这份,那么里面存储的NameNodeuuid其对应的NameNode是先前主机的uuid,也就是VERSION不一致导致的他匹配的还是先前的那个NameNode管理的集群,因此这个新的集群他就无法进入了,解决方法很简单

1:关闭hadoop集群

[yoshino@hadoop0115 hadoop-3.1.3]$ sbin/stop-dfs.sh 

2:删除对应的data与logs文件

rm -rf logs/
rm -rf data/

3:再次打开hdfs

[yoshino@hadoop0115 hadoop-3.1.3]$ sbin/start-dfs.sh

这样就能解决了

第二种情况解决方法

这种情况我们可以先点击HDFS网页的Datanodes

正常情况里面应该是你配置了多少主机这里就有多少台DataNode

然后你在Availability不存在的主机对应的HttpAddress

如果你发现他进不去,而其他两个Availability里面有的主机是可以进去的,那么就说明你对应的这台主机的防火墙没关.

没错,我就是这种情况

所以你只需要关闭防火墙即可

查看防火墙状态

systemctl status firewalld.service

关闭防火墙

sudo systemctl stop firewalld

我就是靠这种方法解决的

至此,就是解决出现hadoop 3.x Replication与Availability不一致问题的方法


相关文章
|
11月前
|
分布式计算 Hadoop 程序员
Hadoop运行报ERROR: Attempting to operate on hdfs as root或者HDFS_ZKFC_USER defined错误的解决方法
Hadoop运行报ERROR: Attempting to operate on hdfs as root或者HDFS_ZKFC_USER defined错误的解决方法
|
11月前
|
分布式计算 负载均衡 Hadoop
|
11月前
|
存储 分布式计算 Java
|
分布式计算 Hadoop
Hadoop集群nodes unhealthy解决方法
Hadoop集群nodes unhealthy解决方法
313 0
|
分布式计算 Hadoop
在Hadoop系统中运行WordCount案例失败解决方法
在Hadoop系统中运行WordCount案例失败解决方法
527 0
|
资源调度 分布式计算 大数据
Hadoop集群nodes unhealthy解决方法
欢迎关注大数据和人工智能技术文章发布的微信公众号:清研学堂,在这里你可以学到夜白(作者笔名)精心整理的笔记,让我们每天进步一点点,让优秀成为一种习惯! 在搭建好Hadoop集群之后,所有服务均可正常启动,但是在运行MapReduce程序的时候,发现任务卡在7/09/07 22:28:14 INFO mapreduce.
2122 0
|
19天前
|
存储 分布式计算 Hadoop
大数据处理架构Hadoop
【4月更文挑战第10天】Hadoop是开源的分布式计算框架,核心包括MapReduce和HDFS,用于海量数据的存储和计算。具备高可靠性、高扩展性、高效率和低成本优势,但存在低延迟访问、小文件存储和多用户写入等问题。运行模式有单机、伪分布式和分布式。NameNode管理文件系统,DataNode存储数据并处理请求。Hadoop为大数据处理提供高效可靠的解决方案。
46 2
|
19天前
|
分布式计算 Hadoop 大数据
大数据技术与Python:结合Spark和Hadoop进行分布式计算
【4月更文挑战第12天】本文介绍了大数据技术及其4V特性,阐述了Hadoop和Spark在大数据处理中的作用。Hadoop提供分布式文件系统和MapReduce,Spark则为内存计算提供快速处理能力。通过Python结合Spark和Hadoop,可在分布式环境中进行数据处理和分析。文章详细讲解了如何配置Python环境、安装Spark和Hadoop,以及使用Python编写和提交代码到集群进行计算。掌握这些技能有助于应对大数据挑战。
|
7天前
|
分布式计算 Hadoop 大数据
[大数据] mac 史上最简单 hadoop 安装过程
[大数据] mac 史上最简单 hadoop 安装过程

相关实验场景

更多