Apache Hadoop 答疑:解决 Apache Hadoop 启动时 DataNode 启动异常的问题

简介: Apache Hadoop 答疑:解决 Apache Hadoop 启动时 DataNode 启动异常的问题

文章目录


前言

本文用于解决 Apache Hadoop 启动时 DataNode 启动异常的问题,但是请注意这会删除 HDFS 中原有的所有数据,如果原有的数据很重要请不要这样做。

image.png


一、启动 HDFS 并显示当前所有 Java 进程

依次在 Hadoop 安装目录下执行以下命令启动 HDFS 并显示当前所有 Java 进程:

./bin/hdfs namenode -format   #格式化NameNode
./sbin/start-dfs.sh       #启动HDFS
jps               #显示当前所有的Java进程

二、DataNode 启动异常场景描述

当 DataNode 启动异常时或者没有启动时我们调用 jps 命令不会显示其进程,具体如下图所示:

image.png

三、DataNode 启动异常解决方式

再次提醒:删除 tmp 文件,会删除 HDFS 中原有的所有数据。

依次执行如下命令:

./sbin/stop-dfs.sh        #关闭HDFS
rm -r ./tmp           #删除tmp文件,注意这会删除HDFS中原有的所有数据,tmp文件目录根据本地目录寻找
./bin/hdfs namenode -format   #重新格式化NameNode
./sbin/start-dfs.sh       #重启HDFS
jps               #显示当前所有的Java进程

成功启动后我们可以看到 DataNode 的进程,具体如下图所示:

image.png

四、Web 界面检查 Hadoop 信息

同时,可以通过 Linux 本地浏览器访问 Web 界面(http://localhost:9870)来查看 Hadoop 的信息,具体如下图所示:

image.png


总结

本文解决了 Apache Hadoop 启动时 DataNode 没有启动的问题,但是请注意这会删除 HDFS 中原有的所有数据,如果原有的数据很重要请不要这样做。其他的方法暂时还没有发现,这个方法百试百灵,有其他的方法的小伙伴欢迎补充!

image.png


我是白鹿,一个不懈奋斗的程序猿。望本文能对你有所裨益,欢迎大家的一键三连!若有其他问题、建议或者补充可以留言在文章下方,感谢大家的支持!


相关文章
|
6月前
|
分布式计算 Hadoop 大数据
大数据Hadoop之——Apache Hudi 数据湖实战操作(Spark,Flink与Hudi整合)
大数据Hadoop之——Apache Hudi 数据湖实战操作(Spark,Flink与Hudi整合)
|
1月前
|
资源调度 分布式计算 Hadoop
Apache Hadoop YARN基本架构
【2月更文挑战第24天】
|
3月前
|
SQL 分布式计算 安全
HIVE启动错误:org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeExcept
HIVE启动错误:org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeExcept
135 0
|
8月前
|
分布式计算 固态存储 Hadoop
Apache Doris Broker快速体验之Hadoop安装部署(1)1
Apache Doris Broker快速体验之Hadoop安装部署(1)1
99 0
|
4月前
|
存储 分布式计算 Apache
✨[hadoop3.x]新一代的存储格式Apache Arrow(四)
✨[hadoop3.x]新一代的存储格式Apache Arrow(四)
59 1
|
8月前
|
分布式计算 Hadoop
win系统hadoop启动时RM uses DefaultResourceCalculator问题解决
org.apache.hadoop.yarn.exceptions.YarnRuntimeException: RM uses DefaultResourceCalculator which used only memory as resource-type but invalid resource-types specified 错误
|
8月前
|
XML 分布式计算 Hadoop
Apache Doris Broker快速体验之Hadoop安装部署(1)2
Apache Doris Broker快速体验之Hadoop安装部署(1)2
148 0
|
8月前
|
存储 机器学习/深度学习 分布式计算
hadoop02--Apache Hadoop集群搭建与介绍
hadoop02--Apache Hadoop集群搭建与介绍
242 1
|
8月前
|
存储 数据采集 分布式计算
hadoop离线01--大数据导论、Apache Zookeeper
hadoop离线01--大数据导论、Apache Zookeeper
|
8月前
|
机器学习/深度学习 缓存 分布式计算
Hadoop基础学习---4、HDFS写、读数据流程、NameNode和SecondaryNameNode、DataNode
Hadoop基础学习---4、HDFS写、读数据流程、NameNode和SecondaryNameNode、DataNode

热门文章

最新文章

相关实验场景

更多

推荐镜像

更多