Apache Hadoop 答疑:解决 Apache Hadoop 启动时 DataNode 启动异常的问题

简介: Apache Hadoop 答疑:解决 Apache Hadoop 启动时 DataNode 启动异常的问题

文章目录


前言

本文用于解决 Apache Hadoop 启动时 DataNode 启动异常的问题,但是请注意这会删除 HDFS 中原有的所有数据,如果原有的数据很重要请不要这样做。

image.png


一、启动 HDFS 并显示当前所有 Java 进程

依次在 Hadoop 安装目录下执行以下命令启动 HDFS 并显示当前所有 Java 进程:

./bin/hdfs namenode -format   #格式化NameNode
./sbin/start-dfs.sh       #启动HDFS
jps               #显示当前所有的Java进程

二、DataNode 启动异常场景描述

当 DataNode 启动异常时或者没有启动时我们调用 jps 命令不会显示其进程,具体如下图所示:

image.png

三、DataNode 启动异常解决方式

再次提醒:删除 tmp 文件,会删除 HDFS 中原有的所有数据。

依次执行如下命令:

./sbin/stop-dfs.sh        #关闭HDFS
rm -r ./tmp           #删除tmp文件,注意这会删除HDFS中原有的所有数据,tmp文件目录根据本地目录寻找
./bin/hdfs namenode -format   #重新格式化NameNode
./sbin/start-dfs.sh       #重启HDFS
jps               #显示当前所有的Java进程

成功启动后我们可以看到 DataNode 的进程,具体如下图所示:

image.png

四、Web 界面检查 Hadoop 信息

同时,可以通过 Linux 本地浏览器访问 Web 界面(http://localhost:9870)来查看 Hadoop 的信息,具体如下图所示:

image.png


总结

本文解决了 Apache Hadoop 启动时 DataNode 没有启动的问题,但是请注意这会删除 HDFS 中原有的所有数据,如果原有的数据很重要请不要这样做。其他的方法暂时还没有发现,这个方法百试百灵,有其他的方法的小伙伴欢迎补充!

image.png


我是白鹿,一个不懈奋斗的程序猿。望本文能对你有所裨益,欢迎大家的一键三连!若有其他问题、建议或者补充可以留言在文章下方,感谢大家的支持!


相关文章
|
3月前
|
消息中间件 分布式计算 Hadoop
Apache Flink 实践问题之Flume与Hadoop之间的物理墙问题如何解决
Apache Flink 实践问题之Flume与Hadoop之间的物理墙问题如何解决
47 3
|
1月前
|
存储 分布式计算 资源调度
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(一)
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(一)
71 5
|
1月前
|
资源调度 数据可视化 大数据
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(二)
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(二)
34 4
|
3月前
|
存储 分布式计算 Hadoop
Hadoop 中 NameNode 和 DataNode 的角色
【8月更文挑战第12天】
266 4
|
3月前
|
分布式计算 Hadoop 大数据
大数据处理框架在零售业的应用:Apache Hadoop与Apache Spark
【8月更文挑战第20天】Apache Hadoop和Apache Spark为处理海量零售户数据提供了强大的支持
61 0
|
4月前
|
存储 分布式计算 Hadoop
Hadoop中DataNode故障
【7月更文挑战第11天】
192 1
|
5月前
|
存储 分布式计算 监控
Hadoop集群添加新的DataNode
【6月更文挑战第19天】
185 1
|
4月前
|
Prometheus Cloud Native 关系型数据库
实时计算 Flink版操作报错合集之实时计算 Flink版操作报错合集之当从保存点恢复并添加新的表时,出现了org.apache.flink.util.FlinkRuntimeException异常,该怎么办
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
|
5月前
|
分布式计算 Hadoop
关于hadoop搭建的问题org.apache.hadoop.io.nativeio.NativeIO.java
关于hadoop搭建的问题org.apache.hadoop.io.nativeio.NativeIO.java
71 5
|
5月前
|
存储 分布式计算 Hadoop
使用Apache Hadoop进行分布式计算的技术详解
【6月更文挑战第4天】Apache Hadoop是一个分布式系统框架,应对大数据处理需求。它包括HDFS(分布式文件系统)和MapReduce编程模型。Hadoop架构由HDFS、YARN(资源管理器)、MapReduce及通用库组成。通过环境搭建、编写MapReduce程序,可实现分布式计算。例如,WordCount程序用于统计单词频率。优化HDFS和MapReduce性能,结合Hadoop生态系统工具,能提升整体效率。随着技术发展,Hadoop在大数据领域将持续发挥关键作用。

相关实验场景

更多

推荐镜像

更多