误删/tmp导致hadoop无法启停, jps无法查看的解决方法

简介:

问题描述

我的hadoop版本是hadoop-cdh4.2.0,由于误删了/tmp目录(不是hadoop.tmp.dir设定的那个目录),在Namenode,SecondaryNamenode和Datanode上使用jps无法查看到如下结果:

[root@desktop1 ~]# jps
5389 NameNode
5980 Jps
5710 ResourceManager
7032 JobHistoryServer
[root@desktop2 ~]# jps
3187 Jps
3124 SecondaryNameNode
[root@desktop3 ~]# jps
3187 Jps
3124 DataNode
5711 NodeManager
同时,在namenode上, 启停dfs和yarn都无效,显示 no namenode to stop, no datanode to stop 等等。而整个 hadoop集群是正常运转的。


排查原因

jps查看起的进程需要读取/tmp目录下的一些内容。另一方面,在启停hadoop的脚本里,比如

sbin/stop-yarn.sh
实际使用的是

sbin/yarn-deamon.sh
该脚本描述里写道:

# Runs a yarn command as a daemon.
#
# Environment Variables
#
#   YARN_CONF_DIR  Alternate conf dir. Default is ${YARN_HOME}/conf.
#   YARN_LOG_DIR   Where log files are stored.  PWD by default.
#   YARN_MASTER    host:path where hadoop code should be rsync'd from
#   YARN_PID_DIR   The pid files are stored. /tmp by default.
#   YARN_IDENT_STRING   A string representing this instance of hadoop. $USER by default
#   YARN_NICENESS The scheduling priority for daemons. Defaults to 0.
根据 Y ARN_PID_DIR   The pid files are stored. /tmp by default. /tmp目录保存的是pid的进程号,集群无法启停,jps无法查看进程都是因为丢失了pid,或者与/tmp下当前的pid进程号对不上,我的解决方法就是查看各节点上的进程然后替换pid文件里的内容,实施后证明是可行的


解决方案

使用netstat查看pid进程号,

ps -ef | grep datanode | grep -v grep

namenode查看namenode和resourcemanager,/tmp下文件为hadoop-root-namenode.pid和 yarn-root-resourcemanager.pid

secondarynamenode查看secondarynamenode,/tmp下文件为hadoop-root-secondarynamenode.pid

datanode查看datanode和nodemanager,/tmp下文件为hadoop-root-datanode.pid和yarn-root-nodemanager.pid

(以上root为user名字)

下面是我使用的替换datanode机器上的pid的一个脚本,可以参考使用

> /tmp/hadoop-root-datanode.pid && echo `ps -ef | grep datanode | grep -v grep | awk '{print $2}'` > /tmp/hadoop-root-datanode.pid
> /tmp/yarn-root-nodemanager.pid && echo `ps -ef | grep nodemanager | grep -v grep | awk '{print $2}'` > /tmp/yarn-root-nodemanager.pid 
所有机器上都更新好pid文件后,就可以去namenode上启停集群了,jsp命令也生效了。


(全文完)

目录
相关文章
|
5月前
|
分布式计算 Hadoop
hadoop进程启停管理
hadoop进程启停管理
41 0
|
9月前
|
存储 分布式计算 Hadoop
hadoop 3.x Replication与Availability不一致的两种可能原因以及解决方法(已解决)
hadoop 3.x Replication与Availability不一致的两种可能原因以及解决方法(已解决)
70 0
|
4月前
|
分布式计算 Hadoop 大数据
|
10月前
|
分布式计算 Hadoop 程序员
Hadoop运行报ERROR: Attempting to operate on hdfs as root或者HDFS_ZKFC_USER defined错误的解决方法
Hadoop运行报ERROR: Attempting to operate on hdfs as root或者HDFS_ZKFC_USER defined错误的解决方法
|
10月前
|
资源调度 分布式计算 Hadoop
大数据 | (六)Hadoop集群启停脚本
大数据 | (六)Hadoop集群启停脚本
118 0
|
10月前
|
分布式计算 负载均衡 Hadoop
|
10月前
|
存储 分布式计算 Java
|
分布式计算 Hadoop
Hadoop集群nodes unhealthy解决方法
Hadoop集群nodes unhealthy解决方法
311 0
|
分布式计算 资源调度 Hadoop
Hadoop运行模式(五)、编写Hadoop集群常用脚本、Hadoop集群启停脚本、常用端口号说明、集群时间同步、时间服务器配置、其他机器配置
Hadoop运行模式(五)、编写Hadoop集群常用脚本、Hadoop集群启停脚本、常用端口号说明、集群时间同步、时间服务器配置、其他机器配置
Hadoop运行模式(五)、编写Hadoop集群常用脚本、Hadoop集群启停脚本、常用端口号说明、集群时间同步、时间服务器配置、其他机器配置
|
分布式计算 Java Hadoop
Hadoop jps正确使用流程及报错处理
jps(Java Virtual Machine Process Status Tool)是JDK 1.5提供的一个显示当前所有java进程pid的命令,简单实用,非常适合在linux/unix平台上简单察看当前java进程的一些简单情况。 详细参数请参考:https://www.cnblogs.com/toSeeMyDream/p/5747412.html 注:jps命令有个地方很不好,似乎只能显示当前用户的java进程,显示其他用户很容易报错 -- process information unavailable 下面我们模拟下Hadoop生产实战中 jps 真死、假死的问题
344 0

热门文章

最新文章

相关实验场景

更多