Slave2: no datanode to stop(HADOOP_PID_DIR)

简介: HADOOP_PID_DIR 本想在环境变量里设置,在相关文件里直接尹用,但是我想起来那时候的JAVA_HOME都不行,还是一个一个设置吧。 有时候,我们对运行几天或者几个月的hadoop或者hbase集群做停止操作,会发现,停止命令不管用了,因为基于java开发的程序,想要停止程序,必须通过进...

HADOOP_PID_DIR

本想在环境变量里设置,在相关文件里直接尹用,但是我想起来那时候的JAVA_HOME都不行,还是一个一个设置吧。

有时候,我们对运行几天或者几个月的hadoop或者hbase集群做停止操作,会发现,停止命令不管用了,
因为基于java开发的程序,想要停止程序,必须通过进程pid来确定,而hadoop和hbase默认的情况下,会把pid文件存储在Linux上的/tmp目录的某个目录下,进程名命令规则一般是  框架名-用户名-角色名.pid,而默认情况下,linux的tmp里面的东西,一天会删除一次,所以把pid文件放在这里面,并不是长久之计,为了安全起见,我们还是放到一个固定的目录下最好,当然不能放在/tmp下 

如何配置避免把进程文件写到临时目录下面呢? 

一:Hadoop配置: 

(1)修改hadoop-env.sh 
修改如下,如果没有下面的设置,可以直接添加: 

export HADOOP_PID_DIR=/ROOT/server/pids_hadoop_hbase 
export HADOOP_SECURE_DN_PID_DIR=/ROOT/server/pids_hadoop_hbase 

上述配置,影响 
NameNode 
DataNode 
SecondaryNameNode 
进程pid存储 



(2)修改mapred-env.sh 
修改 
export HADOOP_MAPRED_PID_DIR=/ROOT/server/pids_hadoop_hbase 

上述配置,影响 
JobHistoryServer 
进程pid存储 

(3)修改yarn-env.sh 
修改或者添加(不存在此项配置时),这里面我没有找到pid的环境设置变量,所以就直接添加了 

export YARN_PID_DIR=/ROOT/server/pids_hadoop_hbase 

上述配置,影响 
NodeManager 
ResourceManager 
进程pid存储 

相关实践学习
lindorm多模间数据无缝流转
展现了Lindorm多模融合能力——用kafka API写入,无缝流转在各引擎内进行数据存储和计算的实验。
云数据库HBase版使用教程
  相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情: https://cn.aliyun.com/product/hbase   ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
分布式计算 Hadoop 大数据
|
分布式计算 Hadoop 程序员
Hadoop运行报ERROR: Attempting to operate on hdfs as root或者HDFS_ZKFC_USER defined错误的解决方法
Hadoop运行报ERROR: Attempting to operate on hdfs as root或者HDFS_ZKFC_USER defined错误的解决方法
|
分布式计算 Hadoop
Call From master.hadoop/192.168.31.149 to master.hadoop:8020 failed on connection exception
学习hadoop新手易犯错误:Call From master.hadoop/192.168.31.149 to master.hadoop:8020 failed on connection exception: java.net.ConnectException: 拒绝连接; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
590 0
|
分布式计算 Hadoop
Hadoop2.0 datanode启动不成功:All specified directories are failed to load
Hadoop2.0 datanode启动不成功:All specified directories are failed to load
|
Java 分布式数据库 Apache
Hbase集群master.HMasterCommandLine: Master exiting
2016-12-15 17:01:57,473 INFO [main] impl.MetricsSystemImpl: HBase metrics system started 2016-12-15 17:01:59,649 ERROR [main] master.
2633 0
|
存储
Hadoop-2.6.0NodeManager Restart Recover实现分析(二)
      继上篇《Hadoop-2.6.0NodeManager Restart Recover实现分析(二)》。       4、NMLeveldbStateStoreService实现分析       在       1)、initStorage()       initStorage(...
1202 0