Hadoop中pid文件存储

简介:   我的hadoop集群部署在自己电脑虚拟机上,有时候我是挂起虚拟机,第二天再打开发现有些线程就挂了,比如namenode,好奇怪,当时看了一些帖子说是和pid存储有关,找到log看到找不到pid。因为基于java开发的程序,想要停止程序,必须通过进程pid来确定,而hadoop和hbase默认的情况下,会把pid文件存储在Linux上的/tmp目录的某个目录,进程名命令规则一般是框架名-用户名-角色名.pid,而默认情况下,linux的tmp里面的东西,一天会删除一次。

  我的hadoop集群部署在自己电脑虚拟机上,有时候我是挂起虚拟机,第二天再打开发现有些线程就挂了,比如namenode,好奇怪,当时看了一些帖子说是和pid存储有关,找到log看到找不到pid。因为基于java开发的程序,想要停止程序,必须通过进程pid来确定,而hadoop和hbase默认的情况下,会把pid文件存储在Linux上的/tmp目录的某个目录,进程名命令规则一般是框架名-用户名-角色名.pid,而默认情况下,linux的tmp里面的东西,一天会删除一次。

  其实每次不用的时候挂壁,用的时候开启就行,只不过很麻烦,我写了脚本没成功,才挂机,一般不要挂起。

一、Hadoop配置

  (1)修改hadoop-env.sh 
  修改如下,如果没有下面的设置,可以直接添加: 

export HADOOP_PID_DIR=/ROOT/server/pids_hadoop_hbase 
export HADOOP_SECURE_DN_PID_DIR=/ROOT/server/pids_hadoop_hbase 

  上述配置,影响 
  NameNode 
  DataNode 
  SecondaryNameNode 
  进程pid存储 

  (2)修改mapred-env.sh 

export HADOOP_MAPRED_PID_DIR=/ROOT/server/pids_hadoop_hbase 

  上述配置,影响 
  JobHistoryServer 
  进程pid存储 

  (3)修改yarn-env.sh 
  修改或者添加(不存在此项配置时),这里面我没有找到pid的环境设置变量,所以就直接添加了 

export YARN_PID_DIR=/ROOT/server/pids_hadoop_hbase 

  上述配置,影响 
  NodeManager 
  ResourceManager 
  进程pid存储

二、Hbase的配置 

 

  修改hbase-env.sh 

export HBASE_PID_DIR=/ROOT/server/pids_hadoop_hbase 

  上述配置,影响 
  HMaster 
  HRegionServer 
  进程pid存储 

目录
相关文章
|
分布式计算 Hadoop 存储
|
存储 分布式计算 Hadoop
Hadoop节点文件存储HBase设计目的
【6月更文挑战第2天】
185 6
|
存储 分布式计算 Hadoop
Hadoop节点文件存储Hbase高可靠性
【6月更文挑战第2天】
271 2
|
存储 分布式计算 Hadoop
Hadoop节点文件存储Hbase面向列
【6月更文挑战第2天】
180 2
|
存储 分布式计算 Hadoop
[hadoop3.x系列]Hadoop常用文件存储格式及BigData File Viewer工具的使用(三)
[hadoop3.x系列]Hadoop常用文件存储格式及BigData File Viewer工具的使用(三)
245 2
|
存储 分布式计算 运维
Hadoop 大数据系统在文件存储 HDFS 版上的最佳实践
介绍Hadoop 大数据系统在文件存储 HDFS 版上的最佳实践
676 0
|
分布式计算 Hadoop Linux
Linux系统下pid与pid文件及Hadoop更改pid文件存储位置
今天来讲Linux系统下pid与pid文件及Hadoop更改pid文件存储位置
727 0
|
存储 运维 监控
阿里云的文件存储NAS使用心得
阿里云的文件存储NAS使用心得
631 0

相关实验场景

更多