Linux系统下pid与pid文件及Hadoop更改pid文件存储位置

简介: 今天来讲Linux系统下pid与pid文件及Hadoop更改pid文件存储位置

1.认识pid:


PID全称是Process Identification。

PID是进程的代号,每个进程有唯一的PID编号。它是进程运行时系统随机分配的,并不代表专门的进程。在运行时PID是不会改变标识符的,但是你终止程序后再运行PID标识符就会被系统回收,就可能会被继续分配给新运行的程序。

2.pid文件


  • pid文件的内容
    用cat命令查看,可以看到内容只有一行,记录了该进程的ID
  • pid文件的作用
    防止启动多个进程副本
  • pid文件的原理
    进程运行后会给.pid文件加一个文件锁,只有获得该锁的进程才有写入权限(F_WRLCK),把自身的pid写入该文件中。
    其他试图获得该锁的进程会自动退出。

3.Hadoop中pid文件存储


  • 简介:
    Hadoop启动后相关进程的PID文件默认配置是保存在 /tmp 目录下,使用stop-all.sh,stop-dfs.sh,stop-yarn.sh脚本来停止相关进程是通过对应的pid文件来停止的,而Linux下 /tmp 目录有定时清理的机制,所以为了防止停止进程时出现no namenode to stop等报错,我们应该更改进程pid文件存储的位置。
  • 更改方法:

[hadoop@hadoop000 ~]$ mkdir -p /opt/software/hadoop-2.8.1/pids
[hadoop@hadoop000 ~]$ jps
10512 ResourceManager
8018 Jps
10004 SecondaryNameNode
9655 NameNode
9806 DataNode
10623 NodeManager
[hadoop@hadoop000 ~]$ cd /opt/software/hadoop-2.8.1/sbin/
[hadoop@hadoop000 sbin]$ ./stop-dfs.sh
[hadoop@hadoop000 sbin]$ ./stop-yarn.sh
#更改HADOOP_PID_DIR
[hadoop@hadoop000 sbin]$ vi hadoop-daemon.sh
HADOOP_PID_DIR=/opt/software/hadoop-2.8.1/pids
#更改YARN_PID_DIR
[hadoop@hadoop000 sbin]$ vi yarn-daemon.sh
YARN_PID_DIR=/opt/software/hadoop-2.8.1/pids
[hadoop@hadoop000 sbin]$ ./start-dfs.sh
[hadoop@hadoop000 sbin]$ ./start-yarn.sh
[hadoop@hadoop000 sbin]$ jps
9201 SecondaryNameNode
9425 ResourceManager
9540 NodeManager
9828 Jps
8852 NameNode
8973 DataNode
#发现pid存储在新的位置
[hadoop@hadoop000 sbin]$ cd /opt/software/hadoop-2.8.1/pids/
[hadoop@hadoop000 pids]$ ll
total 20
-rw-rw-r-- 1 hadoop hadoop 5 May 22 20:14 hadoop-hadoop-datanode.pid
-rw-rw-r-- 1 hadoop hadoop 5 May 22 20:14 hadoop-hadoop-namenode.pid
-rw-rw-r-- 1 hadoop hadoop 5 May 22 20:14 hadoop-hadoop-secondarynamenode.pid
-rw-rw-r-- 1 hadoop hadoop 5 May 22 20:15 yarn-hadoop-nodemanager.pid
-rw-rw-r-- 1 hadoop hadoop 5 May 22 20:15 yarn-hadoop-resourcemanager.pid


目录
相关文章
|
1月前
|
Ubuntu Linux
计算机基础知识:linux系统怎么安装?
在虚拟机软件中创建一个新的虚拟机,并选择相应操作系统类型和硬盘空间大小等参数。将下载的 ISO 镜像文件加载到虚拟机中。启动虚拟机,进入安装界面,并按照步骤进行安装。安装完成后,可以在虚拟机中使用 Linux 系统。
|
1月前
|
缓存 监控 Linux
Linux系统清理缓存(buff/cache)的有效方法。
总结而言,在大多数情形下你不必担心Linux中buffer与cache占用过多内存在影响到其他程序运行;因为当程序请求更多内存在没有足够可用资源时,Linux会自行调整其占有量。只有当你明确知道当前环境与需求并希望立即回收这部分资源给即将运行重负载任务之前才考虑上述方法去主动干预。
641 10
|
1月前
|
安全 Linux 数据安全/隐私保护
为Linux系统的普通账户授予sudo访问权限的过程
完成上述步骤后,你提升的用户就能够使用 `sudo`命令来执行管理员级别的操作,而无需切换到root用户。这是一种更加安全和便捷的权限管理方式,因为它能够留下完整的权限使用记录,并以最小权限的方式工作。需要注意的是,随意授予sudo权限可能会使系统暴露在风险之中,尤其是在用户不了解其所执行命令可能带来的后果的情况下。所以在配置sudo权限时,必须谨慎行事。
288 0
|
1月前
|
Ubuntu Linux 开发者
国产 Linux 发行版再添新成员,CutefishOS 系统简单体验
当然,系统生态构建过程并不简单,不过为了帮助国产操作系统优化生态圈,部分企业也开始用国产操作系统替代 Windows,我们相信肯定会有越来越多的精品软件登录 Linux 平台。
96 0
|
1月前
|
Ubuntu 安全 Linux
Linux系统入门指南:从零开始学习Linux
Shell脚本是一种强大的自动化工具,可以帮助您简化重复的任务或创建复杂的脚本程序。了解Shell脚本的基本语法和常用命令,以及编写和运行Shell脚本的步骤,将使您更高效地处理日常任务。
181 0
|
1月前
|
Ubuntu Linux 图形学
Linux学习之Linux桌面系统有哪些?
Cinnamon:与MATE类似,Cinnamon 拥有 GNOME 和 Unity 等其它桌面环境所没有的种种功能,是高度可定制的桌面环境,不需要任何外部插件、窗口组件和调整工具来定制桌面。
108 0
|
1月前
|
Ubuntu 安全 Linux
十款常用Linux系统介绍
本文不是什么大盘点。市面上有好几百款发行版,每款发行版在某个方面都与众不同。不可能在此全部罗列,本文只罗列了十款最常见的Linux发行版(世界上只有两种人,一种是懂二进制的,另一种是不懂二进制的)。请宣传Linux的魅力或威力。
|
Linux 调度
LINUX PID 1和SYSTEMD 专题
  Linux下有3个特殊的进程,idle进程(PID = 0), init进程(PID = 1)和kthreadd(PID = 2) idle进程其pid=0,其前身是系统创建的第一个进程,也是唯一一个没有通过fork或者kernel_thread产生的进程。
1411 0
|
17天前
|
Unix Linux 程序员
Linux文本搜索工具grep命令使用指南
以上就是对Linux环境下强大工具 `grep` 的基础到进阶功能介绍。它不仅能够执行简单文字查询任务还能够处理复杂文字处理任务,并且支持强大而灵活地正则表达规范来增加查询精度与效率。无论您是程序员、数据分析师还是系统管理员,在日常工作中熟练运用该命令都将极大提升您处理和分析数据效率。
80 16
|
9天前
|
Linux
linux命令—stat
`stat` 是 Linux 系统中用于查看文件或文件系统详细状态信息的命令。相比 `ls -l`,它提供更全面的信息,包括文件大小、权限、所有者、时间戳(最后访问、修改、状态变更时间)、inode 号、设备信息等。其常用选项包括 `-f` 查看文件系统状态、`-t` 以简洁格式输出、`-L` 跟踪符号链接,以及 `-c` 或 `--format` 自定义输出格式。通过这些选项,用户可以灵活获取所需信息,适用于系统调试、权限检查、磁盘管理等场景。