Linux系统下pid与pid文件及Hadoop更改pid文件存储位置

简介: 今天来讲Linux系统下pid与pid文件及Hadoop更改pid文件存储位置

1.认识pid:


PID全称是Process Identification。

PID是进程的代号,每个进程有唯一的PID编号。它是进程运行时系统随机分配的,并不代表专门的进程。在运行时PID是不会改变标识符的,但是你终止程序后再运行PID标识符就会被系统回收,就可能会被继续分配给新运行的程序。

2.pid文件


  • pid文件的内容
    用cat命令查看,可以看到内容只有一行,记录了该进程的ID
  • pid文件的作用
    防止启动多个进程副本
  • pid文件的原理
    进程运行后会给.pid文件加一个文件锁,只有获得该锁的进程才有写入权限(F_WRLCK),把自身的pid写入该文件中。
    其他试图获得该锁的进程会自动退出。

3.Hadoop中pid文件存储


  • 简介:
    Hadoop启动后相关进程的PID文件默认配置是保存在 /tmp 目录下,使用stop-all.sh,stop-dfs.sh,stop-yarn.sh脚本来停止相关进程是通过对应的pid文件来停止的,而Linux下 /tmp 目录有定时清理的机制,所以为了防止停止进程时出现no namenode to stop等报错,我们应该更改进程pid文件存储的位置。
  • 更改方法:

[hadoop@hadoop000 ~]$ mkdir -p /opt/software/hadoop-2.8.1/pids
[hadoop@hadoop000 ~]$ jps
10512 ResourceManager
8018 Jps
10004 SecondaryNameNode
9655 NameNode
9806 DataNode
10623 NodeManager
[hadoop@hadoop000 ~]$ cd /opt/software/hadoop-2.8.1/sbin/
[hadoop@hadoop000 sbin]$ ./stop-dfs.sh
[hadoop@hadoop000 sbin]$ ./stop-yarn.sh
#更改HADOOP_PID_DIR
[hadoop@hadoop000 sbin]$ vi hadoop-daemon.sh
HADOOP_PID_DIR=/opt/software/hadoop-2.8.1/pids
#更改YARN_PID_DIR
[hadoop@hadoop000 sbin]$ vi yarn-daemon.sh
YARN_PID_DIR=/opt/software/hadoop-2.8.1/pids
[hadoop@hadoop000 sbin]$ ./start-dfs.sh
[hadoop@hadoop000 sbin]$ ./start-yarn.sh
[hadoop@hadoop000 sbin]$ jps
9201 SecondaryNameNode
9425 ResourceManager
9540 NodeManager
9828 Jps
8852 NameNode
8973 DataNode
#发现pid存储在新的位置
[hadoop@hadoop000 sbin]$ cd /opt/software/hadoop-2.8.1/pids/
[hadoop@hadoop000 pids]$ ll
total 20
-rw-rw-r-- 1 hadoop hadoop 5 May 22 20:14 hadoop-hadoop-datanode.pid
-rw-rw-r-- 1 hadoop hadoop 5 May 22 20:14 hadoop-hadoop-namenode.pid
-rw-rw-r-- 1 hadoop hadoop 5 May 22 20:14 hadoop-hadoop-secondarynamenode.pid
-rw-rw-r-- 1 hadoop hadoop 5 May 22 20:15 yarn-hadoop-nodemanager.pid
-rw-rw-r-- 1 hadoop hadoop 5 May 22 20:15 yarn-hadoop-resourcemanager.pid


目录
相关文章
|
2月前
|
存储 分布式计算 Hadoop
基于Java的Hadoop文件处理系统:高效分布式数据解析与存储
本文介绍了如何借鉴Hadoop的设计思想,使用Java实现其核心功能MapReduce,解决海量数据处理问题。通过类比图书馆管理系统,详细解释了Hadoop的两大组件:HDFS(分布式文件系统)和MapReduce(分布式计算模型)。具体实现了单词统计任务,并扩展支持CSV和JSON格式的数据解析。为了提升性能,引入了Combiner减少中间数据传输,以及自定义Partitioner解决数据倾斜问题。最后总结了Hadoop在大数据处理中的重要性,鼓励Java开发者学习Hadoop以拓展技术边界。
86 7
|
9月前
|
分布式计算 Hadoop 数据挖掘
Hadoop生态系统介绍(一)
Hadoop生态系统介绍(一)
157 4
|
9月前
|
分布式计算 Hadoop 分布式数据库
Hadoop生态系统介绍(二)大数据技术Hadoop入门理论系列之一----hadoop生态圈介绍
Hadoop生态系统介绍(二)大数据技术Hadoop入门理论系列之一----hadoop生态圈介绍
259 2
|
7月前
|
存储 SQL 分布式计算
Hadoop生态系统概述:构建大数据处理与分析的基石
【8月更文挑战第25天】Hadoop生态系统为大数据处理和分析提供了强大的基础设施和工具集。通过不断扩展和优化其组件和功能,Hadoop将继续在大数据时代发挥重要作用。
|
8月前
|
分布式计算 Hadoop Linux
Hadoop检查本地文件系统:
【7月更文挑战第24天】
102 6
|
8月前
|
分布式计算 Hadoop
|
7月前
|
存储 分布式计算 资源调度
Hadoop生态系统概览:从HDFS到Spark
【8月更文第28天】Hadoop是一个开源软件框架,用于分布式存储和处理大规模数据集。它由多个组件构成,旨在提供高可靠性、高可扩展性和成本效益的数据处理解决方案。本文将介绍Hadoop的核心组件,包括HDFS、MapReduce、YARN,并探讨它们如何与现代大数据处理工具如Spark集成。
516 0
|
7月前
|
关系型数据库 MySQL Linux
【Linux】通过 PID 获取服务信息 带你玩转 linux
【Linux】通过 PID 获取服务信息 带你玩转 linux
|
8月前
|
存储 分布式计算 Hadoop
阿里巴巴飞天大数据架构体系与Hadoop生态系统的深度融合:构建高效、可扩展的数据处理平台
技术持续创新:随着新技术的不断涌现和应用场景的复杂化,阿里巴巴将继续投入研发力量推动技术创新和升级换代。 生态系统更加完善:Hadoop生态系统将继续扩展和完善,为用户提供更多元化、更灵活的数据处理工具和服务。
|
9月前
|
存储 SQL 分布式计算
Hadoop 生态系统
【6月更文挑战第20天】Hadoop 生态系统
98 3