进程管理工具PM2在python项目中的使用

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 说到进程管理,后端和运维的同学都不陌生。生产项目以及一些脚本任务都需要进行进程管理。现在市场上用得最多的当属supervisor了,但是它只能运行在 Unix-Like 的系统上,也就是说supervisor不能再windows上运行。我们这里说的是另外一个进程管理工具PM2,PM2不仅仅适用于Unix-Like系统,同样适用于windows系统。这点对于开发者来说也是个福音,下面我们来说说PM2的简单使用。

前言

说到进程管理,后端和运维的同学都不陌生。生产项目以及一些脚本任务都需要进行进程管理。现在市场上用得最多的当属supervisor了,但是它只能运行在 Unix-Like 的系统上,也就是说supervisor不能再windows上运行。

我们这里说的是另外一个进程管理工具PM2,PM2不仅仅适用于Unix-Like系统,同样适用于windows系统。这点对于开发者来说也是个福音,下面我们来说说PM2的简单使用。

一、PM2的安装

安装PM2,需要用到nodejs和npm,首先我们来安装nodejs和npm。

  1. 安装nodejs和npm
# 下载指定版本的nodejs,这里我们安装node14.17版本wget https://nodejs.org/dist/v14.17.3/node-v14.17.3-linux-x64.tar.xz
# 加压安装包tar xvf node-v14.17.3-linux-x64.tar.xz
# 重命名mv node-v14.17.3-linux-x64 node# 移动到/usr/localmvnode /usr/local
# 制作软连接ln-s /usr/local/node/bin/node /usr/bin/node
ln-s /usr/local/node/bin/npm /usr/bin/npm

安装好nodejs和npm后,运行下node -v测试下是否安装成功。

  1. 安装pm2
npm install pm2 -g# 制作软连接ln-s /usr/local/node/bin/pm2 /usr/bin/pm2

安装好之后,输入pm2 -v查看版本。

二、PM2的使用

我们主要介绍下PM2如何管理python程序,这里我们新建一个简单的python文件test.py,代码如下:

defadd_func(a, b):
sums=a+breturnsumsa=1b=2print(add_func(a, b))

我们用PM2启动一下看看,输入pm2 start 'python test.py'

如下图,启动后我们可以看到日志里代码运行了多次,这是为什么呢?下面我们先来介绍pm2常用的一些操作吧。

image.png

PM2的常用操作

  1. 启动一个应用: pm2 start test.py 另外,我们可以在启动应用时添加相关参数:
# 给这个任务起名
--name {job_name} 或者 -n {job_name}
# 文件更新时自动重启任务
--watch
# 开启多进程
-i {num}
# 设置应用重新加载的内存阈值
--max-memory-restart <200MB>
# 定义日志路径
--log {log_path}
# 脚本额外参数
-- arg1 arg2 arg3
# 不要自动重启应用
--no-autorestart
# 设置cron定时任务
--cron {定时表达式}
复制代码

从以上参数我们得知,应用默认会自动重启应用。如果我们不要自动重启,就要加上--no-autorestart参数。

我们加上参数测试一下,pm2 start test.py --no-autorestart。这时我们看到应用就只运行了一次。

image.png

  1. 查看应用状态 输入pm2 status或者pm2 ls查看任务列表。
  2. 重启应用 输入pm2 restart {id}或者pm2 reload {name}

备注:{id}指的是pm2任务ID,{name}指的是pm2任务的名称。下面例子都用{id}。

  1. 查看应用日志 输入pm2 logs {id}
  2. 停止应用 输入pm2 stop {id}
  3. 删除应用 输入pm2 delete {id}
  4. 查看应用详情 输入pm2 describe {id}

image.png

以上就是pm2的常用操作,下面主要介绍下python程序的启动配置。

配置pm2启动脚本

我们在运行一个python应用时,通常要指定python虚拟环境、传递额外参数、设置日志路径等。如果都将配置在命令行上写,不仅不方便输入,而且不便于管理。这时我们可以用到以配置文件启动的方式来处理。

以json配置文件启动

命令:pm2 start config.json 还是以上述test.py为例,我们此时启动该程序要求:

  • 指定程序路径
  • 指定python虚拟环境
  • 指定日志输出路径
  • 不要自动重启

为了满足上述需求,我们首先来看看json配置文件的主要参数

# 主要参数name:   任务名称script: 脚本路径cwd:    程序目录args:   额外参数interpreter:虚拟环境# 其他参数watch:是否监控文件改动重启error_file:错误日志路径out_file:正常输入日志路径autorestart:是否要自动重启

根据参数,我们来写运行配置文件pm2.json

{
"name": "test_pm2_101",
"cwd": "/Users/ethan/Desktop/test/pm2_test",
"script": "/Users/ethan/Desktop/test/pm2_test/test.py",
"interpreter": "/Users/ethan/miniconda3/envs/data_manage/bin/python",
"out_file": "/Users/ethan/Desktop/test/pm2_test/log.log",
"error_file": "/Users/ethan/Desktop/test/pm2_test/error.log",
"autorestart" : false}

最后,我们来运行一下任务:pm2 start pm2.json。 查看下日志:pm2 logs ,大功告成。


设置pm2自启动

最后讲一下pm2的自启动设置,没设置前,服务器重启后,pm2是不会自动重启的,因此我们的应用需重新启动了。

设置方法很简单,输入pm2 startup,然后根据提示设置即可。


相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
2天前
|
分布式计算 大数据 Java
如何使用Python的pyodps库来进行跨项目空间重命名表名?
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
28 12
|
3天前
|
前端开发 Python
前后端分离的进化:Python Web项目中的WebSocket实时通信解决方案
【7月更文挑战第18天】在Python的Flask框架中,结合Flask-SocketIO库可轻松实现WebSocket实时通信,促进前后端分离项目中的高效交互。示例展示了一个简单的聊天应用:Flask路由渲染HTML,客户端通过Socket.IO库连接服务器,发送消息并监听广播。此方法支持多种实时通信协议,适应不同环境,提供流畅的实时体验。
15 3
|
7天前
|
SQL API Python
`bandit`是一个Python静态代码分析工具,专注于查找常见的安全漏洞,如SQL注入、跨站脚本(XSS)等。
`bandit`是一个Python静态代码分析工具,专注于查找常见的安全漏洞,如SQL注入、跨站脚本(XSS)等。
|
2天前
|
JSON 中间件 数据处理
实践出真知:通过项目学习Python Web框架的路由与中间件设计
【7月更文挑战第19天】探索Python Web开发,掌握Flask或Django的关键在于理解路由和中间件。路由连接URL与功能,如Flask中@app.route()定义请求响应路径。中间件在请求处理前后执行,提供扩展功能,如日志、认证。通过实践项目,不仅学习理论,还能提升构建高效Web应用的能力。示例代码展示路由定义及模拟中间件行为,强调动手实践的重要性。
|
7天前
|
网络协议 安全 Shell
`nmap`是一个开源的网络扫描工具,用于发现网络上的设备和服务。Python的`python-nmap`库允许我们在Python脚本中直接使用`nmap`的功能。
`nmap`是一个开源的网络扫描工具,用于发现网络上的设备和服务。Python的`python-nmap`库允许我们在Python脚本中直接使用`nmap`的功能。
|
6天前
|
前端开发 JavaScript API
惊呆了!学会AJAX与Fetch API,你的Python Web项目瞬间高大上!
【7月更文挑战第15天】AJAX和Fetch API是Web开发中的关键工具,用于异步前后端交互。AJAX借助XMLHttpRequest实现页面局部更新,而Fetch API是现代的、基于Promise的HTTP请求接口,提供更强大功能和简洁语法。结合Python Web框架如Django或Flask,利用这两者能创造无缝体验,提升项目性能和用户体验。学习并应用这些技术,将使你的Web应用焕发新生。**
16 5
|
4天前
|
数据采集 并行计算 数据处理
工具人必看:Python并发编程工具箱大揭秘,IO与CPU密集型任务的最佳拍档!
【7月更文挑战第16天】Python并发编程助力IO密集型(asyncio+aiohttp,异步Web爬虫示例)和CPU密集型(multiprocessing,并行计算数组和)任务。asyncio利用单线程异步IO提升Web应用效率,multiprocessing通过多进程克服GIL限制,实现多核并行计算。善用这些工具,可优化不同场景下的程序性能。
10 1
|
7天前
|
消息中间件 安全 数据处理
Python中的并发编程:理解多线程与多进程的区别与应用
在Python编程中,理解并发编程是提高程序性能和响应速度的关键。本文将深入探讨多线程和多进程的区别、适用场景及实际应用,帮助开发者更好地利用Python进行并发编程。
|
7天前
|
数据可视化 Python
时间序列分析是一种统计方法,用于分析随时间变化的数据序列。在金融、经济学、气象学等领域,时间序列分析被广泛用于预测未来趋势、检测异常值、理解周期性模式等。在Python中,`statsmodels`模块是一个强大的工具,用于执行各种时间序列分析任务。
时间序列分析是一种统计方法,用于分析随时间变化的数据序列。在金融、经济学、气象学等领域,时间序列分析被广泛用于预测未来趋势、检测异常值、理解周期性模式等。在Python中,`statsmodels`模块是一个强大的工具,用于执行各种时间序列分析任务。
|
7天前
|
Unix Linux Python
`subprocess`模块是Python中用于生成新进程、连接到它们的输入/输出/错误管道,并获取它们的返回(退出)代码的模块。
`subprocess`模块是Python中用于生成新进程、连接到它们的输入/输出/错误管道,并获取它们的返回(退出)代码的模块。