【Python】supervisor 工具介绍

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 一 简介   Supervisor 是一款基于Python的进程管理工具,可以很方便的管理服务器上部署的应用程序。supervisor是C/S模型的程序,其server端是supervisord 服务,client 端是supervisorctl 命令 。
一 简介
    Supervisor 是一款基于Python的进程管理工具,可以很方便的管理服务器上部署的应用程序。supervisor是C/S模型的程序,其server端是supervisord 服务,client 端是supervisorctl 命令 。
Supervisor的功能如下:
1 启动、重启、关闭包括但不限于python进程。
2 查看进程的运行状态。
3 批量维护多个进程。
思考一下当应用服务器要部署多个服务程序,机器关闭,重启,如何批量维护?此时supervisor是一个不错的选择。可以用 supervisor 同时启动所有应用程序而不用逐个启动。

二 如何安装配置 
 2.1 安装步骤请移步 官方文档  本文主要介绍如何配置和常用的命令
 2.2 supervisor的配置
 supervisor启动的时候如果没有加上-c参数,则会使用默认的配置文件启动,supervisor会按照如下顺序去寻找默认配置文件:
  1. $CWD/supervisord.conf
  2. $CWD/etc/supervisord.conf
  3. /etc/supervisord.conf
$CWD表示当前的工作目录,上面三个路径从上到下优先级递减,也就是说supervosir会优先去检查$CWD/supervisord.conf文件是否存在,存在就使用该文件启动supervisor,否则向下继续检查。
当然我们也可以使用如下命令生成配置文件:
  1. echo_supervisord_conf > /etc/supervisord.conf
配置文件内如参考如下
  1. [rpcinterface:supervisor]
  2. supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface
  3. [unix_http_server]
  4. file=/tmp/supervisor.sock ; supervisord 服务进程的sock文件
  5. [supervisord]
  6. logfile=/data/logs/supervisord/supervisord.log ; 日志文件,默认是 $CWD/supervisord.log
  7. logfile_maxbytes=50MB ; 日志文件大小,超出50MB会做轮转,默认为50MB
  8. logfile_backups=10 ; 日志文件保留备份数量
  9. loglevel=info ; 日志级别,默认 info,其它: debug,warn,trace
  10. pidfile=/var/run/supervisord.pid ; pid 文件
  11. nodaemon=false ; 是否在前台启动,默认是 false,即以 daemon 的方式启动
  12. minfds=10240 ; 可以打开的文件描述符的最小值,默认 1024
  13. minprocs=200 ; 可以打开的进程数的最小值,默认 200
  14. #### ###
  15. [supervisorctl]
  16. serverurl = unix:///tmp/supervisor.sock
  17. [include]
  18. files = /etc/supervisord.d/*.conf ;包含需要管理的应用程序的配置文件
我们把文件内容分成两块
1  supervisord自身的配置项内容
2  需要管理的应用程程序的配置,在[include]里面
2.3 应用程序的cnf文件配置信息
应用程序的配置文件格式 
应用程序的配置文件格式需要[program:PROGRAM_NAME] 部分的配置,PROGRAM_NAME表示 supervisord 要管理那个进程描述, 会在客户端supervisorctl 或 web 界面显示,可以通过 supervisorctl  start|restart|stop  PROGRAM_NAME 来操作维护该进程。
  1. [program:PROGRAM_NAME]
  2. 属性1=参数1
  3. ....
  4.  属性N=参数N
举个例子: 通过supervisor 管理haunt程序
  1. [program:haunt]
  2. directory = /opt/haunt_agent ; 程序的启动目录
  3. command= /opt/haunt_agent/bin/haunt_agent -c /opt/haunt_agent/conf/haunt_agent.ini; 启动haunt程序的命令,与手动启动的命令一致
  4. autostart = true    ;在 supervisord 启动的时候也自动启动
  5. startsecs = 5       ;启动 5 秒后没有异常退出,就当作已经正常启动了
  6. autorestart =  true ;程序异常退出后自动重启
  7. startretries = 3    ; 启动失败自动重试次数,默认是 3
  8. user = app          ; 用哪个用户启动
  9. redirect_stderr = true ; 把 stderr 重定向到 stdout,默认 false
  10. stdout_logfile_maxbytes = 10MB ; stdout 日志文件大小,默认 20MB
  11. stdout_logfile_backups = 10 ; stdout 日志文件备份数
  12. stdout_logfile = /data/logs/supervisor/haunt_stdout.log; stdout日志文件,注意当指定目录不存在时无法正常启动,所以需要手动创建目录(supervisord 会自动创建日志文件)
  13. ; 可以通过 environment 来添加需要的环境变量,一种常见的用法是修改 PYTHONPATH
  14. ; environment=PYTHONPATH=$PYTHONPATH:/path/to/somewhere
三 常用的命令
  3.1 启动supervisor
#明确指定配置文件
  1. supervisord -c /etc/supervisord.conf
如果以不指定配置文件启动,则会找默认文件
  1. supervisord
 3.2 supervisorctl 命令介绍
supervisorctl 是supervisord的命令行客户端工具,启动时需要指定与supervisord使用同一份配置文件,否则与supervisord一样按照顺序查找配置文件。
supervisorctl -c /etc/supervisord.conf
进入命令行模式

  1. # supervisorctl
  2. SayHello EXITED Nov 02 11:27 PM
  3. sample RUNNING pid 10082, uptime 2:56:32
  4. hawk_agent:hawk_agent-1 RUNNING pid 10084, uptime 2:56:32
  5. supervisor> status
  6. SayHello EXITED Nov 02 11:27 PM
  7. sample RUNNING pid 10082, uptime 2:56:35
  8. hawk_agent:hawk_agent-1 RUNNING pid 10084, uptime 2:56:35
  9. supervisor> reload
  10. Really restart the remote supervisord process y/N? y
  11. Restarted supervisord
  12. supervisor>
  13. supervisor> status
  14. SayHello RUNNING pid 4359, uptime 0:00:02
  15. sample RUNNING pid 4358, uptime 0:00:02
  16. yz-hawk_agent:yz-hawk_agent-1 RUNNING pid 4360, uptime 0:00:02
常用的命令介绍:
# 停止某一个进程,program_name 为 配置文件中[program:x] 里的 x
supervisorctl stop program_name
# 启动某个进程
supervisorctl start program_name
# 重启某个进程
supervisorctl restart program_name
# 结束所有属于名为 groupworker 这个分组的进程 (start,restart 同理)
supervisorctl stop groupworker:
# 结束 groupworker:name1 这个进程 (start,restart 同理)
supervisorctl stop groupworker:name1
# 停止全部进程,注:start、restart、stop 都不会载入最新的配置文件
supervisorctl stop all
# 载入最新的配置文件,停止原有进程并按新的配置启动、管理所有进程, 相当于重启所有的服务,该命令慎用
supervisorctl reload
# 根据最新的配置文件,启动新配置或有改动的进程,配置没有改动的进程不会受影响而重启
supervisorctl update

3.3 支持以 group 的方式来管理多个进程 
 supervisor 可以将多个应用程序以group的方式管理。
  1. [group:GROUP_NAME]
  2. programs=prog_name1,prog_name2 ; each refers to 'x' in [program:x] definitions
  3. priority=999 ; the relative start priority (default 999)
使用group配置之后,使用supervisorctl 管理进程的时候,变为管理group组内所有的程序
  1. supervisorctl [start|restart|stop|reload] GROUP_NAME
  2. 管理单个应用程序
  3. supervisorctl [start|restart|stop|reload] GROUP_NAME:prog_name1
  4. supervisorctl [start|restart|stop|reload] GROUP_NAME:prog_name2
如果你的应用程序比较多而且部分应用程序有关联性,可以使用group的方式,但是如果每个应用程序相互独立且不耦合,推荐使用
“分而治之”的思路,每个应用程序单独一个。这样运维应用程序的时候 更方便简单。

四 参考文章
[1]   Python 进程管理工具 Supervisor 使用教程
[2] 官方文档

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
22天前
|
数据可视化 编译器 Python
Manim:数学可视化的强大工具 | python小知识
Manim(Manim Community Edition)是由3Blue1Brown的Grant Sanderson开发的数学动画引擎,专为数学和科学可视化设计。它结合了Python的灵活性与LaTeX的精确性,支持多领域的内容展示,能生成清晰、精确的数学动画,广泛应用于教育视频制作。安装简单,入门容易,适合教育工作者和编程爱好者使用。
106 7
|
1月前
|
JavaScript 前端开发 开发者
探索 DrissionPage: 强大的Python网页自动化工具
DrissionPage 是一个基于 Python 的网页自动化工具,结合了浏览器自动化的便利性和 requests 库的高效率。它提供三种页面对象:ChromiumPage、WebPage 和 SessionPage,分别适用于不同的使用场景,帮助开发者高效完成网页自动化任务。
153 4
|
1月前
|
开发者 Python
探索Python中的列表推导式:简洁而强大的工具
【10月更文挑战第41天】 在编程的世界中,效率与简洁是永恒的追求。本文将深入探讨Python编程语言中一个独特且强大的特性——列表推导式(List Comprehension)。我们将通过实际代码示例,展示如何利用这一工具简化代码、提升性能,并解决常见编程问题。无论你是初学者还是资深开发者,掌握列表推导式都将使你的Python之旅更加顺畅。
|
2月前
|
数据采集 数据可视化 数据挖掘
R语言与Python:比较两种数据分析工具
R语言和Python是目前最流行的两种数据分析工具。本文将对这两种工具进行比较,包括它们的历史、特点、应用场景、社区支持、学习资源、性能等方面,以帮助读者更好地了解和选择适合自己的数据分析工具。
59 2
|
2月前
|
C语言 开发者 Python
探索Python中的列表推导式:简洁而强大的工具
【10月更文挑战第21天】在Python的世界里,代码的优雅与效率同样重要。列表推导式(List Comprehensions)作为一种强大而简洁的工具,允许开发者通过一行代码完成对列表的复杂操作。本文将深入探讨列表推导式的使用方法、性能考量以及它如何提升代码的可读性和效率。
|
2月前
|
自然语言处理 算法 数据挖掘
探讨如何利用Python中的NLP工具,从被动收集到主动分析文本数据的过程
【10月更文挑战第11天】本文介绍了自然语言处理(NLP)在文本分析中的应用,从被动收集到主动分析的过程。通过Python代码示例,详细展示了文本预处理、特征提取、情感分析和主题建模等关键技术,帮助读者理解如何有效利用NLP工具进行文本数据分析。
60 2
|
2月前
|
测试技术 Python
Python MagicMock: Mock 变量的强大工具
Python MagicMock: Mock 变量的强大工具
60 4
|
2月前
|
存储 Python
python数据类型、debug工具(一)
python数据类型、debug工具(一)
|
2月前
|
网络协议 IDE iOS开发
Python编程---简单的聊天工具
Python编程---简单的聊天工具
48 2
|
1月前
|
C语言 Python
探索Python中的列表推导式:简洁而强大的工具
【10月更文挑战第24天】在Python编程的世界中,追求代码的简洁性和可读性是永恒的主题。列表推导式(List Comprehensions)作为Python语言的一个特色功能,提供了一种优雅且高效的方法来创建和处理列表。本文将深入探讨列表推导式的使用场景、语法结构以及如何通过它简化日常编程任务。