Python 实现定时任务,推荐APScheduler框架(样例代码附带进程间通信)

简介: Python 实现定时任务,推荐APScheduler框架(样例代码附带进程间通信)

背景

最近在做一些python工具的时候,常常会碰到定时器问题,总觉着使用threading.timer或者schedule模块非常不优雅。所以这里给自己做个记录,也分享一个定时任务框架APScheduler。具体的架构原理就不细说了,用个例子说明一下怎么简易的使用。


样例代码

先上样例代码,如下:

#!/user/bin/env python
# coding=utf-8
"""
@project : csdn
@author  : 剑客阿良_ALiang
@file   : apschedule_tool.py
@ide    : PyCharm
@time   : 2022-03-02 17:34:17
"""
from apscheduler.schedulers.background import BackgroundScheduler
from multiprocessing import Process, Queue
import time
import random
# 具体工作实现
def do_job(q: Queue):
    while True:
        if not q.empty():
            _value = q.get(False)
            print('{} poll -> {}'.format(time.strftime('%Y-%m-%d %H:%M:%S', time.localtime()), _value))
        else:
            break
def put_job(q: Queue):
    while True:
        _value = str(random.randint(1, 10))
        q.put(_value)
        print('{} put -> {}'.format(time.strftime('%Y-%m-%d %H:%M:%S', time.localtime()), _value))
        time.sleep(1)
if __name__ == '__main__':
    q = Queue()
    scheduler = BackgroundScheduler()
    # 每隔5秒运行一次
    scheduler.add_job(do_job, trigger='cron', second='*/5', args=(q,))
    scheduler.start()
    Process(target=put_job, args=(q,)).start()

代码详解:


1、调度器的选择主要取决于编程环境以及 APScheduler 的用途。主要有以下几种调度器:


apscheduler.schedulers.blocking.BlockingScheduler:当调度器是程序中唯一运行的东西时使用,阻塞式。

apscheduler.schedulers.background.BackgroundScheduler:当调度器需要后台运行时使用。

apscheduler.schedulers.asyncio.AsyncIOScheduler:当程序使用 asyncio 框架时使用。

apscheduler.schedulers.gevent.GeventScheduler:当程序使用 gevent 框架时使用。

apscheduler.schedulers.tornado.TornadoScheduler:当构建 Tornado 程序时使用

apscheduler.schedulers.twisted.TwistedScheduler:当构建 Twisted 程序时使用

apscheduler.schedulers.qt.QtScheduler:当构建 Qt 程序时使用

个人觉着BackgroundScheduler已经很够用了,在后台启动定时任务,也不会阻塞进程。


2、trigger后面跟随的类似linux系统下cron写法,样例代码中是每5秒执行一次。


3、这里加了一个多进程通讯的队列multiprocessing.Queue,主要是样例代码解决的场景是我实际工作中常碰到的,举个栗子:多个进程间通讯,其中一个进程需要定时获取另一个进程中的数据。可以参考样例代码。


执行结果如下:


2022-03-02 19:31:27 put -> 4

2022-03-02 19:31:28 put -> 10

2022-03-02 19:31:29 put -> 1

2022-03-02 19:31:30 poll -> 4

2022-03-02 19:31:30 poll -> 10

2022-03-02 19:31:30 poll -> 1

2022-03-02 19:31:30 put -> 2

2022-03-02 19:31:31 put -> 1

2022-03-02 19:31:32 put -> 6

2022-03-02 19:31:33 put -> 4

2022-03-02 19:31:34 put -> 8

2022-03-02 19:31:35 poll -> 2

2022-03-02 19:31:35 poll -> 1

2022-03-02 19:31:35 poll -> 6

2022-03-02 19:31:35 poll -> 4

2022-03-02 19:31:35 poll -> 8

2022-03-02 19:31:35 put -> 8

2022-03-02 19:31:36 put -> 10

2022-03-02 19:31:37 put -> 7

2022-03-02 19:31:38 put -> 2

2022-03-02 19:31:39 put -> 3

2022-03-02 19:31:40 poll -> 8

2022-03-02 19:31:40 poll -> 10

2022-03-02 19:31:40 poll -> 7

2022-03-02 19:31:40 poll -> 2

2022-03-02 19:31:40 poll -> 3

2022-03-02 19:31:40 put -> 5


Process finished with exit code -1


总结

最近工作比较忙,更新的频率会有所下降。本文主要是自己记录一下,方便查阅。


分享:


       当人一旦从危险里跳出来,他就不再去关注这个事物的危险了,他的目光就会全部落在这个事物的利益上。——《遥远的救世主》


如果本文对你有用的话,点个赞吧,谢谢!


相关文章
|
6天前
|
数据库连接 开发者 Python
Python进阶宝典:十个实用技巧提升代码效率
Python进阶宝典:十个实用技巧提升代码效率
13 0
|
6天前
|
数据采集 数据格式 Python
享一些可以提高数据采集准确性的 Python 代码
这段Python代码示例提供了几个实用功能以提升数据采集的准确性:数据源验证、去除重复值、数据范围检查和数据格式验证。通过这些工具,可以确保所采集的数据在合理范围内且格式正确,有效提高了数据的质量。示例展示了如何使用这些功能进行数据清理与验证。
|
1天前
|
开发工具 git Python
通过Python脚本git pull 自动重试拉取代码
通过Python脚本git pull 自动重试拉取代码
81 4
|
3天前
|
对象存储 Python
Python代码解读-理解-定义一个User类的基本写法
以上描述清晰地阐述了如何在Python中定义 `User`类的基本方法以及如何创建和使用该类的实例。这是面向对象编程中的核心概念,是紧密结合抽象和实现,封装数据并提供操作数据的接口。由于用简单通用的语言易于理解,这样的解释对于初学者而言应该是友好且有帮助的。
13 4
|
1天前
|
Shell Python 容器
Python模块是其代码组织和重用的基本方式。
【8月更文挑战第18天】Python模块是其代码组织和重用的基本方式。
6 1
|
5天前
|
Python
安装notepad++ 安装Python Python环境变量的数值。怎样在notepad++上运行Python的代码
这篇文章提供了在notepad++上安装和配置Python环境的详细步骤,包括安装Python、配置环境变量、在notepad++中设置Python语言和快捷编译方式,以及解决可能遇到的一些问题。
安装notepad++ 安装Python Python环境变量的数值。怎样在notepad++上运行Python的代码
|
3天前
|
Python
Python生成Thinkphp6代码工具类
Python生成Thinkphp6代码工具类
7 0
|
6天前
|
IDE Linux 开发工具
涨见识了,在终端执行 Python 代码的 6 种方式!
涨见识了,在终端执行 Python 代码的 6 种方式!
14 0
|
6天前
|
数据可视化 测试技术 数据安全/隐私保护
​十个常见的 Python 脚本 (详细介绍 + 代码举例)
​十个常见的 Python 脚本 (详细介绍 + 代码举例)
11 0
|
6天前
|
搜索推荐 Python
一行代码教你使用Python制作炫酷二维码
一行代码教你使用Python制作炫酷二维码
6 0