Python 实现定时任务,推荐APScheduler框架(样例代码附带进程间通信)

简介: Python 实现定时任务,推荐APScheduler框架(样例代码附带进程间通信)

背景

最近在做一些python工具的时候,常常会碰到定时器问题,总觉着使用threading.timer或者schedule模块非常不优雅。所以这里给自己做个记录,也分享一个定时任务框架APScheduler。具体的架构原理就不细说了,用个例子说明一下怎么简易的使用。


样例代码

先上样例代码,如下:

#!/user/bin/env python
# coding=utf-8
"""
@project : csdn
@author  : 剑客阿良_ALiang
@file   : apschedule_tool.py
@ide    : PyCharm
@time   : 2022-03-02 17:34:17
"""
from apscheduler.schedulers.background import BackgroundScheduler
from multiprocessing import Process, Queue
import time
import random
# 具体工作实现
def do_job(q: Queue):
    while True:
        if not q.empty():
            _value = q.get(False)
            print('{} poll -> {}'.format(time.strftime('%Y-%m-%d %H:%M:%S', time.localtime()), _value))
        else:
            break
def put_job(q: Queue):
    while True:
        _value = str(random.randint(1, 10))
        q.put(_value)
        print('{} put -> {}'.format(time.strftime('%Y-%m-%d %H:%M:%S', time.localtime()), _value))
        time.sleep(1)
if __name__ == '__main__':
    q = Queue()
    scheduler = BackgroundScheduler()
    # 每隔5秒运行一次
    scheduler.add_job(do_job, trigger='cron', second='*/5', args=(q,))
    scheduler.start()
    Process(target=put_job, args=(q,)).start()

代码详解:


1、调度器的选择主要取决于编程环境以及 APScheduler 的用途。主要有以下几种调度器:


apscheduler.schedulers.blocking.BlockingScheduler:当调度器是程序中唯一运行的东西时使用,阻塞式。

apscheduler.schedulers.background.BackgroundScheduler:当调度器需要后台运行时使用。

apscheduler.schedulers.asyncio.AsyncIOScheduler:当程序使用 asyncio 框架时使用。

apscheduler.schedulers.gevent.GeventScheduler:当程序使用 gevent 框架时使用。

apscheduler.schedulers.tornado.TornadoScheduler:当构建 Tornado 程序时使用

apscheduler.schedulers.twisted.TwistedScheduler:当构建 Twisted 程序时使用

apscheduler.schedulers.qt.QtScheduler:当构建 Qt 程序时使用

个人觉着BackgroundScheduler已经很够用了,在后台启动定时任务,也不会阻塞进程。


2、trigger后面跟随的类似linux系统下cron写法,样例代码中是每5秒执行一次。


3、这里加了一个多进程通讯的队列multiprocessing.Queue,主要是样例代码解决的场景是我实际工作中常碰到的,举个栗子:多个进程间通讯,其中一个进程需要定时获取另一个进程中的数据。可以参考样例代码。


执行结果如下:


2022-03-02 19:31:27 put -> 4

2022-03-02 19:31:28 put -> 10

2022-03-02 19:31:29 put -> 1

2022-03-02 19:31:30 poll -> 4

2022-03-02 19:31:30 poll -> 10

2022-03-02 19:31:30 poll -> 1

2022-03-02 19:31:30 put -> 2

2022-03-02 19:31:31 put -> 1

2022-03-02 19:31:32 put -> 6

2022-03-02 19:31:33 put -> 4

2022-03-02 19:31:34 put -> 8

2022-03-02 19:31:35 poll -> 2

2022-03-02 19:31:35 poll -> 1

2022-03-02 19:31:35 poll -> 6

2022-03-02 19:31:35 poll -> 4

2022-03-02 19:31:35 poll -> 8

2022-03-02 19:31:35 put -> 8

2022-03-02 19:31:36 put -> 10

2022-03-02 19:31:37 put -> 7

2022-03-02 19:31:38 put -> 2

2022-03-02 19:31:39 put -> 3

2022-03-02 19:31:40 poll -> 8

2022-03-02 19:31:40 poll -> 10

2022-03-02 19:31:40 poll -> 7

2022-03-02 19:31:40 poll -> 2

2022-03-02 19:31:40 poll -> 3

2022-03-02 19:31:40 put -> 5


Process finished with exit code -1


总结

最近工作比较忙,更新的频率会有所下降。本文主要是自己记录一下,方便查阅。


分享:


       当人一旦从危险里跳出来,他就不再去关注这个事物的危险了,他的目光就会全部落在这个事物的利益上。——《遥远的救世主》


如果本文对你有用的话,点个赞吧,谢谢!


相关文章
|
6天前
|
设计模式 开发框架 数据库
Python Web开发主要常用的框架
【5月更文挑战第12天】Python Web开发框架包括Django、Flask、Tornado和Pyramid。Django适用于复杂应用,提供ORM、模板引擎等全套功能;Flask轻量级,易于扩展,适合小型至中型项目;Tornado擅长处理高并发,支持异步和WebSockets;Pyramid灵活强大,可适配多种数据库和模板引擎,适用于各种规模项目。选择框架需依据项目需求和技术栈。
123 2
|
1天前
|
IDE Java 开发工具
初学 Python 需要安装哪些软件?超级实用,小白必看!_python框架下其他软件
初学 Python 需要安装哪些软件?超级实用,小白必看!_python框架下其他软件
初学 Python 需要安装哪些软件?超级实用,小白必看!_python框架下其他软件
|
1天前
|
缓存 API 数据库
构建高效Python Web应用:Flask框架与RESTful API设计原则
【5月更文挑战第20天】 在现代Web开发中,构建一个轻量级且高效的后端服务至关重要。本文将深入探讨如何使用Python的Flask框架结合RESTful API设计原则来创建可扩展和易于维护的Web应用程序。我们将通过分析Flask的核心特性,以及如何利用它来实现资源的合理划分、接口的版本控制和请求处理优化等,来指导读者打造高性能的API服务。文中不仅提供了理论指导,还包括了实践案例,旨在帮助开发者提升开发效率,并增强应用的稳定性和用户体验。
|
4天前
|
iOS开发 Python
mac:python安装路径,带你全面解析Python框架体系架构view篇
mac:python安装路径,带你全面解析Python框架体系架构view篇
|
4天前
|
Java 测试技术 Python
Python的多线程允许在同一进程中并发执行任务
【5月更文挑战第17天】Python的多线程允许在同一进程中并发执行任务。示例1展示了创建5个线程打印"Hello World",每个线程调用同一函数并使用`join()`等待所有线程完成。示例2使用`ThreadPoolExecutor`下载网页,创建线程池处理多个URL,打印出每个网页的大小。Python多线程还可用于线程间通信和同步,如使用Queue和Lock。
17 1
|
5天前
|
数据处理 Python
Python并发编程:实现高效的多线程与多进程
Python作为一种高级编程语言,提供了强大的并发编程能力,通过多线程和多进程技术,可以实现程序的并发执行,提升系统的性能和响应速度。本文将介绍Python中多线程和多进程的基本概念,以及如何利用它们实现高效的并发编程,解决实际开发中的并发性问题。
|
6天前
|
Web App开发 设计模式 测试技术
python自动化测试实战 —— 自动化测试框架的实例
python自动化测试实战 —— 自动化测试框架的实例
19 0
|
6天前
|
监控 数据可视化 IDE
python自动化测试实战 —— 单元测试框架
python自动化测试实战 —— 单元测试框架
20 2
|
6天前
|
Java 测试技术 数据库连接
【如何学习Python自动化测试】—— Python 的 unittest 框架
【如何学习Python自动化测试】—— Python 的 unittest 框架
8 0
|
6天前
|
JSON 监控 调度
局域网管理软件的自动化任务调度:Python 中的 APScheduler 库的应用
使用 Python 的 APScheduler 库可简化局域网管理中的自动化任务调度。APScheduler 是一个轻量级定时任务调度库,支持多种触发方式如间隔、时间、日期和 Cron 表达式。示例代码展示了如何创建每 10 秒执行一次的定时任务。在局域网管理场景中,可以利用 APScheduler 定期监控设备状态,当设备离线时自动提交数据到网站,提升管理效率。
40 0