一日一技:在 Python 中实现延迟调用

简介: 一日一技:在 Python 中实现延迟调用

熟悉 Golang 的同学都知道,Golang 里面有一个关键词叫做defer,它可以实现延迟调用。


实际上在 Python 里面也有相关的语法,那就是contextlib.ExitStack

我们来看这样一个场景:


我有一个函数parse,它的作用是从 Redis 中持续读入数据,并写入到MongoDB 中。示例代码如下:


import json
import redis
import pymongo
client = redis.Redis()
handler = pymongo.MongoClient().test.data
def parse():
    data = client.lpop('test')
    if not data:
        return
    handler.insert_one(json.loads(data))


但现在我想增加一个需求,当Redis 读取结束或者读取数据报错的时候,能把当前的时间也写入到MongoDB 中。


那么代码可能变成下面这样:


import json
import redis
import datetime
import pymongo
client = redis.Redis()
handler = pymongo.MongoClient().test.data
def parse():
    while True:
        try:
            data = client.lpop('test')
            if not data:
                handler.insert_one({'finished': True, 'ts': datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')})
                return
            handler.insert_one(json.loads(data))
        except Exception:
            handler.insert_one({'finished': True, 'ts': datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S'})


可以看到,代码变得很难看了。


现在,我们可以使用延迟调用来让代码变得更好看。


要实现这个目的,就可以开始使用ExitStack了。它可以注册多个回调函数,在退出上下文缩进时执行。


我们先来看一个简单的例子:


import contextlib
def callback_1():
    print('我是第一个回调函数')
def callback_2(x):
    print(f'我是第二个回调函数,传入参数:{x}')
with contextlib.ExitStack() as stack:
    stack.callback(callback_1)
    stack.callback(callback_2, 100)
    print(12345)
    print('xxxx')
print('退出缩进')


运行效果如下图所示:


1.png


可以看出以下特点:


  1. 被添加的回调函数进入了一个栈,所以后添加的回调函数先调用


  1. 回调函数会在结束缩进的时候被调用


现在我们来人工构造一个异常:


2.png


可以看到,即使缩进里面出现了报错,回调函数仍然可以正常运行。等所有回调函数运行完成以后,Python 才会退出。


基于以上特点,我们就可以来重构最开始的代码了:


import json
import redis
import datetime
import pymongo
import contextlib
client = redis.Redis()
handler = pymongo.MongoClient().test.data
def add_ts():
    handler.insert_one({'finished': True, 'ts': datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')})
def parse():
    with contextlib.ExitStack() as stack:
        stack.callback(add_ts)
        while True:
            data = client.lpop('test')
            if not data:
                return
            handler.insert_one(json.loads(data))


无论是正常运行结束还是运行过程中报错,add_ts函数都会正常运行,确保始终增加一条日期数据。


请关注微信公众号【未闻Code】获取更多精彩文章。


目录
相关文章
|
数据采集 存储 开发者
如何动态调整Python爬虫的Request请求延迟
如何动态调整Python爬虫的Request请求延迟
547 13
|
10月前
|
数据采集 监控 调度
应对频率限制:设计智能延迟的微信读书Python爬虫
应对频率限制:设计智能延迟的微信读书Python爬虫
|
数据采集 JavaScript Python
如何根据目标网站调整Python爬虫的延迟时间?
如何根据目标网站调整Python爬虫的延迟时间?
|
Python
Python实现因子分析(附案例实战)
Python实现因子分析(附案例实战)
3319 0
Python实现因子分析(附案例实战)
|
网络协议 Python
python requests库如何使用http连接池降低延迟 keepalive复用连接
Python的`requests`库通过内置的连接池机制支持HTTP Keep-Alive特性,允许复用TCP连接以发送多个请求,减少连接开销。默认情况下,`requests`不显式禁用Keep-Alive,其行为取决于底层HTTP库(如urllib3)及服务器的支持。通过创建`Session`对象并自定义`HTTPAdapter`,可以调整连接池大小和重试策略,进一步优化连接复用。测试显示,使用`Session`和定制的`HTTPAdapter`比普通请求方法能显著减少连续请求间的时间消耗,体现了Keep-Alive的优势。
Python print() 打印两个 list ,实现中间换行
Python print() 打印两个 list ,实现中间换行
|
Shell 索引 Python
Python的延迟绑定是什么?
Python中的延迟绑定指的是在嵌套函数中,内部函数在被调用时才绑定外部函数的变量,而不是在定义时绑定。这可能导致意外行为,因为变量的值是在函数调用时决定的。
152 2
|
算法 大数据 Python
Leedcode 每日一练 搜索二维矩阵Ⅰ Python实现
Leedcode 每日一练 搜索二维矩阵Ⅰ Python实现
326 2
Leedcode 每日一练 搜索二维矩阵Ⅰ Python实现
|
存储 数据安全/隐私保护 计算机视觉
python 实现pacs功能 推送下拉影像
python 实现dcmtk关联pacs功能 推送下拉影像
600 0
python 实现pacs功能 推送下拉影像
|
前端开发 Python
Leecode加法题目3个 每日练习 Python实现
Leecode加法题目3个 每日练习 Python实现
319 0
Leecode加法题目3个 每日练习 Python实现

推荐镜像

更多