Gevent 超好用的协程库!| Python 主题月

简介: Gevent 超好用的协程库!| Python 主题月

背景


因为 Python 线程的性能问题,在 Python 中使用多线程运行代码经常不能达到预期的效果。而实际开发中我们经常有高并发的需求,这就要求我们的代码在跑的更快的同时需要单位时间内执行更多的有效逻辑、减少无用的等待。


什么是协程?


我们可以认为线程是轻量级的进程,所以你也可以理解协程是轻量级的线程。协程即在一个线程执行 A 函数时可以随时中断去执行 B 函数,可以自由切换。但这个过程并不是函数调用,现象和多线程一样,实际上是一个线程。其中 geventPython 协程的一个经典实现。


什么是 gevent?


geventPython 的一个并发框架,基于 greenlet 实现,使用了 epoll 事件监听机制以及诸多其他优化而变得高效。其基本思想就是一个 greenlet 就是一个协程,当 greenlet 遇到 IO 操作时,比如访问网络,就会自动切换到其他的 greenlet,等待 IO 完成再切换回来继续执行。gevent 可以帮我们自动实现这个协程切换的过程。


协程的例子


代码:


import gevent,time
def f1():
    for i in range(5):
        print('function:@@@f1 | NUM: @@@',i)
        # 此处阻塞,gevent会帮我们切换到其他协程去↓
        gevent.sleep(0)
def f2():
    for i in range(5):
        print('function:@@@f2 | NUM: @@@',i)
        # 此处阻塞,gevent会帮我们切换到其他协程去↑
        gevent.sleep(0)
# 创建两个协程对象,分别去执行两个函数
xc1=gevent.spawn(f1)
xc2=gevent.spawn(f2)
# 将协程们交给gevent去执行
gevent.joinall([xc1,xc2])
复制代码


执行结果:


function:@@@f1 | NUM: @@@ 0
function:@@@f2 | NUM: @@@ 0
function:@@@f1 | NUM: @@@ 1
function:@@@f2 | NUM: @@@ 1
function:@@@f1 | NUM: @@@ 2
function:@@@f2 | NUM: @@@ 2
function:@@@f1 | NUM: @@@ 3
function:@@@f2 | NUM: @@@ 3
function:@@@f1 | NUM: @@@ 4
function:@@@f2 | NUM: @@@ 4
复制代码


如上,当 gevent 帮我们执行两个协程的时候,首先 xc1 执行到 gevent.sleep(0)时发生阻塞,此时,gevent 帮我们将切换到 xc2xc2 执行到 gevent.sleep(0)时又发生了阻塞,此时,gevent 又帮我们将切换到 xc1 去执行。


Q&A


Q:gevent 无法捕获的耗时


代码:


import gevent,time
def f1():
    for i in range(5):
        print('function:@@@f1 | NUM: @@@',i)
        # 注意这里
        time.sleep(0.1)
def f2():
    for i in range(5):
        print('function:@@@f2 | NUM: @@@',i)
        # 注意这里
        time.sleep(0.1)
# 创建两个协程对象,分别去执行两个函数
xc1=gevent.spawn(f1)
xc2=gevent.spawn(f2)
# 将协程们交给gevent去执行
gevent.joinall([xc1,xc2])
复制代码


执行结果:


function:@@@f1 | NUM: @@@ 0
function:@@@f1 | NUM: @@@ 1
function:@@@f1 | NUM: @@@ 2
function:@@@f1 | NUM: @@@ 3
function:@@@f1 | NUM: @@@ 4
function:@@@f2 | NUM: @@@ 0
function:@@@f2 | NUM: @@@ 1
function:@@@f2 | NUM: @@@ 2
function:@@@f2 | NUM: @@@ 3
function:@@@f2 | NUM: @@@ 4
复制代码


如上,你会发现,time.sleep(0.1)耗费的时间,gevent 无法捕捉,导致代码是串行的,虽然我们创建了协程,但是并没有起到异步的作用。

怎么办呢?请看下面的解决方案。


A:猴子补丁


对于无法捕获的耗时,gevent 为我们提供了猴子补丁,当我们为我们的程序打了猴子补丁,那么当我们的程序遇到任何耗时的操作,gevent 都会帮我们去自动切换协程,从而实现异步高并发。


代码:


import gevent,time
from gevent import monkey;monkey.patch_all()
def f1():
    for i in range(5):
        print('function:@@@f1 | NUM: @@@',i)
        # 注意这里
        time.sleep(0.1)
def f2():
    for i in range(5):
        print('function:@@@f2 | NUM: @@@',i)
        # 注意这里
        time.sleep(0.1)
# 创建两个协程对象,分别去执行两个函数
xc1=gevent.spawn(f1)
xc2=gevent.spawn(f2)
# 将协程们交给gevent去执行
gevent.joinall([xc1,xc2])
复制代码


执行结果:


function:@@@f1 | NUM: @@@ 0
function:@@@f2 | NUM: @@@ 0
function:@@@f1 | NUM: @@@ 1
function:@@@f2 | NUM: @@@ 1
function:@@@f1 | NUM: @@@ 2
function:@@@f2 | NUM: @@@ 2
function:@@@f1 | NUM: @@@ 3
function:@@@f2 | NUM: @@@ 3
function:@@@f1 | NUM: @@@ 4
function:@@@f2 | NUM: @@@ 4
复制代码


如上,你会发现协程的切换已经实现,问题完美解决。


实践


异步 requests 请求


代码:


from gevent import monkey;monkey.patch_all()
import gevent,time,requests
from urllib3 import disable_warnings
disable_warnings()
def req(url):
    res = requests.get(url,verify=False)
    if res:
        print('URL:{} | CODE:{}!'.format(url,res.status_code))
    else:
        print('URL:{} FAILED!')
xc1=gevent.spawn(req,'https://www.baidu.com')
xc2=gevent.spawn(req,'https://www.gitee.com')
xc3=gevent.spawn(req,'https://www.huaweicloud.com')
gevent.joinall([xc1,xc2,xc3])
复制代码


执行结果:


URL:https://www.baidu.com | CODE:200!
URL:https://www.huaweicloud.com | CODE:200!
URL:https://www.gitee.com | CODE:200!
复制代码


gevent 的锁


代码:


from gevent import monkey;monkey.patch_all()
from gevent.lock import Semaphore
import gevent,time
# 信号量设置为1
s1=Semaphore(1)
def f1():
    for i in range(5):
        # 信号量-1,即拿到锁
        s1.acquire()
        print('function:@@@f1 | NUM: @@@',i)
        # 信号量+1,即释放锁
        s1.release()
        # 猴子补丁帮忙识别阻塞
        time.sleep(0.1)
def f2():
    for i in range(5):
        # 信号量-1,即拿到锁
        s1.acquire()
        print('function:@@@f2 | NUM: @@@',i)
        # 信号量+1,即释放锁
        s1.release()
        # 猴子补丁帮忙识别阻塞
        time.sleep(0.3)
# 创建两个协程对象,分别去执行两个函数
xc1=gevent.spawn(f1)
xc2=gevent.spawn(f2)
# 将协程们交给gevent去执行
gevent.joinall([xc1,xc2])
复制代码


执行结果:


function:@@@f1 | NUM: @@@ 0
function:@@@f2 | NUM: @@@ 0
function:@@@f1 | NUM: @@@ 1
function:@@@f1 | NUM: @@@ 2
function:@@@f2 | NUM: @@@ 1
function:@@@f1 | NUM: @@@ 3
function:@@@f1 | NUM: @@@ 4
function:@@@f2 | NUM: @@@ 2
function:@@@f2 | NUM: @@@ 3
function:@@@f2 | NUM: @@@ 4
复制代码


如上,可以看到,gevent 可以自动处理锁和阻塞。按阻塞规律,f1f2 会交替执行,但是加上阻塞时间,因为 f2 的阻塞时间是 f13 倍,所以前 6 条打印中,f1 执行的次数是 f2 的三倍,即 gevent 可以自动判断和处理阻塞和锁同时存在的情况。


Tip


HTTP 的异步开发中,猴子补丁要在导入 gevent 之前打,否则会出现异常。


以上就是今天的全部内容了,感谢您的阅读,我们下节再会。

相关文章
|
10天前
|
调度 Python
python知识点100篇系列(20)-python协程与异步编程asyncio
【10月更文挑战第8天】协程(Coroutine)是一种用户态内的上下文切换技术,通过单线程实现代码块间的切换执行。Python中实现协程的方法包括yield、asyncio模块及async/await关键字。其中,async/await结合asyncio模块可更便捷地编写和管理协程,支持异步IO操作,提高程序并发性能。协程函数、协程对象、Task对象等是其核心概念。
|
26天前
|
数据处理 Python
深入探索:Python中的并发编程新纪元——协程与异步函数解析
深入探索:Python中的并发编程新纪元——协程与异步函数解析
21 3
|
2月前
|
Python
Python中的异步编程与协程实践
【9月更文挑战第28天】本文旨在通过一个简单易懂的示例,介绍如何在Python中利用asyncio库实现异步编程和协程。我们将通过代码示例来展示如何编写高效的并发程序,并解释背后的原理。
|
2月前
|
数据库 开发者 Python
实战指南:用Python协程与异步函数优化高性能Web应用
在快速发展的Web开发领域,高性能与高效响应是衡量应用质量的重要标准。随着Python在Web开发中的广泛应用,如何利用Python的协程(Coroutine)与异步函数(Async Functions)特性来优化Web应用的性能,成为了许多开发者关注的焦点。本文将从实战角度出发,通过具体案例展示如何运用这些技术来提升Web应用的响应速度和吞吐量。
25 1
|
2月前
|
调度 Python
揭秘Python并发编程核心:深入理解协程与异步函数的工作原理
在Python异步编程领域,协程与异步函数成为处理并发任务的关键工具。协程(微线程)比操作系统线程更轻量级,通过`async def`定义并在遇到`await`表达式时暂停执行。异步函数利用`await`实现任务间的切换。事件循环作为异步编程的核心,负责调度任务;`asyncio`库提供了事件循环的管理。Future对象则优雅地处理异步结果。掌握这些概念,可使代码更高效、简洁且易于维护。
23 1
|
2月前
|
调度 开发者 Python
探索Python中的异步编程:理解asyncio和协程
【9月更文挑战第22天】在现代软件工程中,异步编程是提升应用性能的关键技术之一。本文将深入探讨Python语言中的异步编程模型,特别是asyncio库的使用和协程的概念。我们将了解如何通过事件循环和任务来处理并发操作,以及如何用协程来编写非阻塞的代码。文章不仅会介绍理论知识,还会通过实际的代码示例展示如何在Python中实现高效的异步操作。
|
24天前
|
数据采集 调度 Python
Python编程异步爬虫——协程的基本原理(一)
Python编程异步爬虫——协程的基本原理(一)
13 0
|
24天前
|
数据采集 Python
Python编程异步爬虫——协程的基本原理(二)
Python编程异步爬虫——协程的基本原理(二)
21 0
|
26天前
|
Python
从零到一:构建Python异步编程思维,掌握协程与异步函数
从零到一:构建Python异步编程思维,掌握协程与异步函数
22 0
|
2月前
|
存储 算法 Java
关于python3的一些理解(装饰器、垃圾回收、进程线程协程、全局解释器锁等)
该文章深入探讨了Python3中的多个重要概念,包括装饰器的工作原理、垃圾回收机制、进程与线程的区别及全局解释器锁(GIL)的影响等,并提供了详细的解释与示例代码。
22 0