Python使用asyncio包实现异步编程方式

简介: 异步编程是一种编程范式,用于处理程序中需要等待异步操作完成后才能继续执行的情况。异步编程允许程序在执行耗时的操作时不被阻塞,而是在等待操作完成时继续执行其他任务。这对于处理诸如文件 I/O、网络请求、定时器等需要等待的操作非常有用。

一、异步编程

异步编程是一种编程范式,用于处理程序中需要等待异步操作完成后才能继续执行的情况。


异步编程允许程序在执行耗时的操作时不被阻塞,而是在等待操作完成时继续执行其他任务。


这对于处理诸如文件 I/O、网络请求、定时器等需要等待的操作非常有用。



使用异步编程通常可以带来以下好处:

  • 提高程序效率和性能:异步编程使得程序在执行耗时的 I/O 操作(如网络请求、文件读写、数据库查询等)时不会被阻塞,减少了等待时间,充分利用了系统资源。
  • 改善用户体验:在 Web 开发中,异步编程可以确保服务器在处理大量并发请求时能够快速地响应用户,从而提高了 Web 应用的响应速度和用户体验。

二、async/await和asyncio包

2.1 异步函数的定义

在Python中实现异步函数的定义需要两个关键字(async和await)。

  • async:async关键字声明一个异步函数。它可以在执行过程中暂停并允许其他代码执行。当你调用一个异步函数时,它会立即返回一个协程对象而不是实际的结果。异步函数适用于执行耗时的I/O操作,例如网络请求、文件读写、数据库查询等。这些操作通常涉及到等待外部资源的响应或者数据的传输,而在等待的过程中,CPU可以执行其他任务,从而提高程序的效率。
  • await:await关键字在Python中用于等待一个异步操作完成。当调用异步函数时,使用await关键字可以暂时挂起当前的异步函数的执行,将CPU控制权还给事件循环(Event Loop)。接着事件循环可以将执行权转移到其他任务上,而不是一直等待当前的异步函数完成。当被await的异步操作完成后,事件循环会通知原来的异步函数,使得它可以继续执行后续的操作。


在Python中异步函数的定义需要同时满足以下两个条件:

  • 使用async def关键字声明函数。
  • 函数内部包含异步操作,并且使用了await关键字等待异步操作完成。如果一个函数中只使用了async def声明,但其中任何异步操作,也没有使用await关键字,那么它实际上就是一个普通的同步函数,而不是一个异步函数。

2.2 事件循环

事件循环(Event Loop)是异步编程中负责管理和调度异步任务执行的机制。


事件循环的工作原理类似于一个持续运行的循环,它在每一轮循环中都会执行以下几个步骤:

  • 等待任务就绪: 事件循环会等待所有注册的异步任务就绪,包括等待 I/O 操作完成、等待计时器超时等。
  • 选择就绪任务:一旦有任务就绪,事件循环会选择其中一个任务进行执行。
  • 执行任务:事件循环会执行所选择的就绪任务,直到任务完成或者遇到await关键字,需要暂时挂起任务的执行。
  • 挂起任务:如果任务遇到await关键字,它会将控制权交还给事件循环,并等待 await后面的异步操作完成。
  • 继续执行其他任务:在等待await的异步操作完成的过程中,事件循环会继续执行其他就绪的任务,从而实现了并发执行的效果。
  • 异步操作完成: 当一个 await 后面的异步操作完成后,事件循环会通知原来的任务,使得它可以继续执行后续的操作。

2.3 asyncio包

asyncio包python中常用的异步编程框架,这里使用该框架完成一个简单的异步编程案例,具体如下:


import time
import datetime
import asyncio
async def async_read_file():
    print("async读文件开始:",datetime.datetime.fromtimestamp(time.time()))
    await asyncio.sleep(20)
    print("async读文件完成:",datetime.datetime.fromtimestamp(time.time()))
def computer():
    print("普通计算密集型任务:",datetime.datetime.fromtimestamp(time.time()))
    sum=0
    for i in range(1000000):
        if i%250000==0 and i!=0:
            print("普通计算密集型任务正在执行:",datetime.datetime.fromtimestamp(time.time()))
        for j in range(500):
            sum+=i+j-2*j
    print("普通计算密集型任务完成:",datetime.datetime.fromtimestamp(time.time()))
def computer2():
    print("普通CPU密集型任务:",datetime.datetime.fromtimestamp(time.time()))
    sum=0
    for i in range(1000000):
        if i%250000==0 and i!=0:
            print("普通CPU密集型任务正在执行:",datetime.datetime.fromtimestamp(time.time()))
        for j in range(5000):
            sum+=i+j-2*j
    print("普通CPU密集型任务完成:",datetime.datetime.fromtimestamp(time.time()))
async def asy_main():
    task=loop.create_task(async_read_file()) # 创建一个任务,并添加到事件循环,等待执行
    task2=loop.run_in_executor(None,computer)# 将普通函数read_file添加到事件循环中,等待执行
    task3=loop.run_in_executor(None,computer2)# 将普通函数read_file2添加到事件循环中,等待执行
    await task3
    await task2
    await task
loop=asyncio.get_event_loop() # 创建一个事件循环
loop.run_until_complete(asy_main())


其执行结果如下:


普通计算密集型任务: 2024-05-15 18:29:19.702689

普通CPU密集型任务: 2024-05-15 18:29:19.708280

async读文件开始: 2024-05-15 18:29:19.738654

普通计算密集型任务正在执行: 2024-05-15 18:29:21.441072

普通计算密集型任务正在执行: 2024-05-15 18:29:23.192585

普通计算密集型任务正在执行: 2024-05-15 18:29:24.936979

普通计算密集型任务完成: 2024-05-15 18:29:26.712930

普通CPU密集型任务正在执行: 2024-05-15 18:29:32.539679

async读文件完成: 2024-05-15 18:29:39.752731

普通CPU密集型任务正在执行: 2024-05-15 18:29:41.813872

普通CPU密集型任务正在执行: 2024-05-15 18:29:51.103737

普通CPU密集型任务完成: 2024-05-15 18:30:00.433402


从代码运行结果中可以看到,两个计算密集型的任务task2、task3和异步函数task添加到事件循环上之后,在等待异步操作task完成的过程中,CPU并没有闲着,而是在执行task2和task3的任务。


Tips:虽然当下的执行结果中写完成了computer()的计算,后完成了computer2()的计算,但多次执行上述程序的时候也出现了两个函数交替执行的结果。

为了与上述代码形成对比,执行下述代码:


import asyncio
import datetime
async def async_task(name, delay):
    print(f"Task {name} started:",datetime.datetime.now())
    await asyncio.sleep(delay)
    print(f"Task {name} finished:",datetime.datetime.now())
async def main():
    await async_task("A", 2)
    await async_task("B", 1)
    await async_task("C", 3)
asyncio.run(main())


其代码执行结果如下:


Task A started: 2024-05-21 17:45:24.324535

Task A finished: 2024-05-21 17:45:26.326109

Task B started: 2024-05-21 17:45:26.326250

Task B finished: 2024-05-21 17:45:27.327795

Task C started: 2024-05-21 17:45:27.327923

Task C finished: 2024-05-21 17:45:30.329475


从执行结果上可以看到这三个异步操作是顺序执行的,并没有同时执行。


这是因为在执行await后面的异步操作时事件循环中只有一个任务。

相关文章
|
22天前
|
开发者 Python
如何在Python中管理模块和包的依赖关系?
在实际开发中,通常会结合多种方法来管理模块和包的依赖关系,以确保项目的顺利进行和可维护性。同时,要及时更新和解决依赖冲突等问题,以保证代码的稳定性和可靠性
40 4
|
21天前
|
测试技术 Python
手动解决Python模块和包依赖冲突的具体步骤是什么?
需要注意的是,手动解决依赖冲突可能需要一定的时间和经验,并且需要谨慎操作,避免引入新的问题。在实际操作中,还可以结合使用其他方法,如虚拟环境等,来更好地管理和解决依赖冲突😉。
|
21天前
|
持续交付 Python
如何在Python中自动解决模块和包的依赖冲突?
完全自动解决所有依赖冲突可能并不总是可行,特别是在复杂的项目中。有时候仍然需要人工干预和判断。自动解决的方法主要是提供辅助和便捷,但不能完全替代人工的分析和决策😉。
|
14天前
|
Python 容器
[oeasy]python048_用变量赋值_连等赋值_解包赋值_unpack_assignment _
本文介绍了Python中变量赋值的不同方式,包括使用字面量和另一个变量进行赋值。通过`id()`函数展示了变量在内存中的唯一地址,并探讨了变量、模块、函数及类类型的地址特性。文章还讲解了连等赋值和解包赋值的概念,以及如何查看已声明的变量。最后总结了所有对象(如变量、模块、函数、类)都有其类型且在内存中有唯一的引用地址,构成了Python系统的基石。
24 5
|
22天前
|
API 调度 开发者
探索Python中的异步编程:从asyncio到Trio
本文将带你深入Python异步编程的心脏地带,从asyncio的基本概念到Trio的高级特性,我们将一起揭开Python异步编程的神秘面纱,并探讨它们如何改变我们的编程方式。
|
21天前
|
API 开发者 Python
探索Python中的异步编程:Asyncio与Tornado的对决
在这个快节奏的世界里,Python开发者面临着一个挑战:如何让代码跑得更快?本文将带你走进Python异步编程的两大阵营——Asyncio和Tornado,探讨它们如何帮助我们提升性能,以及在实际应用中如何选择。我们将通过一场虚拟的“对决”,比较这两个框架的性能和易用性,让你在异步编程的战场上做出明智的选择。
|
22天前
|
Python
Python的模块和包
总之,模块和包是 Python 编程中非常重要的概念,掌握它们可以帮助我们更好地组织和管理代码,提高开发效率和代码质量
33 5
|
21天前
|
数据可视化 Python
如何在Python中解决模块和包的依赖冲突?
解决模块和包的依赖冲突需要综合运用多种方法,并且需要团队成员的共同努力和协作。通过合理的管理和解决冲突,可以提高项目的稳定性和可扩展性
|
22天前
|
测试技术 Python
Python中的异步编程与`asyncio`库
Python中的异步编程与`asyncio`库
|
2月前
|
搜索推荐 程序员 调度
精通Python异步编程:利用Asyncio与Aiohttp构建高效网络应用
【10月更文挑战第5天】随着互联网技术的快速发展,用户对于网络应用的响应速度和服务质量提出了越来越高的要求。为了构建能够处理高并发请求、提供快速响应时间的应用程序,开发者们需要掌握高效的编程技术和框架。在Python语言中,`asyncio` 和 `aiohttp` 是两个非常强大的库,它们可以帮助我们编写出既简洁又高效的异步网络应用。
158 1