Python使用asyncio包实现异步编程方式

简介: 异步编程是一种编程范式,用于处理程序中需要等待异步操作完成后才能继续执行的情况。异步编程允许程序在执行耗时的操作时不被阻塞,而是在等待操作完成时继续执行其他任务。这对于处理诸如文件 I/O、网络请求、定时器等需要等待的操作非常有用。

1、异步编程

异步编程是一种编程范式,用于处理程序中需要等待异步操作完成后才能继续执行的情况。


异步编程允许程序在执行耗时的操作时不被阻塞,而是在等待操作完成时继续执行其他任务。


这对于处理诸如文件 I/O、网络请求、定时器等需要等待的操作非常有用。

使用异步编程通常可以带来以下好处:

  • 提高程序效率和性能:异步编程使得程序在执行耗时的 I/O 操作(如网络请求、文件读写、数据库查询等)时不会被阻塞,减少了等待时间,充分利用了系统资源。
  • 改善用户体验:在 Web 开发中,异步编程可以确保服务器在处理大量并发请求时能够快速地响应用户,从而提高了 Web 应用的响应速度和用户体验。

2、async/await和asyncio包

2.1 异步函数的定义

在Python中实现异步函数的定义需要两个关键字(asyncawait)。

  • asyncasync关键字声明一个异步函数。它可以在执行过程中暂停并允许其他代码执行。当你调用一个异步函数时,它会立即返回一个协程对象而不是实际的结果。异步函数适用于执行耗时的I/O操作,例如网络请求、文件读写、数据库查询等。这些操作通常涉及到等待外部资源的响应或者数据的传输,而在等待的过程中,CPU可以执行其他任务,从而提高程序的效率。
  • awaitawait关键字在Python中用于等待一个异步操作完成。当调用异步函数时,使用await关键字可以暂时挂起当前的异步函数的执行,将CPU控制权还给事件循环(Event Loop)。接着事件循环可以将执行权转移到其他任务上,而不是一直等待当前的异步函数完成。当被await的异步操作完成后,事件循环会通知原来的异步函数,使得它可以继续执行后续的操作。


在Python中异步函数的定义需要同时满足以下两个条件:

  • 使用async def关键字声明函数。
  • 函数内部包含异步操作,并且使用了await关键字等待异步操作完成。如果一个函数中只使用了async def声明,但其中任何异步操作,也没有使用await关键字,那么它实际上就是一个普通的同步函数,而不是一个异步函数。

2.2 事件循环

事件循环(Event Loop)是异步编程中负责管理和调度异步任务执行的机制。


事件循环的工作原理类似于一个持续运行的循环,它在每一轮循环中都会执行以下几个步骤:

  • 等待任务就绪: 事件循环会等待所有注册的异步任务就绪,包括等待 I/O 操作完成、等待计时器超时等。
  • 选择就绪任务:一旦有任务就绪,事件循环会选择其中一个任务进行执行。
  • 执行任务:事件循环会执行所选择的就绪任务,直到任务完成或者遇到await关键字,需要暂时挂起任务的执行。
  • 挂起任务:如果任务遇到await关键字,它会将控制权交还给事件循环,并等待 await后面的异步操作完成。
  • 继续执行其他任务:在等待await的异步操作完成的过程中,事件循环会继续执行其他就绪的任务,从而实现了并发执行的效果。
  • 异步操作完成: 当一个 await 后面的异步操作完成后,事件循环会通知原来的任务,使得它可以继续执行后续的操作。

2.2 asyncio包

asyncio包python中常用的异步编程框架,这里使用该框架完成一个简单的异步编程案例,具体如下:

import time
import datetime
import asyncio
async def async_read_file():
    print("async读文件开始:",datetime.datetime.fromtimestamp(time.time()))
    await asyncio.sleep(20)
    print("async读文件完成:",datetime.datetime.fromtimestamp(time.time()))
 
def computer():
    print("普通计算密集型任务:",datetime.datetime.fromtimestamp(time.time()))
    sum=0
    for i in range(1000000):
        if i%250000==0 and i!=0:
            print("普通计算密集型任务正在执行:",datetime.datetime.fromtimestamp(time.time()))
        for j in range(500):
            sum+=i+j-2*j
    print("普通计算密集型任务完成:",datetime.datetime.fromtimestamp(time.time()))
 
def computer2():
    print("普通CPU密集型任务:",datetime.datetime.fromtimestamp(time.time()))
    sum=0
    for i in range(1000000):
        if i%250000==0 and i!=0:
            print("普通CPU密集型任务正在执行:",datetime.datetime.fromtimestamp(time.time()))
        for j in range(5000):
            sum+=i+j-2*j
    print("普通CPU密集型任务完成:",datetime.datetime.fromtimestamp(time.time()))
 
async def asy_main():
    task=loop.create_task(async_read_file()) # 创建一个任务,并添加到事件循环,等待执行
    task2=loop.run_in_executor(None,computer)# 将普通函数read_file添加到事件循环中,等待执行
    task3=loop.run_in_executor(None,computer2)# 将普通函数read_file2添加到事件循环中,等待执行
    await task3
    await task2
    await task

loop=asyncio.get_event_loop() # 创建一个事件循环
loop.run_until_complete(asy_main())

其执行结果如下:


普通计算密集型任务: 2024-05-15 18:29:19.702689

普通CPU密集型任务: 2024-05-15 18:29:19.708280

async读文件开始: 2024-05-15 18:29:19.738654

普通计算密集型任务正在执行: 2024-05-15 18:29:21.441072

普通计算密集型任务正在执行: 2024-05-15 18:29:23.192585

普通计算密集型任务正在执行: 2024-05-15 18:29:24.936979

普通计算密集型任务完成: 2024-05-15 18:29:26.712930

普通CPU密集型任务正在执行: 2024-05-15 18:29:32.539679

async读文件完成: 2024-05-15 18:29:39.752731

普通CPU密集型任务正在执行: 2024-05-15 18:29:41.813872

普通CPU密集型任务正在执行: 2024-05-15 18:29:51.103737

普通CPU密集型任务完成: 2024-05-15 18:30:00.433402


从代码运行结果中可以看到,两个计算密集型的任务task2、task3和异步函数task添加到事件循环上之后,在等待异步操作task完成的过程中,CPU并没有闲着,而是在执行task2和task3的任务。


Tips:虽然当下的执行结果中写完成了computer()的计算,后完成了computer2()的计算,但多次执行上述程序的时候也出现了两个函数交替执行的结果。


为了与上述代码形成对比,执行下述代码:

import asyncio
import datetime
 
async def async_task(name, delay):
    print(f"Task {name} started:",datetime.datetime.now())
    await asyncio.sleep(delay)
    print(f"Task {name} finished:",datetime.datetime.now())
 
async def main():
    await async_task("A", 2)
    await async_task("B", 1)
    await async_task("C", 3)
 
asyncio.run(main())

其代码执行结果如下:


Task A started: 2024-05-21 17:45:24.324535

Task A finished: 2024-05-21 17:45:26.326109

Task B started: 2024-05-21 17:45:26.326250

Task B finished: 2024-05-21 17:45:27.327795

Task C started: 2024-05-21 17:45:27.327923

Task C finished: 2024-05-21 17:45:30.329475


从执行结果上可以看到这三个异步操作是顺序执行的,并没有同时执行。


这是因为在执行await后面的异步操作时事件循环中只有一个任务。

相关文章
|
6天前
|
Python
手撕Python!模块、包、库,傻傻分不清?一分钟带你弄明白!
手撕Python!模块、包、库,傻傻分不清?一分钟带你弄明白!
18 1
|
6天前
|
调度 数据库 UED
Python使用asyncio包实现异步编程方式
异步编程是一种编程范式,用于处理程序中需要等待异步操作完成后才能继续执行的情况。 异步编程允许程序在执行耗时的操作时不被阻塞,而是在等待操作完成时继续执行其他任务。 这对于处理诸如文件 I/O、网络请求、定时器等需要等待的操作非常有用。
|
7天前
|
PyTorch TensorFlow 算法框架/工具
手撕Python! 模块、包和库一分钟搞定!
手撕Python! 模块、包和库一分钟搞定!
13 1
|
17天前
|
数据采集 开发者 UED
探索Python中的异步编程:从基础到实战
【8月更文挑战第2天】在Python的众多特性中,异步编程是提升程序性能和响应能力的关键工具。本文将通过实际代码示例,从理解异步编程的基本概念入手,逐步深入到高级应用,最后通过构建一个小型的异步Web爬虫项目来展示异步编程的强大之处。文章旨在为初学者提供一个清晰的学习路径,同时为有经验的开发者提供一些实用的技巧和最佳实践。
|
19天前
|
API 调度 数据库
Python中的异步编程:从基础到实战
【7月更文挑战第31天】在Python的世界里,异步编程是提高程序执行效率的利器。本文将通过具体实例,带你了解Python异步编程的基本概念、核心模块asyncio的使用方法,以及如何在实际项目中应用异步编程来提升性能。我们将一起探索协程、任务、事件循环等概念,并通过代码示例深入理解异步IO操作和并发执行的原理。准备好跟随我们的步伐,让你的Python代码运行得更快、更高效吧!
32 4
|
19天前
|
开发者 Python
Python 中异步编程的探索与实践
【7月更文挑战第31天】在Python世界中,异步编程如同一股清泉,为处理并发任务提供了新的思路。本文将深入剖析异步编程的核心概念,通过实例引导读者掌握其应用,并探讨如何在项目中高效利用这一技术。
16 2
|
19天前
|
设计模式 JSON 开发者
探索Python中的异步编程:从基础到实战 "探索Python中的装饰器:从基础到高级应用"
【7月更文挑战第31天】本文将深入探讨Python的异步编程,一种能够显著提升程序性能和响应速度的技术。我们将通过实际代码示例,从理解异步编程的基础概念开始,逐步过渡到构建一个小型异步Web应用,旨在为读者提供一套完整的异步编程知识体系和应用实践。 【7月更文挑战第31天】 在Python的世界中,装饰器是一块神奇的画布,它允许开发者在不修改原有函数代码的情况下增加额外的功能。本文将通过直观的示例和代码片段,带领读者从装饰器的基础知识出发,逐步深入到其背后的原理,最终实现自定义装饰器并应用于实战项目中。我们将一起探索装饰器如何简化代码、扩展功能,以及它们在设计模式中的应用。
13 1
|
19天前
|
调度 开发者 UED
探索Python中的异步编程:从基础到实战
【7月更文挑战第31天】在数字时代的浪潮中,高效处理并发任务已成为软件开发的关键。本文将带你深入理解Python中的异步编程概念,通过实例讲解其核心组件和执行流程,并展示如何利用异步IO提高程序性能。文章不仅涵盖理论,还提供代码示例,帮助你掌握构建高响应度应用的能力。
18 1
|
19天前
|
调度 开发者 Python
探索Python中的异步编程:从基础到进阶
【7月更文挑战第31天】在Python的世界中,异步编程是提升程序性能和响应速度的关键。本文将深入探讨异步编程的核心概念、实现方法,以及在实际项目中如何高效应用。通过具体代码示例,我们不仅能够理解其背后的原理,还能学会如何在自己的项目中灵活运用异步特性。
13 1