Python:从头创建 Asyncio (1)

简介: Python:从头创建 Asyncio (1)

引言

现在,asyncio 已成为 Python 社区中的热门话题,并且名副其实——它提供了一种非常出色的处理 I/O 密集型程序的方法!在我探索 asyncio 的过程中,我起初并不太明白它的工作原理。但随着深入学习,我意识到 asyncio 实际上是在 Python 生成器的基础上增加了一层非常便利的封装。

本文中,我将展示如何仅用 Python 生成器来构建一个 asyncio 的简化模型。接着,我会演示如何利用 await 魔法方法,将示例代码改写为使用 async 和 await 关键字。最终,我会将我的简化版本替换为官方的 asyncio 库。通过这个过程,我相信你将对 asyncio 的神奇之处有一个更深入的理解。

生成器

如果您已经熟悉生成器,请跳过这一部分,但如果您不熟悉,那么 asyncio 就是基于它构建的,因此了解它们的工作原理非常重要。

首先,生成器之所以存在,是因为它们可以让你的代码更加内存高效。想象一下,如果您有以下循环:

for i in range(100_000_000):
    print(i)

如果 range 函数不是以生成器的形式存在,而是返回一个列表让你去遍历,那么类似上面例子的代码在内存使用上将非常浪费,因为你需要创建一个包含高达 1 亿个元素的列表。但是,由于 range 在 Python 3 或更高版本中是一个生成器,你只需在需要时逐个生成数字,而不必将整个序列一次性加载到内存中。

创建生成器有多种方法,但本文将重点介绍生成器函数。生成器函数的声明与其他函数无异,但它使用 yield 语句来逐个返回数据。这个 yield 语句将普通函数转变为一个可以按需暂停和恢复执行状态的生成器,这通过调用 next(iterator) 来实现。

例如,下面是一个生成器函数的示例:

def generator():
   yield 'hello'
   yield 'world'

iterator = generator()

当您调用生成器时,它不会像 Python 通常那样运行函数内部的代码,而是会看到yield 关键字,因此返回一个生成器对象。一旦我们有了生成器对象,我们就可以调用 next(iterator),它将运行函数的代码,直到第一个/下一个yield语句:

print(next(iterator))  # Output: hello
print(next(iterator))  # Output: world

如果我们尝试再次调用 next(iterator),生成器将引发 StopIteration 异常,因为生成器函数中不再有yield 语句。
Python 生成器的另一个很酷的功能是yield from,它允许生成器调用子生成器或可迭代对象,使您能够创建生成器链!

def generator():
   yield 'hello'

def another_generator():
   yield from generator()

iterable = another_generator()
print(next(iterable))  # Output: hello

生成器的功能远不止我提到的这些,例如生成器推导式,它与列表推导式类似,但使用的是圆括号而非方括号,还有通过 iterator.send(value) 方法向生成器传递数据的功能。不过,对于本文而言,最关键的是理解生成器能够让函数在执行过程中暂停和恢复,同时保持其内部状态。

事件循环

事件循环是 asyncio 的心脏,负责驱动和管理所有当前任务的执行,我们将首先用生成器来模拟它。虽然 asyncio 的事件循环是用 C 语言实现的,但我们可以将其想象成一个容器,里面存放着所有活跃的任务。目前,我们把这些任务看作是生成器对象。事件循环管理器会依次遍历容器中的任务,并通过调用 next(task) 函数来执行它们。当任务执行到 I/O 操作,比如等待(sleep)时,它会使用 yield 关键字来挂起当前的执行流程,并将控制权交还给事件循环,后者随后会转向执行队列中的下一个任务。

举个例子,我们有两个任务,它们首先打印出自己的任务编号,然后执行 yield 操作,这会导致它们的执行被挂起。因为事件循环管理器负责调用 next() 函数,所以在任务执行 yield 后,管理器会重新获得控制权,并继续执行循环中的下一个任务。

def task1():
   while True:
       print('Task 1')
       yield

def task2():
   while True:
       print('Task 2')
       yield

event_loop = [task1(), task2()]

while True:
   for task in event_loop:
       next(task)

随后,该代码的输出将如下所示,并且将永远持续下去,因为由于 while True 循环,两个生成器函数都永远不会完成。

Task 1
Task 2
Task 1
Task 2
…

Python Books

Python 电子书 自取链接:https://pan.quark.cn/s/b5b00664b0c0

相关文章
|
2月前
|
Python
Python中的异步编程:理解并使用asyncio和aiohttp
【8月更文挑战第24天】在Python中,异步编程是一个强大的工具,它可以帮助我们编写出高性能的网络应用。本文将介绍Python的异步编程库asyncio和aiohttp,并通过示例代码展示如何使用它们来创建一个简单的HTTP服务器。我们将看到,通过使用这些库,我们可以在不阻塞主线程的情况下处理大量的并发请求。
|
3天前
|
数据处理 开发者 Python
浅析Python中的异步编程:从asyncio到Tornado
Python的异步编程是提升应用性能的关键。本文从Python的异步编程概念入手,探讨了asyncio库的使用及其在实际开发中的应用,并分析了Tornado框架的异步模型,以及如何将异步思维运用于实际项目中。
|
6天前
|
调度 开发者 Python
Python中异步编程的魔法:深入理解asyncio和aiohttp
【9月更文挑战第26天】本文旨在探索Python语言中的异步编程世界,通过深入浅出的方式介绍核心库asyncio和流行的HTTP客户端aiohttp。我们将从基础概念入手,逐步过渡到高级应用,揭示如何在不阻塞主线程的情况下实现高效并发操作。文章不仅提供理论框架,还附带实战代码示例,让读者能够快速掌握并应用到实际项目中。
14 3
|
7天前
|
程序员 API 开发者
探索Python中的异步编程:从asyncio到Trio
在本文中,我们将深入探讨Python的异步编程世界。不同于传统摘要的枯燥介绍,我们将通过一个虚构的故事,讲述一个名叫艾丽的程序员如何在一个周末的编程马拉松中,通过使用Python的asyncio库解决了一个复杂的并发问题,并在最后意外发现了Trio库,从而开启了她对异步编程的新理解。
|
10天前
|
调度 开发者 Python
探索Python中的异步编程:理解asyncio和协程
【9月更文挑战第22天】在现代软件工程中,异步编程是提升应用性能的关键技术之一。本文将深入探讨Python语言中的异步编程模型,特别是asyncio库的使用和协程的概念。我们将了解如何通过事件循环和任务来处理并发操作,以及如何用协程来编写非阻塞的代码。文章不仅会介绍理论知识,还会通过实际的代码示例展示如何在Python中实现高效的异步操作。
|
10天前
|
设计模式 数据处理 调度
Python中的异步编程:理解并使用Asyncio
【9月更文挑战第22天】在Python中,传统的同步编程模式可能会遇到性能瓶颈,特别是在处理I/O密集型任务时。异步编程提供了一种高效处理并发任务的方法,而asyncio是Python中实现异步编程的库之一。本文将深入介绍asyncio的基本概念、使用方法和实际案例,帮助初学者理解如何在Python中使用异步编程来提升程序的性能和响应性。
13 3
|
14天前
|
开发者 Python
探索Python中的异步编程:理解Asyncio和协程
【9月更文挑战第18天】在Python的世界中,异步编程是一个强大而神秘的概念。它像是一把双刃剑,掌握得好可以大幅提升程序的效率和性能;使用不当则可能让代码变得难以维护和理解。本文将带你一探究竟,通过深入浅出的方式介绍Python中asyncio库和协程的基本概念、使用方法及其背后的原理,让你对异步编程有一个全新的认识。
|
2月前
|
数据采集 调度 开发者
Python并发编程:异步编程(asyncio模块)
本文详细介绍了 Python 的 asyncio 模块,包括其基础概念、核心组件、常用功能等,并通过多个示例展示了如何在实际项目中应用这些技术。通过学习这些内容,您应该能够熟练掌握 Python 中的异步编程,提高编写并发程序的能力。 异步编程可以显著提高程序的响应速度和并发处理能力,但也带来了新的挑战和问题。在使用 asyncio 时,需要注意合理设计协程和任务,避免阻塞操作,并充分利用事件循环和异步 I/O 操作。
|
2月前
|
调度 数据库 UED
Python使用asyncio包实现异步编程方式
异步编程是一种编程范式,用于处理程序中需要等待异步操作完成后才能继续执行的情况。 异步编程允许程序在执行耗时的操作时不被阻塞,而是在等待操作完成时继续执行其他任务。 这对于处理诸如文件 I/O、网络请求、定时器等需要等待的操作非常有用。
|
2月前
|
数据采集 设计模式 数据处理
探索Python中的异步编程:使用asyncio和aiohttp构建高性能Web爬虫
【8月更文挑战第27天】在数字时代的浪潮中,数据抓取技术成为获取网络信息的重要手段。本文将引导读者步入Python异步编程的殿堂,详细探讨如何使用asyncio库和aiohttp模块来构建一个高性能的Web爬虫。文章不仅提供理论知识,还通过实际代码示例,展示如何实现非阻塞I/O操作,从而显著提高程序执行效率,让数据处理变得更加迅速和高效。
下一篇
无影云桌面