Python 异步: 异步迭代器(15)

简介: 迭代是 Python 中的基本操作。我们可以迭代列表、字符串和所有其他结构。

动动发财的小手,点个赞吧!

Asyncio 允许我们开发异步迭代器。我们可以通过定义一个实现 __aiter__() 和 __anext__() 方法的对象来在 asyncio 程序中创建和使用异步迭代器。

1. 什么是异步迭代器

异步迭代器是一个实现了 __aiter__() 和 __anext__() 方法的对象。在我们仔细研究异步迭代器之前,让我们回顾一下经典迭代器。

1.1. Iterators

迭代器是实现特定接口的 Python 对象。具体来说,返回迭代器实例的 __iter__() 方法和使迭代器步进一个循环并返回值的 __next__() 方法。可以使用内置函数 next() 步进迭代器或使用 for 循环遍历迭代器。许多 Python 对象是可迭代的,最值得注意的是列表等容器。

1.2. Asynchronous Iterators

异步迭代器是实现特定接口的 Python 对象。异步迭代器必须实现 __aiter__() 和 __anext__() 方法。

  • __aiter__() 方法必须返回迭代器的一个实例。
  • __anext__() 方法必须返回一个步进迭代器的可等待对象。

异步迭代器只能在 asyncio 程序中步进或遍历,例如在协程中。

可以使用 anext() 内置函数步进异步迭代器,该函数返回执行迭代器一步的可等待对象,例如一次调用 __anext__() 方法。

可以使用“async for”表达式遍历异步迭代器,该表达式将在每次迭代时自动调用 anext() 并等待返回的 awaitable 以检索返回值。

2. 什么是“async for”循环?

async for 表达式用于遍历异步迭代器。它是一个异步的 for 循环语句。异步迭代器是产生可等待对象的迭代器。您可能还记得 awaitable 是可以等待的对象,例如协程或任务。

异步生成器将自动实现异步迭代器方法,允许它像异步迭代器一样被迭代。await for 表达式允许调用者遍历 awaitable 的异步迭代器并从每个迭代器中检索结果。

这与遍历集合或等待对象列表(例如协程对象)不同,相反,必须使用预期的异步迭代器方法提供返回的等待对象。在内部,async for 循环将根据需要自动解析或等待每个可等待的调度协程。

因为它是一个 for 循环,所以它假定(尽管不要求)每个被遍历的等待对象都会产生一个返回值。async for 循环必须在协程内使用,因为它在内部会使用只能在协程内使用的 await 表达式。async for 表达式可用于在协程中遍历异步迭代器。

...
# traverse an asynchronous iterator
async for item in async_iterator:
    print(item)

这不会并行执行 for 循环。 asyncio 无法在一个 Python 线程中一次执行多个协程。

相反,这是一个异步 for 循环。不同的是,执行 for 循环的协程会暂停并在内部等待每个 awaitable。在幕后,这可能需要安排和等待协程,或者等待任务。我们也可以在列表理解中使用 async for 表达式。

...
# build a list of results
results = [item async for item async_iterator]

这将构建异步迭代器的返回值列表。

3. 如何使用异步迭代器

在本节中,我们将仔细研究如何在 asyncio 程序中定义、创建、步进和遍历异步迭代器。让我们从如何定义异步迭代器开始。

  • 定义异步迭代器

我们可以通过定义一个实现了 __aiter__() 和 __anext__() 方法的类来定义一个异步迭代器。这些方法通常在 Python 对象上定义。重要的是,因为 __anext__() 函数必须返回一个可等待对象,所以它必须使用“async def”表达式定义。迭代完成后,__anext__() 方法必须引发 StopAsyncIteration 异常。

# define an asynchronous iterator
class AsyncIterator():
    # constructor, define some state
    def __init__(self):
        self.counter = 0
 
    # create an instance of the iterator
    def __aiter__(self):
        return self
 
    # return the next awaitable
    async def __anext__(self):
        # check for no further items
        if self.counter >= 10:
            raise StopAsyncIteration
        # increment the counter
        self.counter += 1
        # return the counter value
        return self.counter

因为异步迭代器是一个协程,并且每个迭代器返回一个在 asyncio 事件循环中调度和执行的等待对象,所以我们可以在迭代器的主体内执行和等待等待对象。

...
# return the next awaitable
async def __anext__(self):
    # check for no further items
    if self.counter >= 10:
        raise StopAsyncIteration
    # increment the counter
    self.counter += 1
    # simulate work
    await asyncio.sleep(1)
    # return the counter value
    return self.counter
  • 创建异步迭代器

要使用异步迭代器,我们必须创建迭代器。这涉及正常创建 Python 对象。

...
# create the iterator
it = AsyncIterator()

这将返回一个“异步迭代器”,它是“异步迭代器”的一个实例。

  • 迭代一个异步迭代器

可以使用 anext() 内置函数遍历迭代器的一步,就像使用 next() 函数的经典迭代器一样。结果是等待的可等待对象。

...
# get an awaitable for one step of the iterator
awaitable = anext(it)
# execute the one step of the iterator and get the result
result = await awaitable

这可以一步实现。

...
# step the async iterator
result = await anext(it)
  • 遍历异步迭代器

异步迭代器也可以使用“async for”表达式在循环中遍历,该表达式将自动等待循环的每次迭代。

...
# traverse an asynchronous iterator
async for result in AsyncIterator():
    print(result)

我们还可以使用带有“async for”表达式的异步列表理解来收集迭代器的结果。

...
# async list comprehension with async iterator
results = [item async for item in AsyncIterator()]

4. 异步迭代器示例

我们可以探索如何使用“async for”表达式遍历异步迭代器。在此示例中,我们将更新之前的示例,以使用“async for”循环遍历迭代器直至完成。

此循环将自动等待从迭代器返回的每个可等待对象,检索返回值,并使其在循环体内可用,以便在这种情况下可以报告它。这可能是异步迭代器最常见的使用模式。

# SuperFastPython.com
# example of an asynchronous iterator with async for loop
import asyncio
 
# define an asynchronous iterator
class AsyncIterator():
    # constructor, define some state
    def __init__(self):
        self.counter = 0
 
    # create an instance of the iterator
    def __aiter__(self):
        return self
 
    # return the next awaitable
    async def __anext__(self):
        # check for no further items
        if self.counter >= 10:
            raise StopAsyncIteration
        # increment the counter
        self.counter += 1
        # simulate work
        await asyncio.sleep(1)
        # return the counter value
        return self.counter
 
# main coroutine
async def main():
    # loop over async iterator with async for loop
    async for item in AsyncIterator():
        print(item)
 
# execute the asyncio program
asyncio.run(main())

运行示例首先创建 main() 协程并将其用作 asyncio 程序的入口点。main() 协程运行并启动 for 循环。

异步迭代器的一个实例被创建,循环使用 anext() 函数自动单步执行它以返回一个可等待对象。然后循环等待可等待对象并检索一个值,该值可用于报告它的循环体。然后重复这个过程,挂起 main() 协程,执行迭代器和挂起的一个步骤,然后恢复 main() 协程,直到迭代器耗尽。

一旦迭代器的内部计数器达到 10,就会引发 StopAsyncIteration。这不会终止程序。相反,它由“async for”表达式预期和处理并中断循环。

这突出显示了如何使用 async for 表达式遍历异步迭代器。

1
2
3
4
相关文章
|
2月前
|
并行计算 数据处理 Python
Python并发编程迷雾:IO密集型为何偏爱异步?CPU密集型又该如何应对?
在Python的并发编程世界中,没有万能的解决方案,只有最适合特定场景的方法。希望本文能够为你拨开迷雾,找到那条通往高效并发编程的光明大道。
47 2
|
3月前
|
开发框架 并行计算 算法
揭秘Python并发神器:IO密集型与CPU密集型任务的异步革命,你竟还傻傻分不清?
揭秘Python并发神器:IO密集型与CPU密集型任务的异步革命,你竟还傻傻分不清?
50 4
|
15天前
|
数据采集 JSON 测试技术
Grequests,非常 Nice 的 Python 异步 HTTP 请求神器
在Python开发中,处理HTTP请求至关重要。`grequests`库基于`requests`,支持异步请求,通过`gevent`实现并发,提高性能。本文介绍了`grequests`的安装、基本与高级功能,如GET/POST请求、并发控制等,并探讨其在实际项目中的应用。
24 3
|
18天前
|
大数据 数据处理 开发者
Python中的迭代器和生成器:不仅仅是语法糖####
本文探讨了Python中迭代器和生成器的深层价值,它们不仅简化代码、提升性能,还促进了函数式编程风格。通过具体示例,揭示了这些工具在处理大数据、惰性求值及资源管理等方面的优势。 ####
|
2月前
|
关系型数据库 MySQL 数据处理
探索Python中的异步编程:从asyncio到异步数据库操作
在这个快节奏的技术世界里,效率和性能是关键。本文将带你深入Python的异步编程世界,从基础的asyncio库开始,逐步探索到异步数据库操作的高级应用。我们将一起揭开异步编程的神秘面纱,探索它如何帮助我们提升应用程序的性能和响应速度。
|
2月前
|
调度 Python
深入理解 Python 中的异步操作 | python小知识
在现代编程中,异步操作是一个非常重要的概念,尤其是在处理 I/O 密集型任务时。使用异步操作可以显著提高程序的性能和响应速度。Python 提供了 `async` 和 `await` 关键字,使得编写异步代码变得更加直观和简洁【10月更文挑战第8天】
31 2
|
1月前
|
存储 程序员 数据处理
深入理解Python中的生成器与迭代器###
本文将探讨Python中生成器与迭代器的核心概念,通过对比分析二者的异同,结合具体代码示例,揭示它们在提高程序效率、优化内存使用方面的独特优势。生成器作为迭代器的一种特殊形式,其惰性求值的特性使其在处理大数据流时表现尤为出色。掌握生成器与迭代器的灵活运用,对于提升Python编程技能及解决复杂问题具有重要意义。 ###
|
2月前
|
数据采集 前端开发 NoSQL
Python编程异步爬虫实战案例
Python编程异步爬虫实战案例
72 2
|
2月前
|
存储 索引 Python
Python 迭代器是怎么实现的?
Python 迭代器是怎么实现的?
35 6
|
1月前
|
NoSQL 关系型数据库 MySQL
python协程+异步总结!
本文介绍了Python中的协程、asyncio模块以及异步编程的相关知识。首先解释了协程的概念和实现方法,包括greenlet、yield关键字、asyncio装饰器和async/await关键字。接着详细讲解了协程的意义和应用场景,如提高IO密集型任务的性能。文章还介绍了事件循环、Task对象、Future对象等核心概念,并提供了多个实战案例,包括异步Redis、MySQL操作、FastAPI框架和异步爬虫。最后提到了uvloop作为asyncio的高性能替代方案。通过这些内容,读者可以全面了解和掌握Python中的异步编程技术。
47 0