Python 异步: 常见错误(22)

简介: Python 异步: 常见错误(22)

动动发财的小手,点个赞吧!

本节举例说明开发人员在 Python 中使用 asyncio 时遇到的一般错误。

1. 尝试通过调用协程来运行协程

asyncio 初学者遇到的最常见错误是像调用函数一样调用协程。

例如,我们可以使用“async def”表达式定义协程:

# custom coroutine
async def custom_coro():
    print('hi there')

然后初学者将尝试像函数一样调用这个协程,并期望打印消息被报告。

...
# error attempt at calling a coroutine like a function
custom_coro()

像调用函数一样调用协程不会执行协程体。相反,它将创建一个协程对象。然后可以在 asyncio 运行时中等待该对象,例如事件循环。

我们可以使用 asyncio.run() 函数启动事件循环来运行协程。

...
# run a coroutine
asyncio.run(custom_coro())

或者,我们可以暂停当前协程并使用“await”表达式调度另一个协程。

...
# schedule a coroutine
await custom_coro()

2. 不要让协程在事件循环中运行

如果协程未运行,您将收到如下运行时警告:

sys:1: RuntimeWarning: coroutine 'custom_coro' was never awaited

如果您创建协程对象但不安排它在 asyncio 事件循环中执行,就会发生这种情况。

例如,您可能会尝试从常规 Python 程序中调用协程:

...
# attempt to call the coroutine
custom_coro()

这不会调用协程。相反,它将创建一个协程对象。

...
# create a coroutine object
coro = custom_coro()

如果您不允许此协程运行,您将收到运行时错误。正如我们在上一节中看到的,您可以通过启动异步事件循环并将协程对象传递给它来让协程运行。

...
# create a coroutine object
coro = custom_coro()
# run a coroutine
asyncio.run(coro)

或者,在复合语句的一行中:

...
# run a coroutine
asyncio.run(custom_coro())

如果您在 asyncio 程序中遇到此错误,那是因为您已经创建了一个协程并且没有安排它执行。

这可以使用 await 表达式来实现。

...
# create a coroutine object
coro = custom_coro()
# suspend and allow the other coroutine to run
await coro

或者,您可以安排它作为任务独立运行。

...
# create a coroutine object
coro = custom_coro()
# schedule the coro to run as a task interdependently
task = asyncio.create_task(coro)

3. 使用低级 Asyncio API

初学者的一个大问题是他们使用了错误的 asyncio API。这很常见,原因有很多。

  • API 在最新版本的 Python 中发生了很大变化。
  • API 文档页面让事情变得混乱,显示了两个 API。
  • Web 上其他地方的示例混合使用不同的 API。

使用错误的 API 会使事情变得更冗长(例如更多代码)、更困难并且更难理解。

Asyncio 提供了两个 API。

  • 面向应用程序开发人员的高级 API(我们)
  • 面向框架和库开发人员(不是我们)的低级 API

较低级别的 API 为高级 API 提供了基础,包括事件循环的内部结构、传输协议、策略等。我们应该几乎总是坚持使用高级 API。我们在入门时绝对必须坚持使用高级 API。我们有时可能会深入研究低级 API 以实现特定结果。

如果您开始获取事件循环的句柄或使用“循环”变量来做事,那您就错了。通过高级 API 驱动 asyncio 一段时间。开发一些程序。熟悉异步编程和随意运行协程。

4. 过早退出主协程

asyncio 程序的一个主要混淆点是没有给任务足够的时间来完成。我们可以通过 asyncio.create_task() 方法安排许多协程在 asyncio 程序中独立运行。

主协程是 asyncio 程序的入口点,然后可以继续执行其他活动。如果主协程退出,则 asyncio 程序将终止。

即使有一个或多个协程作为任务独立运行,程序也会终止。这会让你措手不及。

您可以发出许多任务,然后让主协程恢复,期望所有发出的任务都在自己的时间内完成。相反,如果主协程没有其他事情可做,它应该等待剩余的任务。

这可以通过首先通过 asyncio.all_tasks() 函数获取一组所有正在运行的任务,从该集合中删除自身,然后通过 asyncio.wait() 函数等待剩余的任务来实现。

...
# get a set of all running tasks
all_tasks = asyncio.all_tasks()
# get the current tasks
current_task = asyncio.current_task()
# remove the current task from the list of all tasks
all_tasks.remove(current_task)
# suspend until all tasks are completed
await asyncio.wait(all_tasks)

5. 假设竞争条件和死锁是不可能的

并发编程具有特定于并发的故障模式的风险。这包括竞争条件和死锁等问题。

竞争条件涉及两个或多个并发单元同时执行相同的临界区并使资源或数据处于不一致或意外状态。这可能会导致数据损坏和数据丢失。

死锁是指并发单元等待永远不会发生的情况,例如资源变得可用。许多 Python 开发人员认为,使用 asyncio 中的协程不可能出现这些问题。

原因是任何时候在事件循环中只能运行一个协程。的确,一次只能运行一个协程。

问题是,协程可以挂起和恢复,并且可以在使用共享资源或共享变量时这样做。如果不保护关键部分,异步程序中可能会出现竞争条件。如果不仔细管理同步原语,就会发生死锁。

因此,创建 asyncio 程序以确保协程安全是很重要的,协程安全是一个类似于线程安全和进程安全的概念,适用于协程。

相关文章
|
4天前
|
数据采集 Java Python
python并发编程:Python异步IO实现并发爬虫
python并发编程:Python异步IO实现并发爬虫
24 1
|
4天前
|
算法 数据处理 Python
Python并发编程:解密异步IO与多线程
本文将深入探讨Python中的并发编程技术,重点介绍异步IO和多线程两种常见的并发模型。通过对比它们的特点、适用场景和实现方式,帮助读者更好地理解并发编程的核心概念,并掌握在不同场景下选择合适的并发模型的方法。
|
4天前
|
调度 数据库 Python
【专栏】异步IO在处理IO密集型任务中的高效性
【4月更文挑战第27天】本文介绍了Python并发编程和异步IO,包括并发的基本概念(多线程、多进程、协程),线程与进程的实现(threading和multiprocessing模块),协程的使用(asyncio模块),以及异步IO的原理和优势。强调了异步IO在处理IO密集型任务中的高效性,指出应根据任务类型选择合适的并发技术。
|
4天前
|
数据采集 数据挖掘 调度
异步爬虫实践攻略:利用Python Aiohttp框架实现高效数据抓取
本文介绍了如何使用Python的Aiohttp框架构建异步爬虫,以提升数据抓取效率。异步爬虫利用异步IO和协程技术,在等待响应时执行其他任务,提高效率。Aiohttp是一个高效的异步HTTP客户端/服务器框架,适合构建此类爬虫。文中还展示了如何通过代理访问HTTPS网页的示例代码,并以爬取微信公众号文章为例,说明了实际应用中的步骤。
|
4天前
|
API UED Python
使用Python进行异步HTTP请求的实践指南
使用Python进行异步HTTP请求的实践指南
20 4
|
4天前
|
并行计算 数据处理 开发者
Python并发编程:解析异步IO与多线程
本文探讨了Python中的并发编程技术,着重比较了异步IO和多线程两种常见的并发模型。通过详细分析它们的特点、优劣势以及适用场景,帮助读者更好地理解并选择适合自己项目需求的并发编程方式。
|
4天前
|
人工智能 算法 调度
uvloop,一个强大的 Python 异步IO编程库!
uvloop,一个强大的 Python 异步IO编程库!
37 2
|
4天前
|
API 调度 开发者
Python中的并发编程:使用asyncio库实现异步IO
传统的Python编程模式中,使用多线程或多进程实现并发操作可能存在性能瓶颈和复杂性问题。而随着Python 3.5引入的asyncio库,开发者可以利用异步IO来更高效地处理并发任务。本文将介绍如何利用asyncio库实现异步IO,提升Python程序的并发性能。
|
4天前
|
数据采集 缓存 算法
使用Python打造爬虫程序之Python中的并发与异步IO:解锁高效数据处理之道
【4月更文挑战第19天】本文探讨了Python中的并发与异步IO,区分了并发(同时处理任务)与并行(同时执行任务)的概念。Python的多线程受限于GIL,适合IO密集型任务,而多进程适用于CPU密集型任务。异步IO通过非阻塞和回调/协程实现高效IO,Python的asyncio库提供了支持。应用场景包括Web开发和网络爬虫等。实践指南包括理解任务类型、使用asyncio、避免阻塞操作、合理设置并发度和优化性能。理解并运用这些技术能提升Python程序的效率和性能。
|
4天前
|
程序员 数据库连接 索引
《Python 简易速速上手小册》第5章:Python 常见错误和异常处理(2024 最新版)
《Python 简易速速上手小册》第5章:Python 常见错误和异常处理(2024 最新版)
43 1