Python 异步多线程协程初探

简介: Python 异步多线程协程初探

   今天在知乎上看到一篇文章 为什么有人说 Python 多线程是鸡肋? 中Python中的多线程是单核多线程,是伪多线程!为什么会这么说?

 由于Python 中 GIL。正是这个锁能保证同时只有一个线程在运行。罪魁祸首::。但如果去掉GIL的 Python 在单线程条件下执行效率将近慢了2倍。~~如果一定要通过多线程利用多核,那只能通过C扩展来实现,不过这样就失去了Python简单易用的特点。

 当然,对于 IO 密集型的程序,Python目前对 多线程性能还是有很大地改善的。 Python 3.4引入的 asyncio 模块来实现“协程”。

协程其实也是一种线程,其开销比threading小。而且它是Python3.4引入的新标准库 asyncio。asyncio的编程模型是一个消息循环。需要从asyncio模块中直接获取一个EventLoop的引用,然后把需要执行的协程扔到EventLoop中执行,实现了异步IO。这里的EventLoop有点像线程池。

 这就使得很多 IO 操作有了更好的方式去解决,虽然Python没有真正意义上的多线程,但采用 Event Loop 来处理耗时的 IO 操作,效果非常好。

 下面简单聊聊多线程协程之间的协作:

 EventLoop 总是与 thread 共存,它只是负责接收事件,余下的由 thread 来解决,保证并发。

 下面举一个测试例子:

def task():
            for i in range(5):
                 time.sleep(1)
                 print("task--"+str(i))
        def run_loop_inside_thread(loop):
            loop.run_forever()
        new_loop = asyncio.new_event_loop()
        asyncio.set_event_loop(new_loop)
        loop = asyncio.get_event_loop()
        threading.Thread(target=run_loop_inside_thread, args=(loop,)).start()
        loop.call_soon_threadsafe(task)
        return "finish"

image.gif

上面的例子,主要是在主线程中创建一个new_loop,然后在另外的子线程中开启一个无限事件循环。主线程通过call_soon_threadsafe新注册协程对象。这样就能在子线程中进行事件循环的并发操作,同时主线程又不会被block。

如果想传参的话,则可如下面所写:(传参6到more_work方法中)

.call_soon_threadsafe(more_work, 6)

image.gif

其中:

event_loopasyncio 的起点,是执行所有事件的起点

通过 loop.run_forever() + loop.call_* 实现对事件的调度

 如果不加

new_loop = asyncio.new_event_loop()
asyncio.set_event_loop(new_loop)

image.gif

则会报错:RuntimeError: There is no current event loop in thread 'Thread-1'。为什么会这样?根据asyncio的文档介绍,asyncio的事件循环不是线程安全的,一个event loop只能在一个线程内调度和执行任务,并且同一时间只有一个任务在运行。

 处于非主线程时,还需要调用set_event_loop方法指定一个event loop对象,这样get_event_loop才会获取到被标记的event loop对象

 但如果你只是运行 一个只有主线程的demo 的话,会发现 asyncio.get_event_loop()来获取 event_loop,是没问题的。

 上面的例子中的call_soon_threadsafe是asynico在多线程情况下专门针对线程安全的调用的解决方案。一般如果event loop在主线程中运行的话,子线程是不能使用它来调度任务。

 值得注意点是:在非阻塞的情况下,多线程是同步的代表,而协程是异步的代表。二者都可以开启多个线程。在多线程中,多个线程会竞争谁先运行,一个等待结束也不会去通知主程序,这样没有章法的随机运行会造成一些资源浪费。而在协程中,多个线程(称为微线程)的调用和等待都是通过明确代码组织的。协程就像目标明确地执行一个又一个任务,而多线程则会在竞争过程中性能有所降低。



相关文章
|
4月前
|
数据采集 存储 C++
Python异步爬虫(aiohttp)加速微信公众号图片下载
Python异步爬虫(aiohttp)加速微信公众号图片下载
|
21天前
|
Java 调度 数据库
Python threading模块:多线程编程的实战指南
本文深入讲解Python多线程编程,涵盖threading模块的核心用法:线程创建、生命周期、同步机制(锁、信号量、条件变量)、线程通信(队列)、守护线程与线程池应用。结合实战案例,如多线程下载器,帮助开发者提升程序并发性能,适用于I/O密集型任务处理。
178 0
|
3月前
|
数据采集 消息中间件 并行计算
Python多线程与多进程性能对比:从原理到实战的深度解析
在Python编程中,多线程与多进程是提升并发性能的关键手段。本文通过实验数据、代码示例和通俗比喻,深入解析两者在不同任务类型下的性能表现,帮助开发者科学选择并发策略,优化程序效率。
213 1
|
3月前
|
传感器 数据采集 监控
Python生成器与迭代器:从内存优化到协程调度的深度实践
简介:本文深入解析Python迭代器与生成器的原理及应用,涵盖内存优化技巧、底层协议实现、生成器通信机制及异步编程场景。通过实例讲解如何高效处理大文件、构建数据流水线,并对比不同迭代方式的性能特点,助你编写低内存、高效率的Python代码。
177 0
|
4月前
|
数据采集 监控 调度
干货分享“用 多线程 爬取数据”:单线程 + 协程的效率反超 3 倍,这才是 Python 异步的正确打开方式
在 Python 爬虫中,多线程因 GIL 和切换开销效率低下,而协程通过用户态调度实现高并发,大幅提升爬取效率。本文详解协程原理、实战对比多线程性能,并提供最佳实践,助你掌握异步爬虫核心技术。
|
4月前
|
数据采集 存储 Java
多线程Python爬虫:加速大规模学术文献采集
多线程Python爬虫:加速大规模学术文献采集
|
3月前
|
Go 调度 Python
Golang协程和Python协程用法上的那些“不一样”
本文对比了 Python 和 Go 语言中协程的区别,重点分析了调度机制和执行方式的不同。Go 的协程(goroutine)由运行时自动调度,启动后立即执行;而 Python 协程需通过 await 显式调度,依赖事件循环。文中通过代码示例展示了两种协程的实际运行效果。
174 7
|
2月前
|
数据采集 网络协议 API
协程+连接池:高并发Python爬虫的底层优化逻辑
协程+连接池:高并发Python爬虫的底层优化逻辑
|
Go Python
使用python实现一个用户态协程
【6月更文挑战第28天】本文探讨了如何在Python中实现类似Golang中协程(goroutines)和通道(channels)的概念。文章最后提到了`wait_for`函数在处理超时和取消操作中的作
213 1
使用python实现一个用户态协程
|
调度 Python
python3 协程实战(python3经典编程案例)
该文章通过多个实战案例介绍了如何在Python3中使用协程来提高I/O密集型应用的性能,利用asyncio库以及async/await语法来编写高效的异步代码。
273 0

推荐镜像

更多