【Python零基础入门篇 · 24】:协程和IO操作的简单理解、greenlet协程模块的使用、gevent模块的使用、程序打补丁、总结

简介: 【Python零基础入门篇 · 24】:协程和IO操作的简单理解、greenlet协程模块的使用、gevent模块的使用、程序打补丁、总结

一、协程和IO操作的简单理解


1、协程的理解


协程,又称微线程,纤程。英文名Coroutine。


协程是python个中另外一种实现多任务的方式,只不过比线程更小占用更小执行单元(理解为需要的资源)。 为啥说它是一个执行单元,因为它自带CPU上下文。这样只要在合适的时机, 我们可以把一个协程 切换到另一个协程。 只要这个过程中保存或恢复 CPU上下文那么程序还是可以运行的。


通俗的理解: 在一个线程中的某个函数,可以在任何地方保存当前函数的一些临时变量等信息,然后切换到另外一个函数中执行,注意不是通过调用函数的方式做到的,并且切换的次数以及什么时候再切换到原来的函数都由开发者自己确定。


适用场景:如果一个线程里面IO操作(网络等待、文件操作)比较多,协程就比较适用,适用于高并发处理。


2、简单实现协程

d516cc65fd244eeb8c5693955ead3c8e.png


3、IO操作的简单理解


IO就是input/output,也就是输入和输出。


常见的IO操作:文件操作、网络等待




二、greenlet协程模块的使用


greenlet:是一个用C实现的协程模块,通过switch()来实现任务函数间的切换。


greenlet属于手动切换任务,当遇到IO操作,程序会阻塞,而不能进行自动切换。


greenlet为第三方库模块,需要在Terminal中输入下载命令:pip install greenlet


1、通过greenlet实现任务切换


导入模块:from greenlet import greenlet


实例化协程对象:greenlet(任务名)


下图代码逻辑


代码执行到g1.switch()时转换到eat()函数中运行,当执行到g2.switch()时任务切换到study()函数中运行

8dec099da231409ebe1803903eed35e0.png



三、gevent模块的使用


原理是当一个greenlet遇到IO(指的是input output 输入输出,比如网络、文件操作等)操作时,比如访问网络,就自动切换到其他的greenlet,等到IO操作完成,再在适当的时候切换回来继续执行。 由于IO操作非常耗时,经常使程序处于等待状态,有了gevent为我们自动切换协程,就保证总有greenlet在运行,而不是等待IO。


gevent遇到IO操作,会进行自动切换,属于主动式切换。在gevent中用到的主要模式是greenlet


1、grevent的使用


  • gevent.spawn(函数名)——创建协程对象


  • join()——阻塞,等待某个协程执行完毕


  • joinall(参数)——参数是一个协程对象列表,会等待所有的协程都执行完毕再退出



2、gevent模块中自带了sleep耗时函数


执行A/B两个任务,当A、B遇到耗时操作,gevent会让A继续执行,同时也开始执行B任务。


A完成了耗时操作后,B在对应的时间也完成了耗时操作。


c4d0e98a553e46a78a6edfb13a66de1a.png


3、joinall()的使用


9a5d1cbe86a24724aa5eec717751cf87.png


四、程序打补丁


猴子补丁功能:拥有在模块运行时的替换能力


  • 导入模块:from gevent import monkey

532e197e3e134f7d9e4a0d679000c34c.png


五、总结



1、进程是资源分配的基本单位,线程是CPU调度的基本单位。


2、对比

  • 进程:切换需要的资源较大,效率低


  • 线程:切换需要的资源一般,效率一般


  • 协程:切换需要的资源很小,效率高


多线程适合IO密集型操作(读写数据操作多的)


多进程适合CPU密集型操作(科学计算、对视频进行高清解码等)


相关文章
|
14天前
|
Python
高阶函数如`map`, `filter`, `reduce`和`functools.partial`在Python中用于函数操作
【6月更文挑战第20天】高阶函数如`map`, `filter`, `reduce`和`functools.partial`在Python中用于函数操作。装饰器如`@timer`接收或返回函数,用于扩展功能,如记录执行时间。`timer`装饰器通过包裹函数并计算执行间隙展示时间消耗,如`my_function(2)`执行耗时2秒。
16 3
|
7天前
|
PHP 调度 容器
Swoole 源码分析之 Coroutine 协程模块
协程又称轻量级线程,但与线程不同的是;协程是用户级线程,不需要操作系统参与。由用户显式控制,可以在需要的时候挂起、或恢复执行。
Swoole 源码分析之 Coroutine 协程模块
|
11天前
|
数据挖掘 程序员 调度
Python并发编程之协程与异步IO
传统的多线程和多进程模型在处理大规模并发时存在一些性能瓶颈和资源消耗问题。本文将重点介绍Python中基于协程和异步IO的并发编程方法,探讨其工作原理和实际应用,帮助开发者更好地理解并利用Python的并发编程能力。
|
4天前
|
数据采集 算法 数据处理
Python并发编程:异步IO与多线程的比较与应用
本文探讨了Python中异步IO和多线程两种并发编程模型的优劣及其在实际应用中的适用性。通过比较它们在性能、资源消耗和代码复杂度等方面的差异,分析了不同场景下选择合适的并发模型的策略和方法。
|
8天前
|
开发框架 并行计算 安全
Python的GIL限制了CPython在多核下的并行计算,但通过替代解释器(如Jython, IronPython, PyPy)和多进程、异步IO可规避
【6月更文挑战第26天】Python的GIL限制了CPython在多核下的并行计算,但通过替代解释器(如Jython, IronPython, PyPy)和多进程、异步IO可规避。Numba、Cython等工具编译优化代码,未来社区可能探索更高级的并发解决方案。尽管GIL仍存在,现有策略已能有效提升并发性能。
16 3
|
8天前
python+Pycharm+selenium操作浏览器(Chorme或Edge)
python+Pycharm+selenium操作浏览器(Chorme或Edge)
19 1
|
9天前
|
jenkins 持续交付 API
使用Python操作Jenkins的过程详解
Python作为一种简洁、灵活且功能丰富的编程语言,可以与各种API轻松集成,Jenkins的API也不例外。借助于Python中的python-jenkins模块,我们可以轻松地编写脚本来连接到Jenkins服务器,并执行各种操作,如创建、删除、构建Jobs等。这种自动化的方式不仅提高了效率,还使得CI/CD流程更加灵活和可控。
|
14天前
|
SQL Oracle 关系型数据库
Python连接数据库进行数据查询的操作代码
mysql数据库(mariadb) 连接数据库 首先,你需要使用MySQLdb.connect()函数建立与MySQL数据库的连接。你需要提供数据库服务器的地址(host),用户名(user),密码(passwd),以及你想要操作的数据库名称(db)。 创建Cursor对象 一旦建立了数据库连接,你可以使用连接对象的cursor()方法来创建一个cursor对象。这个方法返回一个cursor实例,你可以使用这个实例来执行SQL查询和命令。
|
1天前
|
API Python
Python学习日记(二:函数和逻辑操作)
Python中的函数和逻辑操作至关重要。函数包括可变和不可变参数。
|
4天前
|
SQL 分布式计算 DataWorks
DataWorks产品使用合集之对于Hologres的Python查询,该如何操作
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
12 0

相关实验场景

更多