11.python并发入门(part12 初识协程)

简介:

一、协程的简介。

协程,又被称为微线程,虽然是单进程,单线程,但是在某种情况下,在python中的协程执行效率会优于多线程。

这是因为协程之间的切换和线程的切换是完全不一样的!协程的切换是由程序自身控制的(程序的开发者使用yield去进行控制,协程和协程之间的切换是可控制的,想什么时候切换就什么时候切换)。

当使用多线程时,开的线程越多,协程的优势就越明显。


协程的另一个优点,就是无需锁机制,因为协程只有一个进程,和线程,不存在多线程或者多进程之间访问公共资源的冲突,所以说,在协程中无需加锁,如果多个协程之间要操作同一个公共资源,那么只需要做个对协程的状态做一个判断就可以了。


协程其实是可以利用cpu多核或者多个cpu的,想要实现并行效果,就要使用,多进程+协程,这样既可以保证并行,又可以保证协程的高效率。

(协程的优势:1,没有锁的概念。2,协程之间互相切换开销比多线程,多进程之间要小的多!)



刚刚在前面也说过了,协程是基于函数中的yield关键字去实现的!


如果对yield关键字,或者生成器的概念不了解,请单击下面的传送门,里面有详细的介绍。

http://suhaozhi.blog.51cto.com/7272298/1909032


二、快速回顾yield与生成器的快速回顾。

上面的连接有详细介绍,在这里再次快速回顾一下。

下面是例子:

例1:

#首先定义了一个函数func1。

def func1():

    print "ok!"

    yield

#然后去调用func1这个函数。

func1()

#此时print “ok!” 到底会不会被执行?

可以试着去运行一下,其实 print "ok!"这句话是不会被执行的!

因为python在检测到一个函数中有yield关键字的时候,这个函数就已经不再是个普通的函数了,这个函数就会变成一个生成器对象。

我们可以使用type函数看到这一现象。

print type(func1())

输出的结果:

<type 'generator'>


1.关于yield实现迭代器对象的回顾。

        1.1 如果想要让生成器中的代码执行,必须只能用next函数,或者是先使用__iter__方法去获取一个   迭代器对象,然后执行这个迭代器的next方法或者send方法才可以触发生成器的执行。

     (当第一次运行一个生成器的时候!必须只能用next函数,或者是先使用__iter__方法去获取一个迭代器对象,然后执行这个迭代器的next方法去触发运行!否则会报错!)


def func1():

    print "ok!"

    yield

next(func1())    #执行了next函数后,print "ok!"这句话才真正的被执行了!

#func1().__iter__().next()  #第二种调动方法,先获取一个迭代器对象,然后在执行迭代器对象下的next方法。

输出结果:

ok!


从上面的例子可以看出,使用yield关键字创建的生成器的第一个特性,就是想触发生成器的执行,只能用next函数或者send方法来触发生成器的执行。


    1.2 yield和return一样,可以return一个返回值!

      例:

    #!/usr/local/bin/python2.7

    # -*- coding:utf-8 -*-

    def func1():

        print "ok!"

        yield [1,2,3]  #返回一个列表

    l1 = next(func1())

    print l1

    

    输出结果:

    ok!

    [1, 2, 3]


    1.3 yield的挂起特性。

    

    def func1():

        print "1"

        yield

        print "2"

        yield

        print "3"

        yield

        print "4"

    g1 = func1()

    next(g1) #第一次执行next,生成器会先执行到第一个yield关键字的位置挂起,并且保存当前运行的位置状态。

#输出结果:

1

    next(g1) #第二次执行next,生成器会从刚刚挂起的位置继续执行后面的代码,如果再次执行到yield关键字后,生成器继续保存状态后挂起。

#输出结果:

2

    next(g1) #第三次执行next,生成器会继续从刚刚挂起的位置开始运行,继续执行后面的代码,如果遇到yield,继续保存状态挂起。

#输出结果:

3

  next(g1) #第四次执行next,生成器依旧会从刚刚挂起的位置继续执行后面的代码,但是不同的是,后面没有yield了!!生成器执行完print "4"这个代码后,就会抛出一个StopIteration的异常。


    1.4 生成器的send方法,可以给yield前面的变量名赋值的特性。

    

#!/usr/local/bin/python2.7

# -*- coding:utf-8 -*-

def func1():

    print "1"

    name = yield 11111

    print name

    yield

g1 = func1()

v1 = g1.next() #如果想直接给yield左边的name变量传值,必须要先运行next然后再send!否则会报错!!

g1.send("test!!!") #通过yield给左边的name变量赋值

输出结果:

1

11111

test!!!


三、使用yield来实现最基本的协程。

个人理解,协程的底层就是基于yield去实现的,之前在说多线程的时候,有说过一个生产者消费者模型,我们可以通过yield实现协程,然后通过协程去实现这个模型。

在写基于协程的生产者消费者模型之前,先来补充几个概念:

传统的生产者消费者模型的实现,是通过一个线程去产生消息,另一个线程去取消息,如果要对公共数据进行操作,必须要加锁机制,但是一不小心可能会造成“死锁”现象。


通过协程去实现的生产者消费者模型,生产者产生消息后,直接可以通过yield跳转到消费者的函数开始执行,当消费者的函数运行完毕后,继续跳回生产者的函数继续生产,效率比多线程要高很多。

1.下面是一个使用yield关键字实现的一个简单的协程。

usr/local/bin/python2.7

# -*- coding:utf-8 -*-

#这个程序的思路是,生产者函数产生了数据之后,通过yield跳转到消费者的生成器函数,等待消费者执行完毕后

#继续切换回生产者函数进行生产.

import time

def consumer(name):  #这里的消费者函数是个生成器!

    ret = ''

    while True:

        bun_num = yield ret

        if not bun_num:

            return

        print "%s eating bun %s " %(name,bun_num)

        time.sleep(1)

        ret = 'consumer ----> go chi so u sa ma de shi ta ~!'

def produce(con):

    next(con) #第一次要先使用next函数去启动consumer生成器!(相当于通知)

    num = 0

    while num < 5:

        num = num + 1

        print  "producer --> producing %s" %(num)

        consumer_return = con.send(num) #一旦产生了数据!切换到consumer(消费者),并且,把产生的数据,发送给consumer。

        print  "producer ---> consumer return message: %s" %(consumer_return)

        #当生产者拿到了消费者的返回结果,输出的一条消息。

    con.close()  #当生产者停止生产,关闭consumer,这个close方法用于终止迭代。

if __name__ == '__main__':

    con1 = consumer("suhaozhi") #创建消费者对象

    produce(con1)

输出结果:

producer --> producing 1

suhaozhi eating bun 1 

producer ---> consumer return message: consumer ----> go chi so u sa ma de shi ta ~!

producer --> producing 2

suhaozhi eating bun 2 

producer ---> consumer return message: consumer ----> go chi so u sa ma de shi ta ~!

producer --> producing 3

suhaozhi eating bun 3 

producer ---> consumer return message: consumer ----> go chi so u sa ma de shi ta ~!

producer --> producing 4

suhaozhi eating bun 4 

producer ---> consumer return message: consumer ----> go chi so u sa ma de shi ta ~!

producer --> producing 5

suhaozhi eating bun 5 

producer ---> consumer return message: consumer ----> go chi so u sa ma de shi ta ~!

#从上面输出结果的速度来看,生产者和消费者的执行是一种并发效果。


代码分析:

首先来说consumer生成器函数,consumer(消费者)通过yield拿到了producer(生产者发来的数据),

接着又通过这个yield把处理结果返回给producer(生产者),看了上述代码,我们可以发现yield还具有和return一样的功能,执行到了yield这个关键字后,函数的运行状态就被挂起,一直等待到函数调用者下一次执行next函数或者执行send方法或者for 循环的时候,这个函数才会从上次挂起的地方继续运行。


执行完这个代码你会发现,生产者和消费者之间是协作执行的,完全没有用到锁机制。(这是因为协程和协程之间完全不会像多线程一样会抢占资源。)


四、实现协程的另一种方式(greenlet)。

greenlet是python中自带的一个协程模块,它比yield实现的协程更加灵活,简单,而且它无需将一个函数声明为生成器(generator)。

下面来介绍并演示一下greenlet的基本使用。

常用方法:

greenlet.greenlet() 生成一个greenlet对象,在生成greenlet对象之前,可以传入两个参数,分别是run和parent,run用来传入一个可调用对象,parent用来传入一个父greenlet,默认就是当前的greenlet。


greenlet.switch() 这个方法用于协程和协程之间的切换,并且,switch是可以给greenlet对象传递参数的。

下面是个greenlet基本使用的示范:

import greenlet

def func1():

    print "func1 start!"

    print "1,2,3"

    gr2.switch()  #切换到func2函数

    print "7,8,9"

    gr2.switch() 

def func2():

    print "func2 start!"

    print "4,5,6"

    gr1.switch() #切换到func1函数

    print "10,11,12"

gr1 = greenlet.greenlet(run=func1)

gr2 = greenlet.greenlet(run=func2)

gr1.switch()  #启动greenlet对象gr1.


可能会用到的方法:

gr1 = greenlet.greenlet(run=func1)

gr1.switch(*args, **kwargs)  #切换到指定函数(在例子中是func1函数),并且可以给这个函数传参数。

gr1.dead 一旦当这个greenlet对象死了,返回一个True。

gr1.bool 判断这个greenlet对象是否处于活动状态,如果是活动状态返回一个True。


五、更简单的协程实现,gevent模块。

虽然我们在python内部可以通过yield去实现一个基本的协程,但是它的功能并不是很完全,gevent提供了更加完全的功能支持。

gevent和greenlit虽然都是实现协程的模块,但是它们还是有不同之处的。

greenlit:当遇到一个I/O操作的时候(访问网络,写文件之类的),需要切换greenlit对象,等到I/O操作结束后在切回来,这样反复的来回执行。(使用greenlit模块时,你需要手动找出函数中的所有执行I/O操作的位置,手动在程序中指定切换。)


gevent:gevent和greenlit最大的不同就是,它比greenlit操作起来更简单,它可以做到自动检测I/O操作,自动去切换协程。

下面是使用示例:(一个扒网页的例子)

from gevent import monkey

monkey.patch_all() #可以理解为阻塞的类型

import gevent

import urllib

import time

def get_web(url):

    print "GET:%s" %(url)

    resp = urllib.urlopen(url)

    data = resp.geturl()

    print "%d bytes recv from %s" %(len(data),url)

start_time = time.time()

gevent.joinall([gevent.spawn(get_web, 'http://www.baidu.com/'),gevent.spawn(get_web, 'https://www.github.com/'),gevent.spawn(get_web, 'http://zhihu.com/')])

print "over! %s" %(time.time()-start_time)

   

monkey.patch_all():用过gevent就会知道,会在最开头的地方gevent.monkey.patch_all();把标准库中的thread/socket等给替换掉.这样我们在后面使用socket的时候可以跟平常一样使用,无需修改任何代码,但是它变成非阻塞的了.

注意!!Monkey patching能够使得gevent修改标准库里面大部分的阻塞式系统调用,包括socket,ssl,threading和select等模块,而变成协作式运行!!!


下面在补充一个官方文档提供的示例:

import gevent

            from gevent import socket

            urls = [‘www.google.com.hk’,’www.example.com’, ‘www.python.org’ ]

            jobs = [gevent.spawn(socket.gethostbyname, url) for url in urls]

            gevent.joinall(jobs, timeout=2)

            [job.value for job in jobs]

gevent.spawn()方法创建一些任务,然后通过gevent.joinall将任务加入到微线程执行队列中等待其完成,设置超时为2秒。执行后的结果通过检查gevent.Greenlet.value值来收集。gevent.socket.gethostbyname()函数与标准的socket.gethotbyname()有相同的接口,但它不会阻塞整个解释器,因此会使得其他的greenlets跟随着无阻的请求而执行。


关于协程的东西远远不止这么多....这只是开始...




      本文转自苏浩智 51CTO博客,原文链接:http://blog.51cto.com/suhaozhi/1926528,如需转载请自行联系原作者



相关文章
|
5天前
|
安全 Go
Golang语言goroutine协程并发安全及锁机制
这篇文章是关于Go语言中多协程操作同一数据问题、互斥锁Mutex和读写互斥锁RWMutex的详细介绍及使用案例,涵盖了如何使用这些同步原语来解决并发访问共享资源时的数据安全问题。
22 4
|
3月前
|
Go Python
使用python实现一个用户态协程
【6月更文挑战第28天】本文探讨了如何在Python中实现类似Golang中协程(goroutines)和通道(channels)的概念。文章最后提到了`wait_for`函数在处理超时和取消操作中的作
34 1
使用python实现一个用户态协程
|
14天前
|
数据处理 调度 开发者
解密Python的异步编程:协程与事件循环的实战应用
在现代应用程序开发中,异步编程已经成为提高性能和响应速度的关键技术。Python的异步编程通过协程和事件循环提供了高效处理并发任务的能力。本文将深入探讨Python中异步编程的核心概念,包括协程的基本用法、事件循环的工作机制以及如何在实际项目中应用这些技术。通过对比同步和异步编程的性能差异,读者将能够理解异步编程的优势,并学会如何在Python中实现高效的异步任务处理。
|
2月前
|
数据库 开发者 Python
实战指南:用Python协程与异步函数优化高性能Web应用
【7月更文挑战第15天】Python的协程与异步函数优化Web性能,通过非阻塞I/O提升并发处理能力。使用aiohttp库构建异步服务器,示例代码展示如何处理GET请求。异步处理减少资源消耗,提高响应速度和吞吐量,适用于高并发场景。掌握这项技术对提升Web应用性能至关重要。
67 10
|
2月前
|
数据处理 Python
深入探索:Python中的并发编程新纪元——协程与异步函数解析
【7月更文挑战第15天】Python 3.5+引入的协程和异步函数革新了并发编程。协程,轻量级线程,由程序控制切换,降低开销。异步函数是协程的高级形式,允许等待异步操作。通过`asyncio`库,如示例所示,能并发执行任务,提高I/O密集型任务效率,实现并发而非并行,优化CPU利用率。理解和掌握这些工具对于构建高效网络应用至关重要。
38 6
|
2月前
|
大数据 数据处理 API
性能飞跃:Python协程与异步函数在数据处理中的高效应用
【7月更文挑战第15天】在大数据时代,Python的协程和异步函数解决了同步编程的性能瓶颈问题。同步编程在处理I/O密集型任务时效率低下,而Python的`asyncio`库支持的异步编程利用协程实现并发,通过`async def`和`await`避免了不必要的等待,提升了CPU利用率。例如,从多个API获取数据,异步方式使用`aiohttp`并发请求,显著提高了效率。掌握异步编程对于高效处理大规模数据至关重要。
35 4
|
2月前
|
设计模式 机器学习/深度学习 测试技术
设计模式转型:从传统同步到Python协程异步编程的实践与思考
【7月更文挑战第15天】探索从同步到Python协程异步编程的转变,异步处理I/O密集型任务提升效率。async/await关键词定义异步函数,asyncio库管理事件循环。面对挑战,如思维转变、错误处理和调试,可通过逐步迁移、学习资源、编写测试和使用辅助库来适应。通过实践和学习,开发者能有效优化性能和响应速度。
40 3
|
2月前
|
调度 Python
揭秘Python并发编程核心:深入理解协程与异步函数的工作原理
【7月更文挑战第15天】Python异步编程借助协程和async/await提升并发性能,减少资源消耗。协程(async def)轻量级、用户态,便于控制。事件循环,如`asyncio.get_event_loop()`,调度任务执行。异步函数内的await关键词用于协程间切换。回调和Future对象简化异步结果处理。理解这些概念能写出高效、易维护的异步代码。
35 2
|
1月前
|
Python
python 协程 自定义互斥锁
【8月更文挑战第6天】这段代码展示了如何在Python的异步编程中自定义一个互斥锁(`CustomMutex`类)。该类通过`asyncio.Lock`实现,并提供`acquire`和`release`方法来控制锁的获取与释放。示例还包含了使用此自定义锁的场景:两个任务(`task1`和`task2`)尝试按序获取锁执行操作,直观地演示了互斥锁的作用。这有助于理解Python协程中互斥锁的自定义实现及其基本用法。
|
2月前
|
Python
从零到一:构建Python异步编程思维,掌握协程与异步函数
【7月更文挑战第15天】Python异步编程提升效率,通过协程与异步函数实现并发。从async def定义异步函数,如`say_hello()`,使用`await`等待异步操作。`asyncio.run()`驱动事件循环。并发执行任务,如`asyncio.gather()`同时处理`fetch_data()`任务,降低总体耗时。入门异步编程,解锁高效代码。
41 1