11.python并发入门(part12 初识协程)

简介:

一、协程的简介。

协程,又被称为微线程,虽然是单进程,单线程,但是在某种情况下,在python中的协程执行效率会优于多线程。

这是因为协程之间的切换和线程的切换是完全不一样的!协程的切换是由程序自身控制的(程序的开发者使用yield去进行控制,协程和协程之间的切换是可控制的,想什么时候切换就什么时候切换)。

当使用多线程时,开的线程越多,协程的优势就越明显。


协程的另一个优点,就是无需锁机制,因为协程只有一个进程,和线程,不存在多线程或者多进程之间访问公共资源的冲突,所以说,在协程中无需加锁,如果多个协程之间要操作同一个公共资源,那么只需要做个对协程的状态做一个判断就可以了。


协程其实是可以利用cpu多核或者多个cpu的,想要实现并行效果,就要使用,多进程+协程,这样既可以保证并行,又可以保证协程的高效率。

(协程的优势:1,没有锁的概念。2,协程之间互相切换开销比多线程,多进程之间要小的多!)



刚刚在前面也说过了,协程是基于函数中的yield关键字去实现的!


如果对yield关键字,或者生成器的概念不了解,请单击下面的传送门,里面有详细的介绍。

http://suhaozhi.blog.51cto.com/7272298/1909032


二、快速回顾yield与生成器的快速回顾。

上面的连接有详细介绍,在这里再次快速回顾一下。

下面是例子:

例1:

#首先定义了一个函数func1。

def func1():

    print "ok!"

    yield

#然后去调用func1这个函数。

func1()

#此时print “ok!” 到底会不会被执行?

可以试着去运行一下,其实 print "ok!"这句话是不会被执行的!

因为python在检测到一个函数中有yield关键字的时候,这个函数就已经不再是个普通的函数了,这个函数就会变成一个生成器对象。

我们可以使用type函数看到这一现象。

print type(func1())

输出的结果:

<type 'generator'>


1.关于yield实现迭代器对象的回顾。

        1.1 如果想要让生成器中的代码执行,必须只能用next函数,或者是先使用__iter__方法去获取一个   迭代器对象,然后执行这个迭代器的next方法或者send方法才可以触发生成器的执行。

     (当第一次运行一个生成器的时候!必须只能用next函数,或者是先使用__iter__方法去获取一个迭代器对象,然后执行这个迭代器的next方法去触发运行!否则会报错!)


def func1():

    print "ok!"

    yield

next(func1())    #执行了next函数后,print "ok!"这句话才真正的被执行了!

#func1().__iter__().next()  #第二种调动方法,先获取一个迭代器对象,然后在执行迭代器对象下的next方法。

输出结果:

ok!


从上面的例子可以看出,使用yield关键字创建的生成器的第一个特性,就是想触发生成器的执行,只能用next函数或者send方法来触发生成器的执行。


    1.2 yield和return一样,可以return一个返回值!

      例:

    #!/usr/local/bin/python2.7

    # -*- coding:utf-8 -*-

    def func1():

        print "ok!"

        yield [1,2,3]  #返回一个列表

    l1 = next(func1())

    print l1

    

    输出结果:

    ok!

    [1, 2, 3]


    1.3 yield的挂起特性。

    

    def func1():

        print "1"

        yield

        print "2"

        yield

        print "3"

        yield

        print "4"

    g1 = func1()

    next(g1) #第一次执行next,生成器会先执行到第一个yield关键字的位置挂起,并且保存当前运行的位置状态。

#输出结果:

1

    next(g1) #第二次执行next,生成器会从刚刚挂起的位置继续执行后面的代码,如果再次执行到yield关键字后,生成器继续保存状态后挂起。

#输出结果:

2

    next(g1) #第三次执行next,生成器会继续从刚刚挂起的位置开始运行,继续执行后面的代码,如果遇到yield,继续保存状态挂起。

#输出结果:

3

  next(g1) #第四次执行next,生成器依旧会从刚刚挂起的位置继续执行后面的代码,但是不同的是,后面没有yield了!!生成器执行完print "4"这个代码后,就会抛出一个StopIteration的异常。


    1.4 生成器的send方法,可以给yield前面的变量名赋值的特性。

    

#!/usr/local/bin/python2.7

# -*- coding:utf-8 -*-

def func1():

    print "1"

    name = yield 11111

    print name

    yield

g1 = func1()

v1 = g1.next() #如果想直接给yield左边的name变量传值,必须要先运行next然后再send!否则会报错!!

g1.send("test!!!") #通过yield给左边的name变量赋值

输出结果:

1

11111

test!!!


三、使用yield来实现最基本的协程。

个人理解,协程的底层就是基于yield去实现的,之前在说多线程的时候,有说过一个生产者消费者模型,我们可以通过yield实现协程,然后通过协程去实现这个模型。

在写基于协程的生产者消费者模型之前,先来补充几个概念:

传统的生产者消费者模型的实现,是通过一个线程去产生消息,另一个线程去取消息,如果要对公共数据进行操作,必须要加锁机制,但是一不小心可能会造成“死锁”现象。


通过协程去实现的生产者消费者模型,生产者产生消息后,直接可以通过yield跳转到消费者的函数开始执行,当消费者的函数运行完毕后,继续跳回生产者的函数继续生产,效率比多线程要高很多。

1.下面是一个使用yield关键字实现的一个简单的协程。

usr/local/bin/python2.7

# -*- coding:utf-8 -*-

#这个程序的思路是,生产者函数产生了数据之后,通过yield跳转到消费者的生成器函数,等待消费者执行完毕后

#继续切换回生产者函数进行生产.

import time

def consumer(name):  #这里的消费者函数是个生成器!

    ret = ''

    while True:

        bun_num = yield ret

        if not bun_num:

            return

        print "%s eating bun %s " %(name,bun_num)

        time.sleep(1)

        ret = 'consumer ----> go chi so u sa ma de shi ta ~!'

def produce(con):

    next(con) #第一次要先使用next函数去启动consumer生成器!(相当于通知)

    num = 0

    while num < 5:

        num = num + 1

        print  "producer --> producing %s" %(num)

        consumer_return = con.send(num) #一旦产生了数据!切换到consumer(消费者),并且,把产生的数据,发送给consumer。

        print  "producer ---> consumer return message: %s" %(consumer_return)

        #当生产者拿到了消费者的返回结果,输出的一条消息。

    con.close()  #当生产者停止生产,关闭consumer,这个close方法用于终止迭代。

if __name__ == '__main__':

    con1 = consumer("suhaozhi") #创建消费者对象

    produce(con1)

输出结果:

producer --> producing 1

suhaozhi eating bun 1 

producer ---> consumer return message: consumer ----> go chi so u sa ma de shi ta ~!

producer --> producing 2

suhaozhi eating bun 2 

producer ---> consumer return message: consumer ----> go chi so u sa ma de shi ta ~!

producer --> producing 3

suhaozhi eating bun 3 

producer ---> consumer return message: consumer ----> go chi so u sa ma de shi ta ~!

producer --> producing 4

suhaozhi eating bun 4 

producer ---> consumer return message: consumer ----> go chi so u sa ma de shi ta ~!

producer --> producing 5

suhaozhi eating bun 5 

producer ---> consumer return message: consumer ----> go chi so u sa ma de shi ta ~!

#从上面输出结果的速度来看,生产者和消费者的执行是一种并发效果。


代码分析:

首先来说consumer生成器函数,consumer(消费者)通过yield拿到了producer(生产者发来的数据),

接着又通过这个yield把处理结果返回给producer(生产者),看了上述代码,我们可以发现yield还具有和return一样的功能,执行到了yield这个关键字后,函数的运行状态就被挂起,一直等待到函数调用者下一次执行next函数或者执行send方法或者for 循环的时候,这个函数才会从上次挂起的地方继续运行。


执行完这个代码你会发现,生产者和消费者之间是协作执行的,完全没有用到锁机制。(这是因为协程和协程之间完全不会像多线程一样会抢占资源。)


四、实现协程的另一种方式(greenlet)。

greenlet是python中自带的一个协程模块,它比yield实现的协程更加灵活,简单,而且它无需将一个函数声明为生成器(generator)。

下面来介绍并演示一下greenlet的基本使用。

常用方法:

greenlet.greenlet() 生成一个greenlet对象,在生成greenlet对象之前,可以传入两个参数,分别是run和parent,run用来传入一个可调用对象,parent用来传入一个父greenlet,默认就是当前的greenlet。


greenlet.switch() 这个方法用于协程和协程之间的切换,并且,switch是可以给greenlet对象传递参数的。

下面是个greenlet基本使用的示范:

import greenlet

def func1():

    print "func1 start!"

    print "1,2,3"

    gr2.switch()  #切换到func2函数

    print "7,8,9"

    gr2.switch() 

def func2():

    print "func2 start!"

    print "4,5,6"

    gr1.switch() #切换到func1函数

    print "10,11,12"

gr1 = greenlet.greenlet(run=func1)

gr2 = greenlet.greenlet(run=func2)

gr1.switch()  #启动greenlet对象gr1.


可能会用到的方法:

gr1 = greenlet.greenlet(run=func1)

gr1.switch(*args, **kwargs)  #切换到指定函数(在例子中是func1函数),并且可以给这个函数传参数。

gr1.dead 一旦当这个greenlet对象死了,返回一个True。

gr1.bool 判断这个greenlet对象是否处于活动状态,如果是活动状态返回一个True。


五、更简单的协程实现,gevent模块。

虽然我们在python内部可以通过yield去实现一个基本的协程,但是它的功能并不是很完全,gevent提供了更加完全的功能支持。

gevent和greenlit虽然都是实现协程的模块,但是它们还是有不同之处的。

greenlit:当遇到一个I/O操作的时候(访问网络,写文件之类的),需要切换greenlit对象,等到I/O操作结束后在切回来,这样反复的来回执行。(使用greenlit模块时,你需要手动找出函数中的所有执行I/O操作的位置,手动在程序中指定切换。)


gevent:gevent和greenlit最大的不同就是,它比greenlit操作起来更简单,它可以做到自动检测I/O操作,自动去切换协程。

下面是使用示例:(一个扒网页的例子)

from gevent import monkey

monkey.patch_all() #可以理解为阻塞的类型

import gevent

import urllib

import time

def get_web(url):

    print "GET:%s" %(url)

    resp = urllib.urlopen(url)

    data = resp.geturl()

    print "%d bytes recv from %s" %(len(data),url)

start_time = time.time()

gevent.joinall([gevent.spawn(get_web, 'http://www.baidu.com/'),gevent.spawn(get_web, 'https://www.github.com/'),gevent.spawn(get_web, 'http://zhihu.com/')])

print "over! %s" %(time.time()-start_time)

   

monkey.patch_all():用过gevent就会知道,会在最开头的地方gevent.monkey.patch_all();把标准库中的thread/socket等给替换掉.这样我们在后面使用socket的时候可以跟平常一样使用,无需修改任何代码,但是它变成非阻塞的了.

注意!!Monkey patching能够使得gevent修改标准库里面大部分的阻塞式系统调用,包括socket,ssl,threading和select等模块,而变成协作式运行!!!


下面在补充一个官方文档提供的示例:

import gevent

            from gevent import socket

            urls = [‘www.google.com.hk’,’www.example.com’, ‘www.python.org’ ]

            jobs = [gevent.spawn(socket.gethostbyname, url) for url in urls]

            gevent.joinall(jobs, timeout=2)

            [job.value for job in jobs]

gevent.spawn()方法创建一些任务,然后通过gevent.joinall将任务加入到微线程执行队列中等待其完成,设置超时为2秒。执行后的结果通过检查gevent.Greenlet.value值来收集。gevent.socket.gethostbyname()函数与标准的socket.gethotbyname()有相同的接口,但它不会阻塞整个解释器,因此会使得其他的greenlets跟随着无阻的请求而执行。


关于协程的东西远远不止这么多....这只是开始...




      本文转自苏浩智 51CTO博客,原文链接:http://blog.51cto.com/suhaozhi/1926528,如需转载请自行联系原作者



相关文章
|
2月前
|
安全 Go
Golang语言goroutine协程并发安全及锁机制
这篇文章是关于Go语言中多协程操作同一数据问题、互斥锁Mutex和读写互斥锁RWMutex的详细介绍及使用案例,涵盖了如何使用这些同步原语来解决并发访问共享资源时的数据安全问题。
86 4
|
27天前
|
安全 Go 调度
探索Go语言的并发模式:协程与通道的协同作用
Go语言以其并发能力闻名于世,而协程(goroutine)和通道(channel)是实现并发的两大利器。本文将深入了解Go语言中协程的轻量级特性,探讨如何利用通道进行协程间的安全通信,并通过实际案例演示如何将这两者结合起来,构建高效且可靠的并发系统。
|
27天前
|
调度 Python
python知识点100篇系列(20)-python协程与异步编程asyncio
【10月更文挑战第8天】协程(Coroutine)是一种用户态内的上下文切换技术,通过单线程实现代码块间的切换执行。Python中实现协程的方法包括yield、asyncio模块及async/await关键字。其中,async/await结合asyncio模块可更便捷地编写和管理协程,支持异步IO操作,提高程序并发性能。协程函数、协程对象、Task对象等是其核心概念。
|
17天前
|
NoSQL 关系型数据库 MySQL
python协程+异步总结!
本文介绍了Python中的协程、asyncio模块以及异步编程的相关知识。首先解释了协程的概念和实现方法,包括greenlet、yield关键字、asyncio装饰器和async/await关键字。接着详细讲解了协程的意义和应用场景,如提高IO密集型任务的性能。文章还介绍了事件循环、Task对象、Future对象等核心概念,并提供了多个实战案例,包括异步Redis、MySQL操作、FastAPI框架和异步爬虫。最后提到了uvloop作为asyncio的高性能替代方案。通过这些内容,读者可以全面了解和掌握Python中的异步编程技术。
35 0
|
17天前
|
数据采集 缓存 程序员
python协程使用教程
1. **协程**:介绍了协程的概念、与子程序的区别、优缺点,以及如何在 Python 中使用协程。 2. **同步与异步**:解释了同步与异步的概念,通过示例代码展示了同步和异步处理的区别和应用场景。 3. **asyncio 模块**:详细介绍了 asyncio 模块的概述、基本使用、多任务处理、Task 概念及用法、协程嵌套与返回值等。 4. **aiohttp 与 aiofiles**:讲解了 aiohttp 模块的安装与使用,包括客户端和服务器端的简单实例、URL 参数传递、响应内容读取、自定义请求等。同时介绍了 aiofiles 模块的安装与使用,包括文件读写和异步迭代
21 0
|
1月前
|
数据处理 Python
深入探索:Python中的并发编程新纪元——协程与异步函数解析
深入探索:Python中的并发编程新纪元——协程与异步函数解析
26 3
|
2月前
|
Python
Python中的异步编程与协程实践
【9月更文挑战第28天】本文旨在通过一个简单易懂的示例,介绍如何在Python中利用asyncio库实现异步编程和协程。我们将通过代码示例来展示如何编写高效的并发程序,并解释背后的原理。
|
2月前
|
数据库 开发者 Python
实战指南:用Python协程与异步函数优化高性能Web应用
在快速发展的Web开发领域,高性能与高效响应是衡量应用质量的重要标准。随着Python在Web开发中的广泛应用,如何利用Python的协程(Coroutine)与异步函数(Async Functions)特性来优化Web应用的性能,成为了许多开发者关注的焦点。本文将从实战角度出发,通过具体案例展示如何运用这些技术来提升Web应用的响应速度和吞吐量。
29 1
|
2月前
|
调度 Python
揭秘Python并发编程核心:深入理解协程与异步函数的工作原理
在Python异步编程领域,协程与异步函数成为处理并发任务的关键工具。协程(微线程)比操作系统线程更轻量级,通过`async def`定义并在遇到`await`表达式时暂停执行。异步函数利用`await`实现任务间的切换。事件循环作为异步编程的核心,负责调度任务;`asyncio`库提供了事件循环的管理。Future对象则优雅地处理异步结果。掌握这些概念,可使代码更高效、简洁且易于维护。
26 1
|
2月前
|
调度 开发者 Python
探索Python中的异步编程:理解asyncio和协程
【9月更文挑战第22天】在现代软件工程中,异步编程是提升应用性能的关键技术之一。本文将深入探讨Python语言中的异步编程模型,特别是asyncio库的使用和协程的概念。我们将了解如何通过事件循环和任务来处理并发操作,以及如何用协程来编写非阻塞的代码。文章不仅会介绍理论知识,还会通过实际的代码示例展示如何在Python中实现高效的异步操作。