AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

协程-gevent

2017-11-12 970
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
协程用gevent实现, 依赖libevent和greenlet
###安装
1. 安装libevent
   yum install libevent

2. 安装easy_install
  【1】wget -q http://peak.telecommunity.com/dist/ez_setup.py
  【2】python ez_setup.py
  【3】使用easy_install 查看命令是否可用，如果不可用可以讲路径加入到PATH中

3. 安装greenlet
    【1】yum install python-devel
    【2】easy_install greenlet
4. 安装pip
   wget https://pypi.python.org/packages/11/b6/abcb525026a4be042b486df43905d6893fb04f05aac21c32c638e939e447/pip-9.0.1.tar.gz#md5=35f01da33009719497f01a4ba69d63c9
    tar zxf pip-9.0.1.tar.gz
    cd pip-9.0.1
    python setup.py build
    python setup.py install

5. 安装gevent
   wget http://pypi.python.org/packages/source/g/gevent/gevent-0.13.1.tar.gz#md5=5c1b03d9ce39fee4cfe5ea8befb1d4c4
   tar zxf gevent-0.13.1.tar.gz 
   cd gevent-0.13
   python fetch_libevent.py
   python setup.py build
   python setup.py install

6. 安装request模块
    pip install requests

7. 安装dnspython模块
    wget http://www.dnspython.org/kits/1.12.0/dnspython-1.12.0.tar.gz 
     tar -zxf dnspython-1.12.0.tar.gz
     cd dnspython-1.12.0
     python setup.py install 


###案例1
#!/usr/bin/env python
# _*_coding:utf-8_*_

from gevent import monkey
import os
import gevent
import time
monkey.patch_socket()

class MyGeven:

    def __init__(self):
        self.data = {}

    def get_dig_domain(self, domain):
                ret = os.system('dig %s |egrep -v "^$|;" >>/tmp/tmpcheck' % (domain) )
        if ret:
            self.data[domain] = ret

    def gprobe(self, domain_list):
        jobs = []
        for domain in domain_list:
            jobs.append(gevent.spawn(self.get_dig_domain, domain))
        gevent.joinall(jobs)

if __name__ == '__main__':
    start_ts = time.time()
    print "start....."
    domain_list = [
            "www.baidu.com",
                "www.qq.com",
                "www.163.com",
    ]
    obj = MyGeven()
    obj.gprobe(domain_list)
    print "请求数:", len(domain_list), "耗时:", time.time() - start_ts, "s"
    print obj.data


###案例2:
#!/usr/bin/env python
# _*_coding:utf-8_*_
from gevent import monkey
import gevent
import time
monkey.patch_socket()
import requests

class MyGeven:

    def __init__(self):
        self.data = {}


    def get_url_data(self, url):

        ret = requests.get(url)
        if ret:
            self.data[url] = ret


    def gprobe(self, url_list):
        jobs = []
        for url in url_list:
            jobs.append(gevent.spawn(self.get_url_data, url))
        gevent.joinall(jobs)

if __name__ == '__main__':
    start_ts = time.time()
    print "start….."
    url_list = [
            "http://www.baidu.com",
                "http://www.qq.com",
                "http://www.163.com",
            "http://www.baidu.com",
                "http://www.qq.com",
                "http://www.163.com",
            "http://www.baidu.com",
                "http://www.qq.com",
                "http://www.163.com",
            "http://www.baidu.com",
                "http://www.qq.com",
                "http://www.163.com",
            "http://www.baidu.com",
                "http://www.qq.com",
                "http://www.163.com",
            "http://www.baidu.com",
                "http://www.qq.com",
                "http://www.163.com",
            "http://www.baidu.com",
                "http://www.qq.com",
                "http://www.163.com",
            "http://www.baidu.com",
                "http://www.qq.com",
                "http://www.163.com",
            "http://www.baidu.com",
                "http://www.qq.com",
                "http://www.163.com",
            "http://www.baidu.com",
                "http://www.qq.com",
                "http://www.163.com",
            "http://www.baidu.com",
                "http://www.qq.com",
                "http://www.163.com",
            "http://www.baidu.com",
                "http://www.qq.com",
                "http://www.163.com",
            "http://www.baidu.com",
                "http://www.qq.com",
                "http://www.163.com",
    ]
    obj = MyGeven()
    obj.gprobe(url_list)
    print "请求数:", len(url_list), "耗时:", time.time() - start_ts, "s"

    print obj.data

本文转自cloves 51CTO博客，原文链接:http://blog.51cto.com/yeqing/1925164


文章标签：
Python
关键词：
协程gevent
科技小能手
目录
相关文章
念广隶
|
6月前
|
网络协议 调度 开发者
python中gevent基于协程的并发编程模型详细介绍
`gevent`是Python的第三方库，提供基于协程的并发模型，适用于I/O密集型任务的高效异步编程。其核心是协程调度器，在单线程中轮流执行多个协程，通过非阻塞I/O实现高并发。主要特点包括协程调度、事件循环的I/O模型、同步/异步编程支持及易用性。示例代码展示了一个使用`gevent`实现的异步TCP服务器，当客户端连接时，服务器以协程方式处理请求，实现非阻塞通信。
念广隶
79 0
念广隶
|
6月前
|
存储 Python
python使用gevent库来创建协程，并通过协程实现并发执行不同的任务
```markdown 这段Python代码利用`gevent`库实现并发执行协程。定义了两个打印函数`f1`和`f2`，分别输出"csdn"和"yyds"。代码首先创建列表`t_l`，并启动5个`f1`协程，将其加入列表并等待所有协程完成。随后，同样方式启动5个`f2`协程，存入`t1_l`列表并等待执行完毕。整体展示了`gevent`的协程并发操作。 ```
念广隶
56 1
阿甘兄
|
Python
164 python网络编程 - 协程(gevent版)
164 python网络编程 - 协程(gevent版)
阿甘兄
58 0
Python乱炖
|
API Python
Gevent----非官方的python协程库
Gevent----非官方的python协程库
Python乱炖
100 0
IT工藤新一
|
数据采集 调度 Python
【Python零基础入门篇 · 36】：greenlet协程模块的使用、gevent模块的使用、程序打补丁、总结
【Python零基础入门篇 · 36】：greenlet协程模块的使用、gevent模块的使用、程序打补丁、总结
IT工藤新一
174 0
【Python零基础入门篇 · 36】：greenlet协程模块的使用、gevent模块的使用、程序打补丁、总结
IT工藤新一
|
调度 开发者 Python
【Python零基础入门篇 · 24】：协程和IO操作的简单理解、greenlet协程模块的使用、gevent模块的使用、程序打补丁、总结
【Python零基础入门篇 · 24】：协程和IO操作的简单理解、greenlet协程模块的使用、gevent模块的使用、程序打补丁、总结
IT工藤新一
118 0
【Python零基础入门篇 · 24】：协程和IO操作的简单理解、greenlet协程模块的使用、gevent模块的使用、程序打补丁、总结
爱死亡机器人
|
程序员 Linux API
python gevent协程模块详解
python gevent协程模块详解
爱死亡机器人
393 0
Python研究所
|
Python
Gevent 超好用的协程库！| Python 主题月
Gevent 超好用的协程库！| Python 主题月
Python研究所
220 0
花海沙
|
Python
5_python高阶_协程—gevent实现多任务（重点）
5_python高阶_协程—gevent实现多任务（重点）
花海沙
212 0
技术mix呢
|
Python 机器学习/深度学习 Linux
python gevent 协程
技术mix呢
2067 0