AI 助理
备案控制台
开发者社区 大数据 文章 正文

Python编程异步爬虫——协程的基本原理（二）

2024-10-12 28
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： Python编程异步爬虫——协程的基本原理（二）

接上文 Python编程异步爬虫——协程的基本原理（一）https://developer.aliyun.com/article/1620696

多任务协程
如果想执行多次请求，应该怎么办？可以定义一个task列表，然后使用asyncio包中的wait方法执行，如下所示：

import asyncio
import requests

async def request():
    url = 'https://www.baidu.com'
    status = requests.get(url)
    return status

tasks = [asyncio.ensure_future(request()) for _ in range(5)]
print('Tasks:', tasks)

loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(tasks))

for task in tasks:
    print('Task Result:', task.result())

运行结果如下：
Tasks: [<Task pending name='Task-1' coro=<request() running at /Users/bruce_liu/PycharmProjects/崔庆才--爬虫/第6章异步爬虫/多任务协程.py:5>>, <Task pending name='Task-2' coro=<request() running at /Users/bruce_liu/PycharmProjects/崔庆才--爬虫/第6章异步爬虫/多任务协程.py:5>>, <Task pending name='Task-3' coro=<request() running at /Users/bruce_liu/PycharmProjects/崔庆才--爬虫/第6章异步爬虫/多任务协程.py:5>>, <Task pending name='Task-4' coro=<request() running at /Users/bruce_liu/PycharmProjects/崔庆才--爬虫/第6章异步爬虫/多任务协程.py:5>>, <Task pending name='Task-5' coro=<request() running at /Users/bruce_liu/PycharmProjects/崔庆才--爬虫/第6章异步爬虫/多任务协程.py:5>>]
Task Result: <Response [200]>
Task Result: <Response [200]>
Task Result: <Response [200]>
Task Result: <Response [200]>
Task Result: <Response [200]>

协程实现
协程在解决IO密集型任务方面的优势，耗时等待一般都是IO操作，例如文件读取、网络请求等。协程在处理这种操作时是有很大优势的，当遇到需要等待的情况时，程序可以暂时挂起，转而执行其他操作，避免浪费时间。
以https://www.httpbin.org/delay/5为例，体验一下协程的效果。示例代码如下：

import asyncio
import requests
import time

start = time.time()

async def request():
    url = 'https://www.httpbin.org/delay/5'
    print('waiting for', url)
    response = requests.get(url)
    print('Get response from', url, 'response', response)

tasks = [asyncio.ensure_future(request()) for _ in range(10)]
loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(tasks))

end = time.time()
print('Cost time:', end - start)

运行结果如下：
waiting for https://www.httpbin.org/delay/5
Get response from https://www.httpbin.org/delay/5 response <Response [200]>
waiting for https://www.httpbin.org/delay/5
Get response from https://www.httpbin.org/delay/5 response <Response [200]>
waiting for https://www.httpbin.org/delay/5
Get response from https://www.httpbin.org/delay/5 response <Response [200]>
...
waiting for https://www.httpbin.org/delay/5
Get response from https://www.httpbin.org/delay/5 response <Response [200]>
waiting for https://www.httpbin.org/delay/5
Get response from https://www.httpbin.org/delay/5 response <Response [200]>
waiting for https://www.httpbin.org/delay/5
Get response from https://www.httpbin.org/delay/5 response <Response [200]>
Cost time: 63.61974787712097

可以发现，与正常的顺序请求没有啥区别。那么异步处理的优势呢？要实现异步处理，先得有挂起操作，当一个任务需要等待IO结果的时候，可以挂起当前任务，转而执行其他任务，这样才能充分利用好资源。

使用aiohttp
aiohttp是一个支持异步请求的库，它和asyncio配合使用，可以使我们非常方便地实现异步请求操作。
aiohttp分为两部分：一部分是Client，一部分是Server。
下面我们将aiohttp投入使用，将代码改成如下：

import asyncio
import aiohttp
import time

start = time.time()

async def get(url):
    session = aiohttp.ClientSession()
    response = await session.get(url)
    await response.text()
    await session.close()
    return response

async def request():
    url = 'https://www.httpbin.org/delay/5'
    print('Waiting for', url)
    response = await get(url)
    print('Get response from', url, 'response', response)

tasks = [asyncio.ensure_future(request()) for _ in range(10)]
loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(tasks))

end = time.time()
print('Cost time:', end - start)

运行结果如下：
Waiting for https://www.httpbin.org/delay/5
Waiting for https://www.httpbin.org/delay/5
Waiting for https://www.httpbin.org/delay/5
Waiting for https://www.httpbin.org/delay/5
Waiting for https://www.httpbin.org/delay/5
Waiting for https://www.httpbin.org/delay/5
...
Get response from https://www.httpbin.org/delay/5 response <ClientResponse(https://www.httpbin.org/delay/5) [200 OK]>
<CIMultiDictProxy('Date': 'Sat, 23 Mar 2024 13:42:05 GMT', 'Content-Type': 'application/json', 'Content-Length': '367', 'Connection': 'keep-alive', 'Server': 'gunicorn/19.9.0', 'Access-Control-Allow-Origin': '*', 'Access-Control-Allow-Credentials': 'true')>

Get response from https://www.httpbin.org/delay/5 response <ClientResponse(https://www.httpbin.org/delay/5) [200 OK]>
<CIMultiDictProxy('Date': 'Sat, 23 Mar 2024 13:42:05 GMT', 'Content-Type': 'application/json', 'Content-Length': '367', 'Connection': 'keep-alive', 'Server': 'gunicorn/19.9.0', 'Access-Control-Allow-Origin': '*', 'Access-Control-Allow-Credentials': 'true')>
...
Get response from https://www.httpbin.org/delay/5 response <ClientResponse(https://www.httpbin.org/delay/5) [200 OK]>
<CIMultiDictProxy('Date': 'Sat, 23 Mar 2024 13:42:05 GMT', 'Content-Type': 'application/json', 'Content-Length': '367', 'Connection': 'keep-alive', 'Server': 'gunicorn/19.9.0', 'Access-Control-Allow-Origin': '*', 'Access-Control-Allow-Credentials': 'true')>

Get response from https://www.httpbin.org/delay/5 response <ClientResponse(https://www.httpbin.org/delay/5) [200 OK]>
<CIMultiDictProxy('Date': 'Sat, 23 Mar 2024 13:42:05 GMT', 'Content-Type': 'application/json', 'Content-Length': '367', 'Connection': 'keep-alive', 'Server': 'gunicorn/19.9.0', 'Access-Control-Allow-Origin': '*', 'Access-Control-Allow-Credentials': 'true')>

Cost time: 6.868626832962036

这里将请求库由requests改成了aiohttp，利用aiohttp库里ClientSession类的get方法进行请求。

测试一下并发量分别为1、3、5、10、….、500时的耗时情况，代码如下：

import asyncio
import aiohttp
import time

def test(number):
    start = time.time()

    async def get(url):
        session = aiohttp.ClientSession()
        response = await session.get(url)
        await response.text()
        await session.close()
        return response

    async def request():
        url = 'https://www.baidu.com/'
        await get(url)

    tasks = [asyncio.ensure_future(request()) for _ in range(number)]
    loop = asyncio.get_event_loop()
    loop.run_until_complete(asyncio.wait(tasks))

    end = time.time()
    print('Number:', number, 'Cost time:', end - start)

for number in [1, 3, 5, 10, 15, 30, 50, 75, 100, 200, 500]:
    test(number)

 运行结果如下：
Number: 1 Cost time: 0.23929095268249512
Number: 3 Cost time: 0.19086170196533203
Number: 5 Cost time: 0.20035600662231445
Number: 10 Cost time: 0.21305394172668457
Number: 15 Cost time: 0.25495195388793945
Number: 30 Cost time: 0.769071102142334
Number: 50 Cost time: 0.3470029830932617
Number: 75 Cost time: 0.4492309093475342
Number: 100 Cost time: 0.586918830871582
Number: 200 Cost time: 1.0910720825195312
Number: 500 Cost time: 2.4768006801605225
文章标签：
Python
数据采集
关键词：
Python异步
Python编程
Python爬虫
Python原理
爬虫原理
bruce_xiaowei
目录
相关文章
游客qf4jmczx4xu2y
|
1月前
|
人工智能 数据可视化 数据挖掘
探索Python编程：从基础到高级
在这篇文章中，我们将一起深入探索Python编程的世界。无论你是初学者还是有经验的程序员，都可以从中获得新的知识和技能。我们将从Python的基础语法开始，然后逐步过渡到更复杂的主题，如面向对象编程、异常处理和模块使用。最后，我们将通过一些实际的代码示例，来展示如何应用这些知识解决实际问题。让我们一起开启Python编程的旅程吧！
游客qf4jmczx4xu2y
63 5
游客moiomvrp3vyac2
|
30天前
|
存储 数据采集 人工智能
Python编程入门：从零基础到实战应用
本文是一篇面向初学者的Python编程教程，旨在帮助读者从零开始学习Python编程语言。文章首先介绍了Python的基本概念和特点，然后通过一个简单的例子展示了如何编写Python代码。接下来，文章详细介绍了Python的数据类型、变量、运算符、控制结构、函数等基本语法知识。最后，文章通过一个实战项目——制作一个简单的计算器程序，帮助读者巩固所学知识并提高编程技能。
游客moiomvrp3vyac2
84 2
overmind1980
|
18天前
|
Unix Linux 程序员
[oeasy]python053_学编程为什么从hello_world_开始
视频介绍了“Hello World”程序的由来及其在编程中的重要性。从贝尔实验室诞生的Unix系统和C语言说起，讲述了“Hello World”作为经典示例的起源和流传过程。文章还探讨了C语言对其他编程语言的影响，以及它在系统编程中的地位。最后总结了“Hello World”、print、小括号和双引号等编程概念的来源。
overmind1980
102 80
Deephub
|
8天前
|
算法 数据处理 Python
高精度保形滤波器Savitzky-Golay的数学原理、Python实现与工程应用
Savitzky-Golay滤波器是一种基于局部多项式回归的数字滤波器，广泛应用于信号处理领域。它通过线性最小二乘法拟合低阶多项式到滑动窗口中的数据点，在降噪的同时保持信号的关键特征，如峰值和谷值。本文介绍了该滤波器的原理、实现及应用，展示了其在Python中的具体实现，并分析了不同参数对滤波效果的影响。适合需要保持信号特征的应用场景。
Deephub
52 11
高精度保形滤波器Savitzky-Golay的数学原理、Python实现与工程应用
那年春天
|
2月前
|
存储 索引 Python
Python编程数据结构的深入理解
深入理解 Python 中的数据结构是提高编程能力的重要途径。通过合理选择和使用数据结构，可以提高程序的效率和质量
那年春天
152 59
overmind1980
|
7天前
|
Python
[oeasy]python055_python编程_容易出现的问题_函数名的重新赋值_print_int
本文介绍了Python编程中容易出现的问题，特别是函数名、类名和模块名的重新赋值。通过具体示例展示了将内建函数（如`print`、`int`、`max`）或模块名（如`os`）重新赋值为其他类型后，会导致原有功能失效。例如，将`print`赋值为整数后，无法再用其输出内容；将`int`赋值为整数后，无法再进行类型转换。重新赋值后，这些名称失去了原有的功能，可能导致程序错误。总结指出，已有的函数名、类名和模块名不适合覆盖赋新值，否则会失去原有功能。如果需要使用类似的变量名，建议采用其他命名方式以避免冲突。
overmind1980
29 14
郑小健
|
17天前
|
分布式计算 大数据 数据处理
技术评测：MaxCompute MaxFrame——阿里云自研分布式计算框架的Python编程接口
随着大数据和人工智能技术的发展，数据处理的需求日益增长。阿里云推出的MaxCompute MaxFrame（简称“MaxFrame”）是一个专为Python开发者设计的分布式计算框架，它不仅支持Python编程接口，还能直接利用MaxCompute的云原生大数据计算资源和服务。本文将通过一系列最佳实践测评，探讨MaxFrame在分布式Pandas处理以及大语言模型数据处理场景中的表现，并分析其在实际工作中的应用潜力。
郑小健
53 2
蓝易云
|
20天前
|
缓存 数据安全/隐私保护 Python
python装饰器底层原理
Python装饰器是一个强大的工具，可以在不修改原始函数代码的情况下，动态地增加功能。理解装饰器的底层原理，包括函数是对象、闭包和高阶函数，可以帮助我们更好地使用和编写装饰器。无论是用于日志记录、权限验证还是缓存，装饰器都可以显著提高代码的可维护性和复用性。
蓝易云
31 5
请看我回答~
|
30天前
|
小程序 开发者 Python
探索Python编程：从基础到实战
本文将引导你走进Python编程的世界，从基础语法开始，逐步深入到实战项目。我们将一起探讨如何在编程中发挥创意，解决问题，并分享一些实用的技巧和心得。无论你是编程新手还是有一定经验的开发者，这篇文章都将为你提供有价值的参考。让我们一起开启Python编程的探索之旅吧！
请看我回答~
48 10
扑克中的黑桃A
|
1月前
|
机器学习/深度学习 人工智能 Java
Python 语言：强大、灵活与高效的编程之选
本文全面介绍了 Python 编程语言，涵盖其历史、特点、应用领域及核心概念。从 1989 年由 Guido van Rossum 创立至今，Python 凭借简洁的语法和强大的功能，成为数据科学、AI、Web 开发等领域的首选语言。文章还详细探讨了 Python 的语法基础、数据结构、面向对象编程等内容，旨在帮助读者深入了解并有效利用 Python 进行编程。
扑克中的黑桃A
58 15

热门文章

最新文章

  • 1
    Java爬虫：数据采集的强大工具
  • 2
    Java爬虫：深入解析商品详情的利器
  • 3
    Python 爬虫必备杀器，xpath 解析 HTML
  • 4
    Python爬虫：深入探索1688关键词接口获取之道
  • 5
    利用Python爬虫获取1688关键词接口全攻略
  • 6
    网页爬虫技术全解析：从基础到实战
  • 7
    如何利用Python爬虫淘宝商品详情高级版（item_get_pro）API接口及返回值解析说明
  • 8
    Python爬虫京东商品详情数据接口
  • 9
    Python爬虫能处理动态加载的内容吗？
  • 10
    Referer头部在网站反爬虫技术中的运用
  • 1
    Python 密码学实用指南（全）（2）
    46
  • 2
    【python】习题 第10周
    64
  • 3
    【python】习题第8周
    66
  • 4
    【python】习题第7周（上）
    96
  • 5
    【python】习题 6-10周（下）
    65
  • 6
    【python】习题 6-10周（中）
    69
  • 7
    Python 入门指南（七）（4）
    54
  • 8
    【python】习题 1-5周（中）
    99
  • 9
    【python】习题 1-5周（上）
    57
  • 10
    Python 入门指南（七）（2）
    63

    • 相关课程

    更多
  • Python语言基础 - 语法入门
  • Python语言基础 - 列表、元组、字典、集合
  • Python Web 框架 Flask 快速入门
  • Python Web开发基础
  • Python爬虫实战
  • Python网络爬虫实战

    • 相关电子书

    更多
  • Improving Python and Spark Per
  • From Python Scikit-Learn to Sc
  • Data Pre-Processing in Python:

    • 相关实验场景

    更多
  • 用Python画圣诞树
  • Python选择及循环结构
  • 云端Python及基本操作
  • 使用Java面向对象编写网络通信程序应用
  • Python网络通信程序典型应用
  • Python新手入门（Anolis OS）

    • 推荐镜像

    更多
  • python-release
  • nodejs-release
  • composer
    • 下一篇
    阿里云无影云电脑免费试用，最长可试用3个月