AI 助理
备案控制台
开发者社区 大数据 文章 正文

Python编程异步爬虫——aiohttp的使用

2024-10-12 61
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： Python编程异步爬虫——aiohttp的使用

异步爬虫—aiohttp的使用
1.基本介绍
asyncio模块其内部实现了对TCP、UDP、SSL协议的异步操作，但是对于HTTP请求来说，就需要用aiohttp实现了。
aiohttp是一个基于asyncio的异步HTTP网络模块，它既提供了服务端，又提供了客户端。requests发起的是同步网络请求，aiohttp则是异步。 aiohttp 模块是一个基于 asyncio 的 HTTP 客户端和服务器框架，可以用于异步处理 HTTP 请求和响应。以下是一个简单的示例代码展示 aiohttp 模块的基本用法：

首先，你需要安装 aiohttp 模块：

pip install aiohttp

2.基本示例
接下来，以下是一个简单的示例代码，演示了如何使用 aiohttp 发送一个简单的 GET 请求并获取响应：

import aiohttp
import asyncio

async def fetch(session, url):
    async with session.get(url) as response:
        return await response.text(), response.status

async def main():
    async with aiohttp.ClientSession() as session:
        html, status = await fetch(session, 'https://cuiqingcai.com')
        print(f'html:{html[:100]}....')
        print(f'status: {status}')

if __name__ == '__main__':
    loop = asyncio.get_event_loop()
    loop.run_until_complete(main())


 运行结果如下：
 html:<!DOCTYPE html>
<html lang="zh-CN">

<head>
  <meta charset="UTF-8">
  <meta name="viewport" content....
status: 200

在这个示例中，我们定义了一个 fetch 函数来发送 GET 请求并返回响应文本，然后使用 main 函数调用 fetch 函数。最后，创建事件循环并运行主函数。

由于网页源码过长，这里只截取了输出的一部分，可以看到，成功获取了网页的源代码及响应状态码200，成功使用aiohttp通过异步方式完成了网页爬取。当然，这个操作用requests也可以做到。

3.URL参数设置
对于URL参数的设置，可以借助params参数，传入一个字典即可，示例如下：

import aiohttp
import asyncio

async def main():
    params = {
   'name': 'germey', 'age':25}
    async with aiohttp.ClientSession() as session:
        async with session.get('https://www.httpbin.org/get', params=params) as response:
            print(await response.text())

if __name__ == '__main__':
    asyncio.get_event_loop().run_until_complete(main())


  运行结果如下：
  {
   
  "args": {
   
    "age": "25", 
    "name": "germey"
  }, 
  "headers": {
   
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Host": "www.httpbin.org", 
    "User-Agent": "Python/3.9 aiohttp/3.8.3", 
    "X-Amzn-Trace-Id": "Root=1-65ffa6c9-6d501fa57391d9fc1d7b5f28"
  }, 
  "origin": "58.21.224.175", 
  "url": "https://www.httpbin.org/get?name=germey&age=25"
}

这里看到，实际请求的URL为https://www.httpbin.org/get?name=germey&age=25，其中的参数对应于params的内容。

4.其他请求类型
aiohttp还支持其他请求类型，如POST、PUT、DELETE等，这和requests的使用方式有点类似，示例如下：

session.post('http://www.httpbin.org/post', data=b'data')
session.put('http://www.httpbin.org/put', data=b'data')
session.delete('http://www.httpbin.org/delete')
session.head('http://www.httpbin.org/get')
session.options('http://www.httpbin.org/get')
session.patch('http://www.httpbin.org/patch', data=b'data')

5.POST请求
当使用 aiohttp 模块时，除了发送简单的 GET 请求之外，你还可以处理 POST 请求、设置请求头、处理异常等。以下是一个稍微复杂一点的示例代码，展示了如何发送 POST 请求并处理异常：

import aiohttp
import asyncio

async def main():
    data = {
   'name': 'germey', 'age':25}
    async with aiohttp.ClientSession() as session:
        async with session.post('https://www.httpbin.org/post', data=data) as response:
            print(await response.text())

if __name__ == '__main__':
    asyncio.get_event_loop().run_until_complete(main())


   运行结果如下：
   {
   
  "args": {
   }, 
  "data": "", 
  "files": {
   }, 
  "form": {
   
    "age": "25", 
    "name": "germey"
  }, 
  "headers": {
   
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Content-Length": "18", 
    "Content-Type": "application/x-www-form-urlencoded", 
    "Host": "www.httpbin.org", 
    "User-Agent": "Python/3.9 aiohttp/3.8.3", 
    "X-Amzn-Trace-Id": "Root=1-65ffabc5-3bbf3cdb7cb413a3475ece45"
  }, 
  "json": null, 
  "origin": "58.21.224.175", 
  "url": "https://www.httpbin.org/post"
}

在上面的示例中，我们定义了一个 fetch 函数来发送一个包含 JSON 数据的 POST 请求，并在发生异常时进行处理。在 main 函数中调用 fetch 函数，并根据返回的状态码和响应文本输出相应信息。

通过这个示例，你可以进一步了解如何使用 aiohttp 模块处理 POST 请求和异常情况。你可以根据自己的需求进行进一步的定制和扩展。希望这能帮助你更深入地理解 aiohttp 模块的用法。

对于POST J SON数据提交，其对应的请求头中的Content-Type为application/json，我们只需将post方法里的data参数改成json即可，实例代码如下：

import json
import aiohttp
import asyncio

async def main():
    data = {
   'name': 'germey', 'age': 25}
    async with aiohttp.ClientSession() as session:
        async with session.post('https://www.httpbin.org/post', json=data) as response:
            print(await response.text())

if __name__ == '__main__':
    print(asyncio.get_event_loop().run_until_complete(main()))

运行结果如下：
    {
   
  "args": {
   }, 
  "data": "{\"name\": \"germey\", \"age\": 25}", 
  "files": {
   }, 
  "form": {
   }, 
  "headers": {
   
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Content-Length": "29", 
    "Content-Type": "application/json", 
    "Host": "www.httpbin.org", 
    "User-Agent": "Python/3.9 aiohttp/3.8.4", 
    "X-Amzn-Trace-Id": "Root=1-65ffc207-7d035c6f2b342778797881c9"
  }, 
  "json": {
   
    "age": 25, 
    "name": "germey"
  }, 
  "origin": "58.21.224.175", 
  "url": "https://www.httpbin.org/post"
}

6.响应
我们可以用如下方法分别获取其中的状态码、响应头、响应体、响应体二进制内容、响应体JSON结果，实例代码如下：

import aiohttp
import asyncio

async def main():
    data = {
   'name': 'germey', 'age': 25}
    async with aiohttp.ClientSession() as session:
        async with session.post('https://www.httpbin.org/post', data=data) as response:
            print('status:', response.status)
            print('headers:', response.headers)
            print('body:', await response.text())
            print('bytes:', await response.read())
            print('json:', await response.json())

if __name__ == '__main__':
    asyncio.get_event_loop().run_until_complete(main())

运行结果如下：
status: 200
headers: <CIMultiDictProxy('Date': 'Sun, 24 Mar 2024 06:34:54 GMT', 'Content-Type': 'application/json', 'Content-Length': '510', 'Connection': 'keep-alive', 'Server': 'gunicorn/19.9.0', 'Access-Control-Allow-Origin': '*', 'Access-Control-Allow-Credentials': 'true')>
body: {
   
  "args": {
   }, 
  "data": "", 
  "files": {
   }, 
  "form": {
   
    "age": "25", 
    "name": "germey"
  }, 
  "headers": {
   
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Content-Length": "18", 
    "Content-Type": "application/x-www-form-urlencoded", 
    "Host": "www.httpbin.org", 
    "User-Agent": "Python/3.9 aiohttp/3.8.4", 
    "X-Amzn-Trace-Id": "Root=1-65ffc98e-153aad5f0e536d773cd978b4"
  }, 
  "json": null, 
  "origin": "58.21.224.175", 
  "url": "https://www.httpbin.org/post"
}

bytes: b'{
   \n  "args": {
   }, \n  "data": "", \n  "files": {
   }, \n  "form": {
   \n    "age": "25", \n    "name": "germey"\n  }, \n  "headers": {
   \n    "Accept": "*/*", \n    "Accept-Encoding": "gzip, deflate", \n    "Content-Length": "18", \n    "Content-Type": "application/x-www-form-urlencoded", \n    "Host": "www.httpbin.org", \n    "User-Agent": "Python/3.9 aiohttp/3.8.4", \n    "X-Amzn-Trace-Id": "Root=1-65ffc98e-153aad5f0e536d773cd978b4"\n  }, \n  "json": null, \n  "origin": "58.21.224.175", \n  "url": "https://www.httpbin.org/post"\n}\n'
json: {
   'args': {
   }, 'data': '', 'files': {
   }, 'form': {
   'age': '25', 'name': 'germey'}, 'headers': {
   'Accept': '*/*', 'Accept-Encoding': 'gzip, deflate', 'Content-Length': '18', 'Content-Type': 'application/x-www-form-urlencoded', 'Host': 'www.httpbin.org', 'User-Agent': 'Python/3.9 aiohttp/3.8.4', 'X-Amzn-Trace-Id': 'Root=1-65ffc98e-153aad5f0e536d773cd978b4'}, 'json': None, 'origin': '58.21.224.175', 'url': 'https://www.httpbin.org/post'}

可以看到，有些字段前需要加await，有些则不需要。其原则是，如果返回一个协程对象（如async修饰的方法），那么前面就要加await，具体可以看aiohttp的API，链接为https://docs.aiohttp.org/en/stable/client_reference.html。

7.超时设置
我们可以借助ClientTimeout对象设置超时，例如要设置1秒的超时时间，可以这么实现：

import asyncio
import aiohttp

async def main():
    timeout = aiohttp.ClientTimeout(total=2)
    async with aiohttp.ClientSession(timeout=timeout) as session:
        async with session.get('https://www.httpbin.org/get') as response:
            print('status:', response.status)

if __name__ == '__main__':
    asyncio.get_event_loop().run_until_complete(main())

运行结果如下：
200

8.并发限制
由于aiohttp可以支持非常高的并发量，目标网站可能无法在短时间内响应，而且有瞬间将目标网站爬挂掉的危险。

一般情况下，可以借助asyncio的Semaphore来控制并发量，示例代码如下：

import asyncio
import aiohttp

CONCURRENCY = 5
URL = 'https://www.baidu.com'

semaphore = asyncio.Semaphore(CONCURRENCY)
# session = None

async def scrape_api():
    async with semaphore:
        print('scraping',URL)
        async with session.get(URL) as response:
            await asyncio.sleep(1)
            return await response.text()

async def main():
    global session
    session = aiohttp.ClientSession()
    scrape_index_tasks = [asyncio.ensure_future(scrape_api()) for _ in range(100000)]
    await asyncio.gather(*scrape_index_tasks)

if __name__ == '__main__':
    asyncio.get_event_loop().run_until_complete(main())\

运行结果：
scraping https://www.baidu.com
scraping https://www.baidu.com
scraping https://www.baidu.com
scraping https://www.baidu.com
scraping https://www.baidu.com
....

这里我们声明CONCURRENCY（代表爬取的最大并发量）为5， 同时声明爬取的目标URL为百度。接着，借助Semaphore创建了一个信号量对象，将其赋值为semaphore，这样就可以用它来控制最大并发量了。这里我们把semaphore直接放置在了对应的爬取方法里，使用async with语句将semaphore作为上下文对象即可。信号量便可以控制进入爬取的最大协程数量，即我们声明的CONCURRENCY的值。在main方法里， 我们声明10 000个task，将其传递给gather方法运行，倘若不加以限制，那这10000个task会被同时执行，并发数量相当大。有了信号量的控制后，同时运行的task数量最大会被控制5个，这样就能给aiohttp限制速度了。

文章标签：
数据采集
Python
数据格式
JSON
网络协议
关键词：
Python编程
Python爬虫
Python异步
Python aiohttp
Python异步爬虫
bruce_xiaowei
目录
相关文章
游客moiomvrp3vyac2
|
24天前
|
存储 数据采集 人工智能
Python编程入门：从零基础到实战应用
本文是一篇面向初学者的Python编程教程，旨在帮助读者从零开始学习Python编程语言。文章首先介绍了Python的基本概念和特点，然后通过一个简单的例子展示了如何编写Python代码。接下来，文章详细介绍了Python的数据类型、变量、运算符、控制结构、函数等基本语法知识。最后，文章通过一个实战项目——制作一个简单的计算器程序，帮助读者巩固所学知识并提高编程技能。
游客moiomvrp3vyac2
77 2
overmind1980
|
13天前
|
Unix Linux 程序员
[oeasy]python053_学编程为什么从hello_world_开始
视频介绍了“Hello World”程序的由来及其在编程中的重要性。从贝尔实验室诞生的Unix系统和C语言说起，讲述了“Hello World”作为经典示例的起源和流传过程。文章还探讨了C语言对其他编程语言的影响，以及它在系统编程中的地位。最后总结了“Hello World”、print、小括号和双引号等编程概念的来源。
overmind1980
101 80
overmind1980
|
2天前
|
Python
[oeasy]python055_python编程_容易出现的问题_函数名的重新赋值_print_int
本文介绍了Python编程中容易出现的问题，特别是函数名、类名和模块名的重新赋值。通过具体示例展示了将内建函数（如`print`、`int`、`max`）或模块名（如`os`）重新赋值为其他类型后，会导致原有功能失效。例如，将`print`赋值为整数后，无法再用其输出内容；将`int`赋值为整数后，无法再进行类型转换。重新赋值后，这些名称失去了原有的功能，可能导致程序错误。总结指出，已有的函数名、类名和模块名不适合覆盖赋新值，否则会失去原有功能。如果需要使用类似的变量名，建议采用其他命名方式以避免冲突。
overmind1980
25 14
郑小健
|
11天前
|
分布式计算 大数据 数据处理
技术评测：MaxCompute MaxFrame——阿里云自研分布式计算框架的Python编程接口
随着大数据和人工智能技术的发展，数据处理的需求日益增长。阿里云推出的MaxCompute MaxFrame（简称“MaxFrame”）是一个专为Python开发者设计的分布式计算框架，它不仅支持Python编程接口，还能直接利用MaxCompute的云原生大数据计算资源和服务。本文将通过一系列最佳实践测评，探讨MaxFrame在分布式Pandas处理以及大语言模型数据处理场景中的表现，并分析其在实际工作中的应用潜力。
郑小健
46 2
历年考试不作弊
|
24天前
|
人工智能 数据挖掘 开发者
探索Python编程之美：从基础到进阶
本文是一篇深入浅出的Python编程指南，旨在帮助初学者理解Python编程的核心概念，并引导他们逐步掌握更高级的技术。文章不仅涵盖了Python的基础语法，还深入探讨了面向对象编程、函数式编程等高级主题。通过丰富的代码示例和实践项目，读者将能够巩固所学知识，提升编程技能。无论你是编程新手还是有一定经验的开发者，这篇文章都将为你提供有价值的参考和启示。让我们一起踏上Python编程的美妙旅程吧！
历年考试不作弊
33 3
bruce_xiaowei
|
2月前
|
安全 测试技术 数据库
Python编程--sys模块及OS模块简单用例
Python编程--sys模块及OS模块简单用例
bruce_xiaowei
39 1
bruce_xiaowei
|
2月前
|
JSON 数据格式 Python
Python编程：利用JSON模块编程验证用户
Python编程：利用JSON模块编程验证用户
bruce_xiaowei
29 1
bruce_xiaowei
|
2月前
|
数据处理 Python
Python编程-利用datetime模块生成当前年份之前指定的间隔所有年份的日期列表和csv文件
Python编程-利用datetime模块生成当前年份之前指定的间隔所有年份的日期列表和csv文件
bruce_xiaowei
25 1
漫走云雾
|
7月前
|
人工智能 安全 Java
Python 多线程编程实战：threading 模块的最佳实践
Python 多线程编程实战：threading 模块的最佳实践
漫走云雾
271 5
土木林森
|
7月前
|
安全 调度 Python
什么是Python中的事件驱动编程？如何使用`asyncio`模块实现异步事件处理？
【2月更文挑战第4天】【2月更文挑战第9篇】什么是Python中的事件驱动编程？如何使用`asyncio`模块实现异步事件处理？
土木林森
165 0

热门文章

最新文章

  • 1
    Java爬虫：数据采集的强大工具
  • 2
    Java爬虫：深入解析商品详情的利器
  • 3
    Python 爬虫必备杀器，xpath 解析 HTML
  • 4
    Python爬虫：深入探索1688关键词接口获取之道
  • 5
    利用Python爬虫获取1688关键词接口全攻略
  • 6
    网页爬虫技术全解析：从基础到实战
  • 7
    如何利用Python爬虫淘宝商品详情高级版（item_get_pro）API接口及返回值解析说明
  • 8
    Python爬虫京东商品详情数据接口
  • 9
    Python爬虫能处理动态加载的内容吗？
  • 10
    Referer头部在网站反爬虫技术中的运用
  • 1
    Python 密码学实用指南（全）（2）
    43
  • 2
    【python】习题 第10周
    62
  • 3
    【python】习题第8周
    61
  • 4
    【python】习题第7周（上）
    93
  • 5
    【python】习题 6-10周（下）
    61
  • 6
    【python】习题 6-10周（中）
    67
  • 7
    Python 入门指南（七）（4）
    52
  • 8
    【python】习题 1-5周（中）
    95
  • 9
    【python】习题 1-5周（上）
    54
  • 10
    Python 入门指南（七）（2）
    62

    • 相关课程

    更多
  • Python Web开发基础
  • Python爬虫实战
  • Python常用数据科学库
  • Python网络爬虫实战
  • Python完全自学手册图文教程
  • Python基础快速入门实战教程

    • 相关电子书

    更多
  • From Python Scikit-Learn to Sc
  • Data Pre-Processing in Python:
  • 双剑合璧-Python和大数据计算平台的结合

    • 相关实验场景

    更多
  • 用Python画圣诞树
  • Python选择及循环结构
  • 云端Python及基本操作
  • Python网络通信程序典型应用
  • Python新手入门（Anolis OS）
  • Python新手入门

    • 推荐镜像

    更多
  • python-release
  • nodejs-release
  • libreoffice
    • 下一篇
    手把手教你白嫖阿里云服务器(免费领服务器)