异步网络模块之aiohttp(一)

简介: 平时我们也许用的更多的是requests模块,或者是requests_hml模块,但是他们都属于阻塞类型的不支持异步,速度很难提高,于是后来出现了异步的grequests,开始了异步网络请求,速度得到了大大的提升,但是今天我们要说的另外的一个比较异步网络请求模块-aiohttp。

平时我们也许用的更多的是requests模块,或者是requests_hml模块,但是他们都属于阻塞类型的不支持异步,速度很难提高,于是后来出现了异步的grequests,开始了异步网络请求,速度得到了大大的提升,但是今天我们要说的另外的一个比较异步网络请求模块-aiohttp。

什么是aiohhtp?

要学习一个模块,首先要知道这个模块都能做什么,我们从官网上找到了关于aiohttp的解释。

Asynchronous HTTP Client/Server for asyncio and Python.
Supports both Client and HTTP Server.
Supports both Server WebSockets and Client WebSockets out-of-the-box without the Callback Hell.
Web-server has Middlewares, Signals and pluggable routing.

大概意思是说aiohttp是一个异步http网络模块分为了客户端和服务端,同时支持websocket的使用,另外不用担心在使用过程中多次回调导致回调地狱情况出现。

如何安装?

在linux直接pip安装应该没什么问题,一般都坑在windows系统上,我使用win10 64位系统直接安装也是没有出现什么问题,
官网上推荐的是先按照cchardet,这是一个关于网页编码的模块直接运行下面命令即可

pip install cchardet

之后我们安装

pip install aiohttp

后面的操作我们需要还要安装一个协程模块asyncio。

pip install asyncio

ok,没什么问题安装我们就到这里了。

如何使用

我们先看一段代码,后面会对代码作出解释。

import asyncio #导入协程包
import aiohttp #导入aiohttp 
from lxml import html   #导入html解析模块
headers={"User-Agent""Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36
 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36"
}
async def getsource(url):
       conn=aiohttp.TCPConnector(verify_ssl=False)#防止ssl报错
       async with aiohttp.ClientSession(connector=conn) as session: #创建session
             async with session.get(url,headers=headers,timeout=60as req: #获得请求
                 if req.status==200#判断请求码
                    source=await req.text()#使用await关键字获取返回结果
                    print(html.fromstring(source).xpath("//title/text()")[0]) #获取网页标题
                 else:
                     print("访问失败")
if __name__=="__main__":
         full_urllist= 
["https://www.baidu.com","https://www.cnblogs.com","https://www.jianshu.com"]
         event_loop = asyncio.get_event_loop() #创建事件循环
         tasks = [getsource(url) for url in full_urllist]
         results = event_loop.run_until_complete(asyncio.wait(tasks))#等待任务结束

-----------------------------------------运行结果---------------------------------------------


部分内容已经在上面的代码中标注了,下面我们开始对上面的内容进行分析。

 

async/await

首先我们需要知道关键字async/await,在方法的面前加关键字async之后该方法就成了一个协程了,
一般await关键字使用的使用所在的方法必须带有async,关于两个关键字的演变,要从yield说起,
演变过程请参考http://python.jobbole.com/86069/,这里只要知道是协程意思就行了。
首先我定义了连接器并取消ssl安全验证,我们使用verify_ssl使其等于False,默认是True的。

TCPConnector

因为有的网站请求的时候会验证ssl证书,如果是自签名的ssl证书会出错。

conn=aiohttp.TCPConnector(verify_ssl=False)#防止ssl报错

下面是关于TCPConnector的所有参数部分。

class aiohttp.TCPConnector(*, ssl=None, verify_ssl=True, fingerprint=None, use_dns_cache=True, ttl_dns_cache=10, family=0, ssl_context=None, local_addr=None, resolver=None, keepalive_timeout=sentinel, force_close=False, limit=100, limit_per_host=0, enable_cleanup_closed=False, loop=None)

limit

为了限制同时打开的连接数量,我们可以将限制参数传递给连接器:

conn = aiohttp.TCPConnector(limit=30)#同时最大进行连接的连接数为30,默认是100,limit=0的时候是无限制

limit_per_host:

conn = aiohttp.TCPConnector(limit_per_host=30)#默认是0

同一端点的最大连接数量。同一端点即(host, port, is_ssl)完全相同.

ClientSession

首先我们创建一个session对象,向下面这样使用async声明异步,同时with上下文关键字 省去了关闭连接的代码,

async with aiohttp.ClientSession(connector=conn) as session: 

下面是ClientSession的所有参数,这里用的比较多的是connector,headers,cookies其他的参数大家可以去自己探索一下。

class aiohttp.ClientSession(*, connector=None, loop=None, cookies=None, headers=None, skip_auto_headers=None, auth=None, json_serialize=json.dumps, version=aiohttp.HttpVersion11, cookie_jar=None, read_timeout=None, conn_timeout=None, timeout=sentinel, raise_for_status=False, connector_owner=True, auto_decompress=True, proxies=None

session.get

上面我们创建了session对象,然后我们就要进行请求具体的网站了。

async with session.get(url,headers=headers,timeout=60as req: #获得请求

这一步我们像使用requests那样传入headers参数并指定最大超时为60s。

ClientResponse

然后我们判断请求是否情况,之后我们使用await req.text()获取了网页的源码,注意这里必须使用await关键字来获取协程的结果。然后我们使用了lxml模块获取这三个网页的title标题。

到目前为止我们只是定义了一个协程,并没有真正的运行它接下来我们看看main方法是做什么的。

         full_urllist= 
["https://www.baidu.com","https://www.cnblogs.com","https://www.jianshu.com"]
         event_loop = asyncio.get_event_loop() #创建时间循环
         tasks = [getsource(url) for url in full_urllist]
         results = event_loop.run_until_complete(asyncio.wait(tasks))#等待任务结束

首先我定义了一个列表含有三个目标url,当前你可以定义更多。
asyncio.get_event_loop方法可以创建一个事件循环,然后使用run_until_complete将协程注册到事件循环,并启动事件循环。
协程对象不能直接运行,在注册事件循环的时候,其实是run_until_complete方法将协程包装成为了一个任务(task)对象。所谓task对象是Future类的子类。保存了协程运行后的状态,用于未来获取协程的结果。

asyncio.ensure_future(coroutine) 和 loop.create_task(coroutine)都可以创建一个task,run_until_complete的参数是一个futrue对象。当传入一个协程,其内部会自动封装成task,task是Future的子类。isinstance(task, asyncio.Future)将会输出True。

简单的我们就了解到这吧,如果有什么不懂的地方请留言大家一起讨论。

目录
相关文章
|
27天前
|
设计模式 开发者 UED
深入理解Kotlin中的异步网络请求处理
深入理解Kotlin中的异步网络请求处理
|
2月前
|
JSON API 数据格式
Python网络编程:HTTP请求(requests模块)
在现代编程中,HTTP请求几乎无处不在。无论是数据抓取、API调用还是与远程服务器进行交互,HTTP请求都是不可或缺的一部分。在Python中,requests模块被广泛认为是发送HTTP请求的最简便和强大的工具之一。本文将详细介绍requests模块的功能,并通过一个综合示例展示其应用。
|
4月前
|
数据采集 JSON 数据格式
三:《智慧的网络爬虫》— 网络请求模块(下)
本篇文章讲解了网络请求模块中Requests模块的get请求和post请求,并用十几张图示详细介绍了爬虫工具库与开发者工具的操作与使用;同时本篇文章也列举了多个代码示例如:对搜狗网页的爬取;爬取360翻译(中英文互译程序)并以此介绍了重放请求(通过重放请求来确定反爬参数)以及Cookie与Session实战案例 -- 爬取12306查票
50 9
三:《智慧的网络爬虫》—  网络请求模块(下)
|
4月前
|
数据采集 数据安全/隐私保护 Python
二:《智慧的网络爬虫》— 网络请求模块(上)
网络请求模块就是帮助浏览器(客户端)向服务器发送请求的​。在Python3之前的版本(Python2版本)中所使用的网络请求模块是urllib模块​;在Python3现在的版本中通过urllib模块进行升级 有了现在所使用的requests模块,也就是requests模块是基于urllib模块进行开发的。本篇文章讲解的是urllib模块。
40 2
二:《智慧的网络爬虫》—  网络请求模块(上)
|
4月前
|
JSON Java API
【Android】使用 Retrofit2 发送异步网络请求的简单案例
**摘要:** Retrofit是Android和Java的HTTP客户端库,简化了RESTful API交互。它通过Java接口定义HTTP请求,并提供注解管理参数、HTTP方法等。要使用Retrofit,首先在AndroidManifest.xml中添加`INTERNET`权限,然后在`build.gradle`中引入Retrofit和Gson依赖。创建服务器响应数据类和描述接口的接口,如`Result`和`Api`。通过Retrofit.Builder配置基础URL并构建实例,之后调用接口方法创建Call对象并发送异步请求。
145 1
|
3月前
|
网络协议 Python
在Python中,我们使用`socket`模块来进行网络通信。首先,我们需要导入这个模块。
在Python中,我们使用`socket`模块来进行网络通信。首先,我们需要导入这个模块。
|
4月前
|
机器学习/深度学习 自然语言处理 并行计算
YOLOv8改进 | 注意力机制 | 在主干网络中添加MHSA模块【原理+附完整代码】
Transformer中的多头自注意力机制(Multi-Head Self-Attention, MHSA)被用来增强模型捕捉序列数据中复杂关系的能力。该机制通过并行计算多个注意力头,使模型能关注不同位置和子空间的特征,提高了表示多样性。在YOLOv8的改进中,可以将MHSA代码添加到`/ultralytics/ultralytics/nn/modules/conv.py`,以增强网络的表示能力。完整实现和教程可在提供的链接中找到。
|
4月前
|
机器学习/深度学习 计算机视觉
YOLOv8改进 | 卷积模块 | 在主干网络中添加/替换蛇形卷积Dynamic Snake Convolution
本专栏介绍的DSCNet采用蛇形动态卷积,增强对管状结构特征提取,尤其适合血管等弯曲目标。动态卷积核自适应调整,灵感来自蛇形曲线,能灵活捕捉不同尺度细节。论文及官方代码链接已提供,适用于提升目标检测的准确性和鲁棒性。
|
4月前
|
监控 网络协议 Java
Java一分钟之-Netty:高性能异步网络库
【6月更文挑战第11天】Netty是Java的高性能异步网络框架,基于NIO,以其高吞吐量、低延迟、灵活性和安全性受到青睐。常见问题包括内存泄漏、ChannelHandler滥用和异常处理不当。要规避这些问题,需正确释放ByteBuf,精简ChannelPipeline,妥善处理异常,并深入理解Netty原理。通过代码审查、遵循最佳实践和监控日志,可提升代码质量和性能。掌握Netty,打造高效网络服务。
52 2
|
3月前
|
安全 NoSQL Java
网络安全-----Redis12的Java客户端----客户端对比12,Jedis介绍,使用简单安全性不足,lettuce(官方默认)是基于Netty,支持同步,异步和响应式,并且线程是安全的,支持R
网络安全-----Redis12的Java客户端----客户端对比12,Jedis介绍,使用简单安全性不足,lettuce(官方默认)是基于Netty,支持同步,异步和响应式,并且线程是安全的,支持R
下一篇
无影云桌面