python爬虫urllib3模块详解

简介: python爬虫urllib3模块详解

鉴于urllib请求模块的功能已经无法满足开发者的需求,出现了功能更强大的urllib3模块,urllib3模块是一个第三方的网络请求模块。

安装命令:pip install urllib3


1.发送网络请求

使用urllib3发送网络请求时,需要首先创建PoolManager对象,再通过该对象调用 request() 方法发送请求。
request(method,url,fields=None,headers=None)

  • method 必选参数,用于指定请求方式,如GET,POST,PUT等。
  • url 必须按参数,要访问的url
  • fields 可选参数,设置请求的参数
  • headers 可选参数,请求头

1.1GET请求

import urllib3    # 导入urllib3模块
url = 'https://www.python.org/'
http = urllib3.PoolManager()   # 创建连接池管理对象
r = http.request('GET', url)    # 发送GET请求
print(r.status)                # 打印请求状态码

程序运行结果:
在这里插入图片描述

使用 PoolManager对象(即连接池管理对象) 可以实现向多个服务器发送请求。

import urllib3    # 导入urllib3模块
urllib3.disable_warnings()               # 关闭ssl警告
jingdong_url = 'https://www.jd.com/'     # 京东url地址
python_url = 'https://www.python.org/'   # Python url地址
baidu_url = 'https://www.baidu.com/'     # 百度url地址
http = urllib3.PoolManager()             # 创建连接池管理对象
r1 = http.request('GET', jingdong_url)    # 向京东地址发送GET请求
r2 = http.request('GET', python_url)      # 向python地址发送GET请求
r3 = http.request('GET', baidu_url)       # 向百度地址发送GET请求
print('京东请求状态码:', r1.status)
print('python请求状态码:', r2.status)
print('百度请求状态码:', r3.status)

程序运行结果:
在这里插入图片描述

1.2POST请求

发送post请求同样使用request方法,只需要将request方法中的method参数设置为POST,将fields参数设置为字典类型的表单参数。

import urllib3    # 导入urllib3模块
urllib3.disable_warnings()               # 关闭ssl警告
url = 'https://www.httpbin.org/post'    # post请求测试地址
params = {
    'name': 'Jack', 'country': '中国', 'age': 30}  # 定义字典类型的请求参数,这里可以随意写进行测试
http = urllib3.PoolManager()             # 创建连接池管理对象
r = http.request('POST', url, fields=params)    # 发送POST请求
print('返回结果:', r.data.decode('utf-8'))

在这里插入图片描述
可以看出表单中的"中国"两个汉字没有正常显示。而是显示了一段unicode编码,对此可以将编码方式设置为unicode_escape。

print(r.data.decode('unicode_escape'))

这样就正常显示了。
在这里插入图片描述

1.3 重试请求

urllib3可以自动重试请求,request()方法请求重试次数默认为3次,如果要修改重试次数,可以设置retires参数。

import urllib3    # 导入urllib3模块
urllib3.disable_warnings()               # 关闭ssl警告
url = 'https://www.httpbin.org/get'    # get请求测试地址
http = urllib3.PoolManager()             # 创建连接池管理对象
r = http.request('GET', url)              # 发送GET请求,默认重试请求
r1 = http.request('GET', url, retries=5)   # 发送GET请求,设置5次重试请求
r2 = http.request('GET', url, retries=False)  # 发送GET请求,关闭重试请求
print('默认重试请求次数:', r.retries.total)
print('设置重试请求次数:', r1.retries.total)
print('关闭重试请求次数:', r2.retries.total)

程序运行结果:
在这里插入图片描述

1.4 处理响应内容

可通过info()方法获取响应头信息。

import urllib3    # 导入urllib3模块
urllib3.disable_warnings()               # 关闭ssl警告
url = 'https://www.httpbin.org/get'    # get请求测试地址
http = urllib3.PoolManager()             # 创建连接池管理对象
r = http.request('GET', url)              # 发送GET请求,默认重试请求
response_header = r.info()               # 获取响应头
for key in response_header.keys():      # 循环遍历打印响应头信息
    print(key, ':', response_header.get(key))

在这里插入图片描述

处理服务器返回的JSON信息
通过json模块的 loads() 方法将响应json数据转换为字典类型。

import urllib3    # 导入urllib3模块
import json       # 导入json模块
urllib3.disable_warnings()               # 关闭ssl警告
url = 'https://www.httpbin.org/post'    # post请求测试地址
params = {
    'name': 'Jack', 'country': '中国', 'age': 30}  # 定义字典类型的请求参数
http = urllib3.PoolManager()             # 创建连接池管理对象
r = http.request('POST', url, fields=params)    # 发送POST请求
j = json.loads(r.data.decode('unicode_escape'))  # 将响应数据转换为字典类型
print('数据类型:', type(j))
print('获取form对应的数据:', j.get('form'))
print('获取country对应的数据:', j.get('form').get('country'))

在这里插入图片描述

二进制数据
如果响应数据为二进制数据,则可以使用open()函数将二进制数据转换为图片。

import urllib3    # 导入urllib3模块
urllib3.disable_warnings()               # 关闭ssl警告
url = 'http://sck.rjkflm.com:666/spider/file/python.png'  # 图片请求地址
http = urllib3.PoolManager()             # 创建连接池管理对象
r = http.request('GET', url)              # 发送网络请求
print(r.data)                            # 打印二进制数据
f = open('python.png', 'wb+')             # 创建open对象
f.write(r.data)                          # 写入数据
f.close()                                # 关闭

运行结果省略。生成图片文件如下:
在这里插入图片描述


2.发送复杂请求

2.1 设置请求头

示例如下:

import urllib3    # 导入urllib3模块
urllib3.disable_warnings()               # 关闭ssl警告
url = 'https://www.httpbin.org/get'    # get请求测试地址

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36'}
http = urllib3.PoolManager()                   # 创建连接池管理对象
r = http.request('GET', url, headers=headers)    # 发送GET请求
print(r.data.decode('utf-8'))                  # 打印返回内容

2.2 设置超时

超时的参数与时间可以写在request()方法中,也可以写在PoolManager()实例对象中。
示例:

import urllib3    # 导入urllib3模块
urllib3.disable_warnings()               # 关闭ssl警告
baidu_url = 'https://www.baidu.com/'    # 百度 超时请求测试地址
python_url = 'https://www.python.org/'  # Python 超时请求测试地址
http = urllib3.PoolManager()                   # 创建连接池管理对象
try:
    r = http.request('GET', baidu_url, timeout=0.01) # 发送GET请求,并设置超时时间为0.01秒
except Exception as error:
    print('百度超时:', error)
http2 = urllib3.PoolManager(timeout=0.1)  # 创建连接池管理对象,并设置超时时间为0.1秒
try:
    r = http2.request('GET', python_url)  # 发送GET请求
except Exception as error:
    print('Python超时:', error)

在这里插入图片描述
如果需要更精准,则可以使用 Timeout 实例对象设置连接超时读取超时
示例代码:

import urllib3
from urllib3 import Timeout
urllib3.disable_warnings()
timeout = Timeout(connect=0.5, read=0.1)
http = urllib3.PoolManager(timeout=timeout)
http.request('GET', "https://www.python.org/")

或者

import urllib3
from urllib3 import Timeout
urllib3.disable_warnings()
timeout = Timeout(connect=0.5, read=0.1)
http = urllib3.PoolManager()
http.request('GET', "https://www.python.org/", timeout=timeout)

2.3设置代理

设置代理IP需要创建ProxyManager对象,该对象需要有两个参数;proxy_url表示需要使用的代理IP,headers即请求头。

import urllib3    # 导入urllib3模块
url = "http://httpbin.org/ip"            # 代理IP请求测试地址
headers = {
    
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36'
}
# 创建代理管理对象
proxy = urllib3.ProxyManager('xxxxxxxxxxxx', headers=headers)
r = proxy.request('get', url, timeout=2.0)  # 发送请求
print(r.data.decode())                    # 打印返回结果

(代理IP自行设置)


3.上传文件

request()方法提供了两种比较常用的文件上传方式:
①一种是通过fields参数以元组的形式分别指定文件名、文件内容以及文件类型
②另一种指定body参数,该参数对应值为图片的二进制数据,然后还需要headers参数指定文件类型

  • 上传文本文件
    创建一个test.txt文件放在相同目录下进行测试。
import urllib3    # 导入urllib3模块
import json       # 导入json模块
with open('test.txt') as f:    # 打开文本文件
  data = f.read()               # 读取文件
http = urllib3.PoolManager()    # 创建连接池管理对象
# 发送网络请求
r = http.request('POST', 'http://httpbin.org/post', fields={
    'filefield': ('example.txt', data),})
files = json.loads(r.data.decode('utf-8'))['files']  # 获取上传文件内容
print(files)     

创建一个python.jpg文件放在相同目录下进行测试。

  • 上传图片文件
import urllib3    # 导入urllib3模块
with open('python.jpg', 'rb') as f:  # 打开图片文件
  data = f.read()                    # 读取文件
http = urllib3.PoolManager()    # 创建连接池管理对象
# 发送请求
r = http.request('POST', 'http://httpbin.org/post', body=data, headers={
    'Content-Type': 'image/jpeg'})
print(r.data.decode())          # 打印返回结果

程序测试结果(部分):
在这里插入图片描述

目录
相关文章
|
24天前
|
数据采集 存储 XML
Python爬虫:深入探索1688关键词接口获取之道
在数字化经济中,数据尤其在电商领域的价值日益凸显。1688作为中国领先的B2B平台,其关键词接口对商家至关重要。本文介绍如何通过Python爬虫技术,合法合规地获取1688关键词接口,助力商家洞察市场趋势,优化营销策略。
|
1月前
|
开发者 Python
如何在Python中管理模块和包的依赖关系?
在实际开发中,通常会结合多种方法来管理模块和包的依赖关系,以确保项目的顺利进行和可维护性。同时,要及时更新和解决依赖冲突等问题,以保证代码的稳定性和可靠性
47 4
|
10天前
|
Python
Python Internet 模块
Python Internet 模块。
105 74
|
28天前
|
算法 数据安全/隐私保护 开发者
马特赛特旋转算法:Python的随机模块背后的力量
马特赛特旋转算法是Python `random`模块的核心,由松本真和西村拓士于1997年提出。它基于线性反馈移位寄存器,具有超长周期和高维均匀性,适用于模拟、密码学等领域。Python中通过设置种子值初始化状态数组,经状态更新和输出提取生成随机数,代码简单高效。
105 63
|
1月前
|
测试技术 Python
手动解决Python模块和包依赖冲突的具体步骤是什么?
需要注意的是,手动解决依赖冲突可能需要一定的时间和经验,并且需要谨慎操作,避免引入新的问题。在实际操作中,还可以结合使用其他方法,如虚拟环境等,来更好地管理和解决依赖冲突😉。
|
1月前
|
持续交付 Python
如何在Python中自动解决模块和包的依赖冲突?
完全自动解决所有依赖冲突可能并不总是可行,特别是在复杂的项目中。有时候仍然需要人工干预和判断。自动解决的方法主要是提供辅助和便捷,但不能完全替代人工的分析和决策😉。
|
9天前
|
数据采集 JSON API
如何利用Python爬虫淘宝商品详情高级版(item_get_pro)API接口及返回值解析说明
本文介绍了如何利用Python爬虫技术调用淘宝商品详情高级版API接口(item_get_pro),获取商品的详细信息,包括标题、价格、销量等。文章涵盖了环境准备、API权限申请、请求构建和返回值解析等内容,强调了数据获取的合规性和安全性。
|
1月前
|
JSON Linux 数据格式
Python模块:从入门到精通,只需一篇文章!
Python中的模块是将相关代码组织在一起的单元,便于重用和维护。模块可以是Python文件或C/C++扩展,Python标准库中包含大量模块,如os、sys、time等,用于执行各种任务。定义模块只需创建.py文件并编写代码,导入模块使用import语句。此外,Python还支持自定义模块和包,以及虚拟环境来管理项目依赖。
Python模块:从入门到精通,只需一篇文章!
|
14天前
|
数据采集 存储 API
利用Python爬虫获取1688关键词接口全攻略
本文介绍如何使用Python爬虫技术合法合规地获取1688关键词接口数据,包括环境准备、注册1688开发者账号、获取Access Token、构建请求URL、发送API请求、解析HTML及数据处理存储等步骤,强调遵守法律法规和合理使用爬虫技术的重要性。
|
21天前
|
数据采集 JSON 开发者
Python爬虫京东商品详情数据接口
京东商品详情数据接口(JD.item_get)提供商品标题、价格、品牌、规格、图片等详细信息,适用于电商数据分析、竞品分析等。开发者需先注册账号、创建应用并申请接口权限,使用时需遵循相关规则,注意数据更新频率和错误处理。示例代码展示了如何通过 Python 调用此接口并处理返回的 JSON 数据。