AI 助理
备案控制台
开发者社区 大数据与机器学习 文章 正文

urllib与requests模块万字超详细！！

2024-11-03 59
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
实时数仓Hologres，5000CU*H 100GB 3个月
推荐场景：
轻松玩转一站式实时仓库
实时计算 Flink 版，5000CU*H 3个月
推荐场景：
实时发现最热Github项目
检索分析服务 Elasticsearch 版，2核4GB开发者规格 1个月
推荐场景：
数据可视化分析航班信息
简介： 本文介绍了Python中用于发送网络请求的两个重要模块：`urllib` 和 `requests`。首先，文章详细讲解了 `urllib` 模块的基本使用方法，包括构造请求、发送请求、处理响应等。接着，文章重点介绍了 `requests` 模块，强调了其在企业中的广泛应用，以及如何发送GET和POST请求、处理响应、使用代理、处理Cookie等内容。最后，文章还探讨了 `requests` 模块的高级功能，如处理证书错误、设置超时、使用 `retrying` 模块等，帮助读者全面掌握网络请求的处理技巧。

[TOC]

urllib与requests

一、urllib的学习

学习目标

了解urllib的基本使用

1、urllib介绍

除了requests模块可以发送请求之外, urllib模块也可以实现请求的发送,只是操作方法略有不同!

urllib在python中分为urllib和urllib2，在python3中为urllib

下面以python3的urllib为例进行讲解

2、urllib的基本方法介绍

2.1 urllib.Request

  1. 构造简单请求

    import urllib
#构造请求
request = urllib.request.Request("http://www.baidu.com")
#发送请求获取响应
response = urllib.request.urlopen(request)

  2. 传入headers参数

    import urllib
#构造headers
headers = {
     "User-Agent" : "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)"} 
#构造请求
request = urllib.request.Request(url, headers = headers)
#发送请求
response = urllib.request.urlopen(request)

  3. 传入data参数 实现发送post请求（示例）

    import urllib.request
import urllib.parse
import json

url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'
headers = {
     
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/15.0 Safari/605.1.15',

}
data = {
     
    'cname': '',
    'pid': '',
    'keyword': '北京',
    'pageIndex': 1,
    'pageSize': 10,
}
# 使用post方式
# 需要
data = urllib.parse.urlencode(data).encode('utf-8')
req = urllib.request.Request(url, data=data, headers=headers)
res = urllib.request.urlopen(req)
print(res.getcode())
print(res.geturl())
data = json.loads(res.read().decode('utf-8'))
# print(data)
for i in data['Table1']:
    print(i)

2.2 response.read()

获取响应的html字符串,bytes类型

#发送请求
response = urllib.request.urlopen("http://www.baidu.com")
#获取响应
response.read()

3、urllib请求百度首页的完整例子

import urllib
import json

url = 'http://www.baidu.com'
#构造headers
headers = {
   "User-Agent" : "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)"}
#构造请求
request = urllib.request.Request(url, headers = headers)
#发送请求
response = urllib.request.urlopen(request)
#获取html字符串
html_str = response.read().decode('utf-8')
print(html_str)

4、小结

  1. urllib.request中实现了构造请求和发送请求的方法
  2. urllib.request.Request(url,headers,data)能够构造请求
  3. urllib.request.urlopen能够接受request请求或者url地址发送请求，获取响应
  4. response.read()能够实现获取响应中的bytes字符串

requests模块的入门使用

一、requests模块的入门使用

学习目标：
  1. 了解 requests模块的介绍
  2. 掌握 requests的基本使用
  3. 掌握 response常见的属性
  4. 掌握 requests.text和content的区别
  5. 掌握 解决网页的解码问题
  6. 掌握 requests模块发送带headers的请求
  7. 掌握 requests模块发送带参数的get请求

1、为什么要重点学习requests模块，而不是urllib

  • 企业中用的最多的就是requests
  • requests的底层实现就是urllib
  • requests在python2 和python3中通用，方法完全一样
  • requests简单易用

2、requests的作用与安装

作用：发送网络请求，返回响应数据

安装：pip install requests

3、requests模块发送简单的get请求、获取响应

需求：通过requests向百度首页发送请求，获取百度首页的数据

import requests

# 目标url
url = 'https://www.baidu.com'

# 向目标url发送get请求
response = requests.get(url)

# 打印响应内容
print(response.text)

response的常用属性：

  • response.text 响应体 str类型

  • response.encoding 从HTTP　header中猜测的响应内容的编码方式

  • respones.content 响应体 bytes类型

  • response.status_code 响应状态码

  • response.request.headers 响应对应的请求头

  • response.headers 响应头

  • response.request.cookies 响应对应请求的cookie

  • response.cookies 响应的cookie（经过了set-cookie动作）

  • response.url 获取访问的url

  • response.json() 获取json数据 得到内容为字典 (如果接口响应体的格式是json格式时)

  • response.ok

    如果status_code小于200，response.ok返回True。

    如果status_code大于200，response.ok返回False。

思考：text是response的属性还是方法呢？

  • 一般来说名词，往往都是对象的属性，对应的动词是对象的方法
3.1 response.text 和response.content的区别
  • response.text
    • 类型：str
    • 解码类型： requests模块自动根据HTTP 头部对响应的编码作出有根据的推测，推测的文本编码
    • 如何修改编码方式：response.encoding="gbk/UTF-8"
  • response.content
    • 类型：bytes
    • 解码类型： 没有指定
    • 如何修改编码方式：response.content.deocde("utf8")

获取网页源码的通用方式：

  1. response.content.decode()
  2. response.content.decode("UTF-8")
  3. response.text

以上三种方法从前往后尝试，能够100%的解决所有网页解码的问题

所以：更推荐使用response.content.deocde()的方式获取响应的html页面

3.2 练习：把网络上的图片保存到本地

我们来把www.baidu.com的图片保存到本地

思考：

  • 以什么方式打开文件
  • 保存什么格式的内容

分析：

import requests

# 图片的url
url = 'https://www.baidu.com/img/bd_logo1.png'

# 响应本身就是一个图片,并且是二进制类型
response = requests.get(url)

# print(response.content)

# 以二进制+写入的方式打开文件
with open('baidu.png', 'wb') as f:
    # 写入response.content bytes二进制类型
    f.write(response.content)

4、发送带header的请求

我们先写一个获取百度首页的代码

import requests

url = 'https://www.baidu.com'

response = requests.get(url)

print(response.content)

# 打印响应对应请求的请求头信息
print(response.request.headers)
4.1 思考

对比浏览器上百度首页的网页源码和代码中的百度首页的源码，有什么不同？

代码中的百度首页的源码非常少，为什么？

4.2 为什么请求需要带上header？

模拟浏览器，欺骗服务器，获取和浏览器一致的内容

4.3 header的形式：字典
headers = {
   "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}
4.4 用法
requests.get(url, headers=headers)
4.5 完整的代码
import requests

url = 'https://www.baidu.com'

headers = {
   "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}

# 在请求头中带上User-Agent，模拟浏览器发送请求
response = requests.get(url, headers=headers)

# print(response.content)

# 打印请求头信息
print(response.request.headers)

5、发送带参数的请求

我们在使用百度搜索的时候经常发现url地址中会有一个 ?，那么该问号后边的就是请求参数，又叫做查询字符串

5.1 什么叫做请求参数：

例1： http://www.webkaka.com/tutorial/server/2015/021013/

例2：https://www.baidu.com/s?wd=python&a=c

例1中没有请求参数！例2中?后边的就是请求参数

5.2 请求参数的形式：字典
kw = {
   'wd':'长城'}
5.3 请求参数的用法
requests.get(url,params=kw)
5.4 关于参数的注意点

在url地址中， 很多参数是没有用的，比如百度搜索的url地址，其中参数只有一个字段有用，其他的都可以删除 如何确定那些请求参数有用或者没用：挨个尝试！ 对应的,在后续的爬虫中，越到很多参数的url地址，都可以尝试删除参数

5.5 两种方式：发送带参数的请求

  • 对https://www.baidu.com/s?wd=python发起请求可以使用requests.get(url, params=kw)的方式

    # 方式一：利用params参数发送带参数的请求
import requests

headers = {
     "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}

# 这是目标url
# url = 'https://www.baidu.com/s?wd=python'

# 最后有没有问号结果都一样
url = 'https://www.baidu.com/s?'

# 请求参数是一个字典 即wd=python
kw = {
     'wd': 'python'}

# 带上请求参数发起请求，获取响应
response = requests.get(url, headers=headers, params=kw)

# 当有多个请求参数时，requests接收的params参数为多个键值对的字典，比如 '?wd=python&a=c'-->{'wd': 'python', 'a': 'c'}

print(response.content)

  • 也可以直接对https://www.baidu.com/s?wd=python完整的url直接发送请求，不使用params参数

    # 方式二：直接发送带参数的url的请求
import requests

headers = {
     "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}

url = 'https://www.baidu.com/s?wd=python'

# kw = {'wd': 'python'}

# url中包含了请求参数，所以此时无需params
response = requests.get(url, headers=headers)

6、练习

1.获取新浪首页，查看response.text 和response.content.decode()的区别

2.实现任意贴吧的爬虫，保存网页到本地

7、小结

  1. requests模块的介绍：能够帮助我们发起请求获取响应
  2. requests的基本使用：requests.get(url)
  3. 以及response常见的属性：
    • response.text 响应体 str类型
    • respones.content 响应体 bytes类型
    • response.status_code 响应状态码
    • response.request.headers 响应对应的请求头
    • response.headers 响应头
    • response.request._cookies 响应对应请求的cookie
    • response.cookies 响应的cookie（经过了set-cookie动作）
  4. 掌握 requests.text和content的区别：text返回str类型，content返回bytes类型
  5. 掌握 解决网页的解码问题：
    • response.content.decode()
    • response.content.decode("UTF-8")
    • response.text
  6. 掌握 requests模块发送带headers的请求：requests.get(url, headers={})
  7. 掌握 requests模块发送带参数的get请求：requests.get(url, params={})

二、requests模块的深入使用

学习目标：
  1. 能够应用requests发送post请求的方法
  2. 能够应用requests模块使用代理的方法
  3. 了解代理ip的分类

1、使用requests发送POST请求

思考：哪些地方我们会用到POST请求？

  1. 登录注册（ POST 比 GET 更安全）
  2. 需要传输大文本内容的时候（ POST 请求对数据长度没有要求）

所以同样的，我们的爬虫也需要在这两个地方回去模拟浏览器发送post请求

1.1 requests发送post请求语法：

  • 用法：

    response = requests.post("http://www.baidu.com/", data = data, headers=headers)

  • data 的形式：字典

1.2 POST请求练习

下面面我们通过金山翻译的例子看看post请求如何使用：

地址：https://www.iciba.com/fy

思路分析
  1. 抓包确定请求的url地址
  1. 确定请求的参数
  1. 确定返回数据的位置

  1. 模拟浏览器获取数据

    import requests
import json

headers = {
     "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}

url = 'https://ifanyi.iciba.com/index.php?c=trans&m=fy&client=6&auth_user=key_ciba&sign=99730f3bf66b2582'

data = {
     
    'from': 'zh',
    'to': 'en',
    'q': 'lucky 是一个帅气的老师'
}

res = requests.post(url, headers=headers, data=data)
# print(res.status_code)

# 返回的是json字符串 需要在进行转换为字典
data = json.loads(res.content.decode('UTF-8'))
# print(type(data))
print(data)
print(data['content']['out'])

1.3 小结

在模拟登陆等场景，经常需要发送post请求，直接使用requests.post(url,data)即可

2、使用代理

2.1 为什么要使用代理
  1. 让服务器以为不是同一个客户端在请求
  2. 防止我们的真实地址被泄露，防止被追究
2.2 理解使用代理的过程
2.3 理解正向代理和反向代理的区别

通过上图可以看出：

  • 正向代理：对于浏览器知道服务器的真实地址，例如VPN
  • 反向代理：浏览器不知道服务器的真实地址，例如nginx

详细讲解：

正向代理是客户端与正向代理客户端在同一局域网，客户端发出请求，正向代理 替代客户端向服务器发出请求。服务器不知道谁是真正的客户端，正向代理隐藏了真实的请求客户端。
反向代理：服务器与反向代理在同一个局域网，客服端发出请求，反向代理接收请求 ，反向代理服务器会把我们的请求分转发到真实提供服务的各台服务器Nginx就是性能非常好的反向代理服务器，用来做负载均衡

2.4 代理的使用

  • 用法：

    requests.get("http://www.baidu.com",  proxies = proxies)

  • proxies的形式：字典

  • 例如：

     proxies = {
     
      "http": "http://12.34.56.79:9527",
      "https": "https://12.34.56.79:9527",
}
2.5 代理IP的分类

根据代理ip的匿名程度，代理IP可以分为下面四类：

  • 透明代理(Transparent Proxy)：透明代理的意思是客户端根本不需要知道有代理服务器的存在，但是它传送的仍然是真实的IP。使用透明代理时，对方服务器是可以知道你使用了代理的，并且他们也知道你的真实IP。你要想隐藏的话，不要用这个。透明代理为什么无法隐藏身份呢?因为他们将你的真实IP发送给了对方服务器，所以无法达到保护真实信息。
  • 匿名代理(Anonymous Proxy)：匿名代理隐藏了您的真实IP，但是向访问对象可以检测是使用代理服务器访问他们的。会改变我们的请求信息，服务器端有可能会认为我们使用了代理。不过使用此种代理时，虽然被访问的网站不能知道你的ip地址，但仍然可以知道你在使用代理，当然某些能够侦测ip的网页也是可以查到你的ip。（https://wenku.baidu.com/view/9bf7b5bd3a3567ec102de2bd960590c69fc3d8cf.html）
  • 高匿代理(Elite proxy或High Anonymity Proxy)：高匿名代理不改变客户机的请求，这样在服务器看来就像有个真正的客户浏览器在访问它，这时客户的真实IP是隐藏的，完全用代理服务器的信息替代了您的所有信息，就象您就是完全使用那台代理服务器直接访问对象，同时服务器端不会认为我们使用了代理。IPDIEA覆盖全球240＋国家地区ip高匿名代理不必担心被追踪。

在使用的使用，毫无疑问使用高匿代理效果最好

从请求使用的协议可以分为：

  • http代理
  • https代理
  • socket代理等

不同分类的代理，在使用的时候需要根据抓取网站的协议来选择

2.6 代理IP使用的注意点

  • 反反爬

    使用代理ip是非常必要的一种反反爬的方式

    但是即使使用了代理ip，对方服务器任然会有很多的方式来检测我们是否是一个爬虫，比如：

    • 一段时间内，检测IP访问的频率，访问太多频繁会屏蔽

    • 检查Cookie，User-Agent，Referer等header参数，若没有则屏蔽

    • 服务方购买所有代理提供商，加入到反爬虫数据库里，若检测是代理则屏蔽

      所以更好的方式在使用代理ip的时候使用随机的方式进行选择使用，不要每次都用一个代理ip

  • 代理ip池的更新

    购买的代理ip很多时候大部分(超过60%)可能都没办法使用，这个时候就需要通过程序去检测哪些可用，把不能用的删除掉。

3、配置

  • 浏览器配置代理

    右边三点\==> 设置\==> 高级\==> 代理\==> 局域网设置\==> 为LAN使用代理==> 输入ip和端口号即可

    参考网址：https://jingyan.baidu.com/article/a681b0dece76407a1843468d.html

  • 代码配置

    urllib

    handler = urllib.request.ProxyHandler({
     'http': '114.215.95.188:3128'})
opener = urllib.request.build_opener(handler)
# 后续都使用opener.open方法去发送请求即可

    requests

    # 用到的库
import requests
# 写入获取到的ip地址到proxy
# 一个ip地址
proxy = {
     
    "http": "http://12.34.56.79:9527",
    "https": "https://12.34.56.79:9527",
}
"""
# 多个ip地址
proxy = [
  {'https':'https://221.178.232.130:8080'},
  {'http':'http://221.178.232.130:8080'}
]
import random
proxy = random.choice(proxy)
"""
# 用百度检测ip代理是否成功
url = 'https://www.baidu.com/s?'
# 请求网页传的参数
params={
     
    'wd':'ip地址'
}
# 请求头
headers = {
     
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'
}
# 发送get请求
response = requests.get(url=url,headers=headers,params=params,proxies=proxy)
# 获取返回页面保存到本地，便于查看
with open('ip.html','w',encoding='utf-8') as f:
    f.write(response.text)

4、小结

  1. requests发送post请求使用requests.post方法，带上请求体，其中请求体需要时字典的形式，传递给data参数接收
  2. 在requests中使用代理，需要准备字典形式的代理，传递给proxies参数接收
  3. 不同协议的url地址，需要使用不同的代理去请求

三、requests模块处理cookie相关的请求

学习目标

掌握requests处理cookie的三种方法

1 爬虫中使用cookie

为了能够通过爬虫获取到登录后的页面，或者是解决通过cookie的反扒，需要使用request来处理cookie相关的请求

1.1 爬虫中使用cookie的利弊
  • 带上cookie的好处
    • 能够访问登录后的页面
    • 能够实现部分反反爬
  • 带上cookie的坏处
    • 一套cookie往往对应的是一个用户的信息，请求太频繁有更大的可能性被对方识别为爬虫
    • 那么上面的问题如何解决 ?：使用多个账号
1.2 requests处理cookie的方法

使用requests处理cookie有三种方法：

  • cookie字符串放在headers中
  • 把cookie字典放传给请求方法的cookies参数接收
  • 使用requests提供的session模块

2、cookie添加在heades中

2.1 headers中cookie的位置
  • headers中的cookie：
    • 使用分号(;)隔开
    • 分号两边的类似a=b形式的表示一条cookie
    • a=b中，a表示键（name），b表示值（value）
    • 在headers中仅仅使用了cookie的name和value
2.2 cookie的具体组成的字段

由于headers中对cookie仅仅使用它的name和value，所以在代码中我们仅仅需要cookie的name和value即可

2.3 在headers中使用cookie

复制浏览器中的cookie到代码中使用

headers = {
   
"User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36",
"Cookie":" Pycharm-26c2d973=dbb9b300-2483-478f-9f5a-16ca4580177e; Hm_lvt_98b9d8c2fd6608d564bf2ac2ae642948=1512607763; Pycharm-26c2d974=f645329f-338e-486c-82c2-29e2a0205c74; _xsrf=2|d1a3d8ea|c5b07851cbce048bd5453846445de19d|1522379036"}

requests.get(url,headers=headers)
注意：

cookie有过期时间 ，所以直接复制浏览器中的cookie可能意味着下一程序继续运行的时候需要替换代码中的cookie，对应的我们也可以通过一个程序专门来获取cookie供其他程序使用；当然也有很多网站的cookie过期时间很长，这种情况下，直接复制cookie来使用更加简单

3、使用cookies参数接收字典形式的cookie

  • cookies的形式：字典
cookies = {
   "cookie的name":"cookie的value"}
  • 使用方法：
requests.get(url,headers=headers,cookies=cookie_dict}

  • 实例（爬取雪球网）

    在网络中找到当前请求的网址 点击cookies 将当前的k,value复制到代码中

    cookie_dict = {
     
    'u': '1990923459',
    'bid': '1f110dfd43538f4b8362dfcd21ffbb64_l27g4lfl',
    'xq_is_login': '1',
    'xq_r_token': '5dcbe83944f0b75325f91246061d4a2a01999367'
}

    完整代码

    import requests

# 携带cookie登录雪球网  抓取完善个人资料页面
headers = {
     
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.127 Safari/537.36',
    'Referer': 'https://xueqiu.com/u/1990923459',
    'Host': 'xueqiu.com',
}
url = 'https://xueqiu.com/users/connectnew?redirect=/setting/user'

cookie_dict = {
     
    'u': '1990923459',
    'bid': '1f110dfd43538f4b8362dfcd21ffbb64_l27g4lfl',
    'xq_is_login': '1',
    'xq_r_token': '5dcbe83944f0b75325f91246061d4a2a01999367'
}
res = requests.get(url, headers=headers, cookies=cookie_dict)
with open('雪球网.html', 'w') as f:
    f.write(res.content.decode('UTF-8'))
    print(res.content.decode('UTF-8'))

    成果

4、使用requests.session处理cookie

前面使用手动的方式使用cookie，那么有没有更好的方法在requets中处理cookie呢？

requests 提供了一个叫做session类，来实现客户端和服务端的会话保持

会话保持有两个内涵：

  • 保存cookie，下一次请求会带上前一次的cookie
  • 实现和服务端的长连接，加快请求速度
4.1 使用方法
session = requests.session()
response = session.get(url,headers)

session实例在请求了一个网站后，对方服务器设置在本地的cookie会保存在session中，下一次再使用session请求对方服务器的时候，会带上前一次的cookie

4.2 动手练习：模拟登陆
思路分析
  1. 准备url地址和请求参数
  2. 构造session发送post请求
  3. 使用session请求个人主页，观察是否请求成功

5、小结

  1. cookie字符串可以放在headers字典中，键为Cookie，值为cookie字符串
  2. 可以把cookie字符串转化为字典，使用请求方法的cookies参数接收
  3. 使用requests提供的session模块，能够自动实现cookie的处理，包括请求的时候携带cookie，获取响应的时候保存cookie

四、requests模块的其他方法

学习目标
  1. 掌握requests中cookirJar的处理方法
  2. 掌握requests解决https证书错误的问题
  3. 掌握requests中超时参数的使用
  4. 掌握retrying模块的使用

1、requests中cookirJar的处理方法

使用request获取的resposne对象，具有cookies属性，能够获取对方服务器设置在本地的cookie，但是如何使用这些cookie呢？

1.1 方法介绍
  1. response.cookies是CookieJar类型
  2. 使用requests.utils.dict_from_cookiejar，能够实现把cookiejar对象转化为字典
1.2 方法展示
import requests

url = "http://www.baidu.com"
#发送请求，获取resposne
response = requests.get(url)
print(type(response.cookies))

#使用方法从cookiejar中提取数据  等同于  dict(response.cookies)
cookies = requests.utils.dict_from_cookiejar(response.cookies)
print(cookies)

输出为:

<class 'requests.cookies.RequestsCookieJar'>
{
   'BDORZ': '27315'}
注意：

在前面的requests的session类中，我们不需要处理cookie的任何细节，如果有需要，我们可以使用上述方法来解决

2、requests处理证书错误

经常我们在网上冲浪时，经常能够看到下面的提示：

出现这个问题的原因是：ssl的证书不安全导致

2.1 代码中发起请求的效果

那么如果在代码中请求会怎么样呢？

import requests

url = "https://www.12306.cn/mormhweb/"
response = requests.get(url)

返回证书错误，如下：

ssl.CertificateError ...
2.2 解决方案

为了在代码中能够正常的请求，我们修改添加一个参数

import requests

url = "https://www.12306.cn/mormhweb/"
response = requests.get(url,verify=False)

3、超时参数的使用

在平时网上冲浪的过程中，我们经常会遇到网络波动，这个时候，一个请求等了很久可能任然没有结果

在爬虫中，一个请求很久没有结果，就会让整个项目的效率变得非常低，这个时候我们就需要对请求进行强制要求，让他必须在特定的时间内返回结果，否则就报错

3.1 超时参数使用方法如下：
response = requests.get(url,timeout=3)

通过添加timeout参数，能够保证在3秒钟内返回响应，否则会报错

注意：

这个方法还能够拿来检测代理ip的质量，如果一个代理ip在很长时间没有响应，那么添加超时之后也会报错，对应的这个ip就可以从代理ip池中删除

4、retrying模块的使用

使用超时参数能够加快我们整体的请求速度，但是在正常的网页浏览过成功，如果发生速度很慢的情况，我们会做的选择是刷新页面，那么在代码中，我们是否也可以刷新请求呢？

对应的，retrying模块就可以帮助我们解决

4.1 retrying模块的使用

retrying模块的地址：https://pypi.org/project/retrying/

pip install retrying

retrying 模块的使用

  1. 使用retrying模块提供的retry模块
  2. 通过装饰器的方式使用，让被装饰的函数反复执行
  3. retry中可以传入参数stop_max_attempt_number,让函数报错后继续重新执行，达到最大执行次数的上限，如果每次都报错，整个函数报错，如果中间有一个成功，程序继续往后执行
4.2 retrying和requests的简单封装

实现一个发送请求的函数，每次爬虫中直接调用该函数即可实现发送请求，在其中

  • 使用timeout实现超时报错
  • 使用retrying模块实现重试

代码参考:

# parse.py
import requests
from retrying import retry

headers = {
   }

#最大重试3次，3次全部报错，才会报错
@retry(stop_max_attempt_number=3) 
def _parse_url(url):
    #超时的时候回报错并重试
    response = requests.get(url, headers=headers, timeout=3) 
    #状态码不是200，也会报错并重试
    assert response.status_code == 200
    return response


def parse_url(url)
    try: #进行异常捕获
        response = _parse_url(url)
    except Exception as e:
        print(e)
        #报错返回None
        response = None
    return response

5、扩展

1、**kwargs:控制访问的参数，均为可选项
  • params: 字典或字节序列，作为参数增加到url中
  • data:字典，字节序列或文件对象,作为Request的内容
  • headers: 字典, HTTP定制头
  • timeout: 设定超时时间，秒为单位
  • proxies [ˈprɑksiz] : 字典类型，设定访问代理服务器，可以增加登录认证
  • verify[ˈverəti] : True/False默认Ture,认证ssl证书开关
文章标签：
Python
数据采集
应用服务中间件
网络安全
JSON
墨城coding
目录
相关文章
bruce_xiaowei
|
3月前
|
JSON 数据格式
请求模块requests（二）
请求模块requests（二）
bruce_xiaowei
72 12
算精通
|
4月前
|
数据采集 Python
urllib
【8月更文挑战第18天】
算精通
37 1
小空门123-30335
|
5月前
|
数据采集 缓存 负载均衡
requests
requests
小空门123-30335
66 9
念广隶
|
7月前
|
安全 测试技术 API
urllib3库的介绍以及使用
`urllib3`是Python的HTTP库，支持HTTP/HTTPS，自动管理连接池，提供代理、证书配置，重定向处理等功能。其优势在于连接池管理和HTTPS支持。要安装，使用`pip install urllib3`。发起HTTP请求如`http.request(&#39;GET&#39;, &#39;http//example.com&#39;)`。处理响应包括状态码、头部和内容。高级功能包括连接池管理、超时和重试策略。注意线程安全、资源释放及错误处理。官方文档和相关文章可提供更多信息。
念广隶
212 0
断墨寻径
requests库
requests库
断墨寻径
71 0
过分的规定
|
JSON 网络协议 数据格式
全方面掌握Requests库的使用
全方面掌握Requests库的使用
过分的规定
253 0
xgrang
|
数据采集 XML 存储
urllib模块的使用
urllib模块的使用
xgrang
62 0
游客vchhg2ptkd6kw
|
JSON 数据格式
requests库的使用——Get请求
requests第三方库的简单使用
游客vchhg2ptkd6kw
371 0
requests库的使用——Get请求
游客vchhg2ptkd6kw
|
应用服务中间件 nginx Python
urllib库的使用
简单实用
游客vchhg2ptkd6kw
120 0
urllib库的使用
云内容小助手
|
JSON 数据格式 开发者
Requests 模块的使用 | 学习笔记
快速学习 Requests 模块的使用
云内容小助手
114 0
Requests 模块的使用 | 学习笔记

大数据与机器学习

热门文章

最新文章

  • 1
    DataV首次实战分享：教你30分钟创建汽车大屏
  • 2
    数据库开放权限太危险，又不想写API。DataV给你另外一个选择。
  • 3
    【玩转数据系列十】利用阿里云机器学习在深度学习框架下实现智能图片分类
  • 4
    每个人都应该知道的25个大数据术语
  • 5
    odps是什么?
  • 6
    拍立淘-以图搜图中的图像搜索算法
  • 7
    分布式快照算法: Chandy-Lamport
  • 8
    2017杭州云栖大会FAQ（持续更新中）
  • 9
    干货：解码OneData，阿里的数仓之路。
  • 10
    现代流式计算的基石：Google DataFlow
  • 1
    单目标问题的烟花优化算法求解matlab仿真,对比PSO和GA
    19
  • 2
    1688.item_search_shop API：开启电商数据新纪元
    13
  • 3
    MaxFrame 性能评测：阿里云MaxCompute上的分布式Pandas引擎
    12
  • 4
    MaxFrame在工作、生活中的应用
    10
  • 5
    MaxFrame 产品评测报告
    11
  • 6
    StarRocks元数据无法合并
    12
  • 7
    京东店铺所有商品数据接口（JD.item_search_shop）丨京东API接口指南
    13
  • 8
    Paimon 1.0: Unified Lake Format for Data + AI
    176
  • 9
    多维偏好分析及其在实际决策中的应用：基于PCA-KMeans的数据降维与模式识别方法
    25
  • 10
    强化学习在游戏开发中的应用：打造智能化游戏体验
    48

    • 相关电子书

    更多
  • 低代码开发师（初级）实战教程
  • 冬季实战营第三期：MySQL数据库进阶实战
  • 阿里巴巴DevOps 最佳实践手册
    • 下一篇
    手把手教你白嫖阿里云服务器(免费领服务器)