30天拿下Python之requests模块

简介: 30天拿下Python之requests模块

概述

在上一节,我们介绍了Python的logging模块,包括:logging的基本使用、logging的选项设置、日志旋转、logging.Filter类等内容。在这一节,我们将介绍Python的requests模块。requests模块是Python中最常用的HTTP客户端库之一,因为它简单易用,功能强大,并可以发送各种类型的HTTP请求,包括:POST、GET、PUT等。requests模块不是Python的标准库,我们可以通过pip包管理器进行安装。

发送POST请求

使用requests.post()函数可以发送HTTP POST请求,并返回一个Response对象。该对象包含响应的各种信息,比如:状态码、响应头、响应体等。requests.post()函数可以通过data参数传递要发送的数据,通过timeout参数传递超时的时间。

import requests

# 要发送的自定义数据
data = {'key1': 'value1', 'key2': 'value2'}
response = requests.post('https://www.baidu.com', data = data, timeout = 2)

# 检查响的应状态码
if response.status_code == 200:
    print('success')
    print(response.text)
else:
    print('failed, status code is:', response.status_code)

如果想发送Json格式的请求体,可以使用json参数代替data参数,requests模块会自动将Python对象转换为Json格式。

import requests  
  
json_data = {'key1': 'value1', 'key2': 'value2'}
response = requests.post('https://www.test.com/api/test', json = json_data)

发送GET请求

使用requests.get()函数可以发送HTTP GET请求,并返回一个Response对象。

import requests

response = requests.get('https://www.baidu.com/')
# 输出状态码
print(response.status_code)
# 输出响应头
print(response.headers)
# 输出响应体的文本内容
print(response.text)

在GET请求中,参数通常作为查询字符串附加在URL的末尾。而在POST请求中,参数通常作为请求体发送。因此,在使用requests.post()函数时,我们通过data参数传递要发送的数据。而在使用requests.get()函数时,我们通过params参数传递查询参数。

import requests  
  
# 可以替换为目标URL
url = 'https://www.test.com/api/test'
# 要传递的查询参数
params = {'key': 'value'}
response = requests.get(url, params = params, timeout = 2)
  
# 检查响应的状态码
if response.status_code == 200:
    print('success')
    print(response.text)
else:
    print('failed, status code is:', response.status_code)

设置请求头

在requests.post()函数和requests.get()函数中,可以通过headers参数设置自定义的请求头。请求头是一种HTTP消息头,用于传递关于请求的附加信息,比如:User-Agent、Content-Type等。设置请求头可以帮助我们模拟不同的浏览器和客户端,或满足某些API的特殊要求。

import requests

url = 'https://www.test.com/api/test'
headers = {
    'User-Agent': 'Mozilla/5.0',
    'Content-Type': 'application/json'
}
response = requests.get(url, headers = headers)

会话管理

我们可以使用requests.Session()创建一个会话对象,以进行会话管理。通过会话管理,可以在同一会话中发送多个请求,并共享同一份cookies、请求头等信息。

import requests

# 创建会话对象
session = requests.Session()

# 发送第一个请求
url1 = 'https://www.test.com/api/test1'
response1 = session.get(url1)

# 发送第二个请求
url2 = 'https://www.test.com/api/test2'
response2 = session.post(url2, data = {'name': 'Hope'})

# 关闭会话
session.close()

在上面的示例代码中,首先使用requests.Session()创建了一个会话对象session。然后,使用session.get()函数发送第一个GET请求到url1,并使用session.post()函数发送第二个POST请求到url2。由于这些请求都是在同一个会话中发送的,所以它们会共享同一份cookies和请求头等信息。最后,我们调用了session.close()函数来关闭会话。这一步是可选的,因为在Python结束时,会话对象会自动关闭。但如果想在程序中间关闭会话,可以使用session.close()函数来实现。


相关文章
|
3天前
|
数据采集 前端开发 算法
Python Requests 的高级使用技巧:应对复杂 HTTP 请求场景
本文介绍了如何使用 Python 的 `requests` 库应对复杂的 HTTP 请求场景,包括 Spider Trap(蜘蛛陷阱)、SESSION 访问限制和请求频率限制。通过代理、CSS 类链接数控制、多账号切换和限流算法等技术手段,提高爬虫的稳定性和效率,增强在反爬虫环境中的生存能力。文中提供了详细的代码示例,帮助读者掌握这些高级用法。
Python Requests 的高级使用技巧:应对复杂 HTTP 请求场景
|
4天前
|
Python
SciPy 教程 之 SciPy 模块列表 6
SciPy教程之常量模块介绍:涵盖公制、二进制(字节)、质量、角度、时间、长度、压强、体积、速度、温度、能量、功率及力学单位。示例展示了角度单位转换为弧度的几个常用常量。
13 7
|
4天前
|
Python
SciPy 教程 之 SciPy 模块列表 7
`scipy.constants` 模块提供了常用的时间单位转换为秒数的功能。例如,`constants.hour` 返回 3600.0 秒,表示一小时的秒数。其他常用时间单位包括分钟、天、周、年和儒略年。
12 6
|
1天前
|
Python
SciPy 教程 之 SciPy 模块列表 13
SciPy教程之SciPy模块列表13:单位类型。常量模块包含多种单位,如公制、二进制(字节)、质量、角度、时间、长度、压强、体积、速度、温度、能量、功率和力学单位。示例代码展示了如何使用`constants`模块获取零摄氏度对应的开尔文值(273.15)和华氏度与摄氏度的转换系数(0.5556)。
7 1
|
2天前
|
XML 前端开发 数据格式
超级详细的python中bs4模块详解
Beautiful Soup 是一个用于从网页中抓取数据的 Python 库,提供了简单易用的函数来处理导航、搜索和修改分析树。支持多种解析器,如 Python 标准库中的 HTML 解析器和更强大的 lxml 解析器。通过简单的代码即可实现复杂的数据抓取任务。本文介绍了 Beautiful Soup 的安装、基本使用、对象类型、文档树遍历和搜索方法,以及 CSS 选择器的使用。
12 1
|
3天前
|
Python
SciPy 教程 之 SciPy 模块列表 9
SciPy教程之常量模块介绍,涵盖多种单位类型,如公制、质量、角度、时间、长度、压强等。示例展示了如何使用`scipy.constants`模块查询不同压强单位对应的帕斯卡值,包括atm、bar、torr、mmHg和psi。
8 1
|
3天前
|
Python
SciPy 教程 之 SciPy 模块列表 8
SciPy教程之常量模块单位类型介绍。该模块包含多种单位,如公制、质量、角度、时间、长度、压强、体积、速度、温度、能量、功率和力学单位。示例展示了部分长度单位的转换值,例如英寸、英尺、海里等。
9 1
|
5天前
|
知识图谱 Python
SciPy 教程 之 SciPy 模块列表 5
本教程介绍SciPy常量模块中的单位类型,涵盖公制、质量、时间、长度等单位。示例代码展示了如何使用`scipy.constants`模块获取不同质量单位的千克值,如公吨、磅、盎司、原子质量单位等。
9 1
|
1天前
|
Python
SciPy 教程 之 SciPy 模块列表 13
SciPy 教程之 SciPy 模块列表 13 - 单位类型。常量模块包含多种单位:公制、二进制(字节)、质量、角度、时间、长度、压强、体积、速度、温度、能量、功率和力学单位。示例:`constants.zero_Celsius` 返回 273.15 开尔文,`constants.degree_Fahrenheit` 返回 0.5555555555555556。
6 0
|
2天前
|
Python
SciPy 教程 之 SciPy 模块列表 11
SciPy教程之SciPy模块列表11:单位类型。常量模块包含公制单位、质量单位、角度换算、时间单位、长度单位、压强单位、体积单位、速度单位、温度单位、能量单位、功率单位、力学单位等。体积单位示例展示了不同体积单位的换算,如升、加仑、流体盎司、桶等。
7 0