在现代编程中，HTTP请求几乎无处不在。无论是数据抓取、API调用还是与远程服务器进行交互，HTTP请求都是不可或缺的一部分。在Python中，requests模块被广泛认为是发送HTTP请求的最简便和强大的工具之一。本文将详细介绍requests模块的功能，并通过一个综合示例展示其应用。
一、requests模块简介
requests模块是一个用于发送HTTP请求的第三方库，其设计初衷是简化HTTP请求的发送和处理。与Python标准库中的urllib相比，requests提供了更直观和便捷的API，使开发者能够快速编写功能强大的HTTP客户端。
1.1 安装requests模块
在使用requests模块之前，需要先安装它。可以使用pip进行安装：
pip install requests
1.2 导入requests模块
安装完成后，可以在Python脚本中导入requests模块：
import requests
二、发送HTTP请求
requests模块支持多种类型的HTTP请求，包括GET、POST、PUT、DELETE等。下面将逐一介绍这些请求的用法。
2.1 GET请求
GET请求用于从服务器获取数据。requests.get方法可以发送一个GET请求，并返回一个响应对象。
示例：
import requests response = requests.get('https://api.github.com') print(response.status_code) print(response.text)
在这个示例中，我们向GitHub API发送了一个GET请求，并打印了响应的状态码和响应内容。
2.2 POST请求
POST请求用于向服务器提交数据。requests.post方法可以发送一个POST请求，并返回一个响应对象。
示例：
import requests data = {'key': 'value'} response = requests.post('https://httpbin.org/post', data=data) print(response.status_code) print(response.json())
在这个示例中，我们向httpbin.org发送了一个POST请求，并提交了一个包含键值对的数据。
2.3 PUT请求
PUT请求用于更新服务器上的资源。requests.put方法可以发送一个PUT请求，并返回一个响应对象。
示例：
import requests data = {'key': 'new_value'} response = requests.put('https://httpbin.org/put', data=data) print(response.status_code) print(response.json())
在这个示例中，我们向httpbin.org发送了一个PUT请求，并提交了一个包含更新数据的请求体。
2.4 DELETE请求
DELETE请求用于删除服务器上的资源。requests.delete方法可以发送一个DELETE请求，并返回一个响应对象。
示例：
import requests response = requests.delete('https://httpbin.org/delete') print(response.status_code) print(response.json())
在这个示例中，我们向httpbin.org发送了一个DELETE请求，并打印了响应的状态码和响应内容。
三、请求参数和头信息
在实际应用中，通常需要在请求中包含参数和头信息。requests模块提供了便捷的方式来添加这些信息。
3.1 URL参数
可以使用params参数向URL中添加查询参数。
示例：
import requests params = {'q': 'python'} response = requests.get('https://www.google.com/search', params=params) print(response.url)
在这个示例中，我们向Google搜索添加了查询参数q=python。
3.2 请求头
可以使用headers参数添加自定义请求头。
示例：
import requests headers = {'User-Agent': 'my-app'} response = requests.get('https://api.github.com', headers=headers) print(response.status_code) print(response.headers)
在这个示例中，我们向GitHub API添加了自定义的User-Agent请求头。
四、响应处理
requests模块返回的响应对象包含丰富的信息和方法，方便我们处理HTTP响应。
4.1 状态码
可以通过响应对象的status_code属性获取HTTP状态码。
示例：
import requests response = requests.get('https://api.github.com') print(response.status_code)
4.2 响应内容
可以通过响应对象的text和json方法获取响应内容。
示例：
import requests response = requests.get('https://api.github.com') print(response.text) # 以字符串形式获取响应内容 print(response.json()) # 以JSON形式获取响应内容
4.3 响应头
可以通过响应对象的headers属性获取响应头信息。
示例：
import requests response = requests.get('https://api.github.com') print(response.headers)
五、文件上传和下载
在实际应用中，常常需要上传和下载文件。requests模块提供了便捷的文件处理方法。
5.1 文件上传
可以使用files参数上传文件。
示例：
import requests files = {'file': open('test.txt', 'rb')} response = requests.post('https://httpbin.org/post', files=files) print(response.status_code) print(response.json())
5.2 文件下载
可以使用响应对象的content属性保存下载的文件。
示例：
import requests response = requests.get('https://www.example.com/image.jpg') with open('image.jpg', 'wb') as file: file.write(response.content)
六、处理Cookies
requests模块可以自动处理Cookies，并允许手动设置和获取Cookies。
6.1 自动处理Cookies
示例：
import requests session = requests.Session() session.get('https://httpbin.org/cookies/set?name=value') response = session.get('https://httpbin.org/cookies') print(response.json())
6.2 手动设置和获取Cookies
示例：
import requests cookies = {'name': 'value'} response = requests.get('https://httpbin.org/cookies', cookies=cookies) print(response.json())
七、超时和重试
为了防止请求长时间等待，可以设置超时时间。此外，可以通过第三方库实现请求重试机制。
7.1 设置超时时间
示例：
import requests try: response = requests.get('https://www.example.com', timeout=5) print(response.status_code) except requests.exceptions.Timeout: print('Request timed out')
7.2 实现请求重试
可以使用requests与urllib3库结合实现请求重试。
示例：
import requests from requests.adapters import HTTPAdapter from requests.packages.urllib3.util.retry import Retry session = requests.Session() retry = Retry(total=3, backoff_factor=0.1) adapter = HTTPAdapter(max_retries=retry) session.mount('http://', adapter) session.mount('https://', adapter) try: response = session.get('https://www.example.com') print(response.status_code) except requests.exceptions.RequestException as e: print(f'Request failed: {e}')
八、综合示例
下面是一个综合示例，展示了如何使用requests模块实现一个简单的API客户端，获取GitHub用户的公开信息，并将结果保存为JSON文件。
import requests import json def fetch_github_user(username): url = f'https://api.github.com/users/{username}' response = requests.get(url) if response.status_code == 200: return response.json() else: response.raise_for_status() def save_to_file(data, filename): with open(filename, 'w') as file: json.dump(data, file, indent=4) def main(): username = 'octocat' user_data = fetch_github_user(username) print(f'Fetched data for {username}:') print(json.dumps(user_data, indent=4)) filename = f'{username}.json' save_to_file(user_data, filename) print(f'Data saved to {filename}') if __name__ == '__main__': main()
运行结果：
Fetched data for octocat: { "login": "octocat", "id": 583231, "node_id": "MDQ6VXNlcjU4MzIzMQ==", ... } Data saved to octocat.json
结论
本文详细介绍了Python的requests模块，包括发送各种类型的HTTP请求、处理请求参数和头信息、处理响应、文件上传和下载、处理Cookies、设置超时和实现请求重试等内容。通过综合示例，展示了如何使用requests模块实现一个简单的API客户端。希望本文能够帮助读者更好地理解和掌握requests模块，为实际项目开发提供有力支持。
作者：Rjdeng
