前言
requests和aiohttp是两个非常常用的工具，本文将分别介绍如何在它们中使用代理IP。
一、requests中代理IP的使用
1.1 requests包简介
requests是一个Python第三方库，用于发送HTTP请求，简化网络请求的过程。使用requests可以方便地发送get、post、put、delete等常见的请求，也可以发送HTTP、HTTPS等协议的请求。在爬虫开发过程中，requests是一个非常常用的工具。
1.2 requests中使用代理IP的原因
当我们在使用requests发送请求时，我们的请求会带上自己的IP地址。这意味着我们的请求会暴露我们的真实IP地址，而一些网站会对我们的请求进行限制，例如对频繁访问的请求进行拒绝，或者对某些国家或地区的IP地址进行限制等。
在这种情况下，我们可以使用代理IP。代理IP是一种可以隐藏我们的真实IP地址的技术，即通过代理服务器来发送请求，使得请求的IP地址变为代理服务器的IP地址。使用代理IP可以有效地避免我们的请求被限制，提高我们的请求成功率。
1.3 requests中使用代理IP的方法
requests中使用代理IP的方法非常简单，只需要在发送请求时指定代理IP即可。具体步骤如下：
1. 导入requests库
import requests
2. 指定代理IP
proxies = { "http": "http://10.10.1.10:3128", "https": "http://10.10.1.10:1080", }
其中，http和https分别代表HTTP和HTTPS协议，"http://10.10.1.10:3128"和"http://10.10.1.10:1080"代表代理服务器的IP地址和端口号，需要根据实际情况进行修改。
3. 发送请求时指定代理IP
response = requests.get(url, proxies=proxies)
其中，url为请求的地址，proxies为指定的代理IP。
1.4 requests中使用代理IP的示例
下面以访问百度的搜索页为例，演示如何使用代理IP发送请求。
import requests # 指定代理IP proxies = { "http": "http://10.10.1.10:3128", "https": "http://10.10.1.10:1080", } # 发送请求时指定代理IP response = requests.get("https://www.baidu.com/s?wd=python", proxies=proxies) # 打印响应内容 print(response.text)
在这个例子中，我们使用了一个代理IP，即"http://10.10.1.10:3128"和"http://10.10.1.10:1080"，然后发送一个请求访问https://www.baidu.com/s?wd=python，并打印出响应内容。如果代理IP有效，我们将会看到百度搜索结果的页面内容。
二、aiohttp中代理IP的使用
2.1 aiohttp包简介
aiohttp是一个Python第三方库，用于异步HTTP请求。它支持异步方式发送HTTP、HTTPS等协议的请求，支持WebSocket等网络协议。在爬虫开发中，aiohttp可以帮助我们更高效地发送请求和处理响应。
2.2 aiohttp中使用代理IP的原因
当我们在使用aiohttp发送异步请求时，我们的请求同样会暴露我们的真实IP地址。而一些网站会对我们的请求进行限制，例如对频繁访问的请求进行拒绝，或者对某些国家或地区的IP地址进行限制等。在这种情况下，我们同样可以使用代理IP来隐藏我们的真实IP地址，提高请求成功率。
2.3 aiohttp中使用代理IP的方法
aiohttp中使用代理IP的方法与requests相似，只需要在请求时指定代理IP即可。具体步骤如下：
1. 导入aiohttp库
import aiohttp
2. 指定代理IP
proxies = "http://10.10.1.10:3128"
其中，"http://10.10.1.10:3128"代表代理服务器的IP地址和端口号，需要根据实际情况进行修改。
3. 创建session对象
async with aiohttp.ClientSession() as session: # 发送请求时指定代理IP async with session.get(url, proxy=proxies) as response: # 处理响应
其中，url为请求的地址，proxies为指定的代理IP。
2.4 aiohttp中使用代理IP的示例
下面以访问百度的搜索页为例，演示如何使用代理IP发送请求。
import asyncio import aiohttp async def main(): # 指定代理IP proxies = "http://10.10.1.10:3128" # 创建session对象 async with aiohttp.ClientSession() as session: # 发送请求时指定代理IP async with session.get("https://www.baidu.com/s?wd=python", proxy=proxies) as response: # 处理响应 print(await response.text()) loop = asyncio.get_event_loop() loop.run_until_complete(main())
在这个例子中，我们使用了一个代理IP，即"http://10.10.1.10:3128"，然后创建一个session对象，发送一个请求访问https://www.baidu.com/s?wd=python，并打印出响应内容。
三、requests和aiohttp中代理IP的注意事项
- 首先需要确保代理IP是有效的，可以使用一些在线代理IP检测网站进行验证。
- 在使用代理IP发送请求时需要考虑代理服务器的稳定性和速度，以免影响请求的成功率和效率。
- 如果要使用多个代理IP进行请求，需要进行IP轮换，以避免过于频繁的访问导致代理服务器被封禁。
- 在使用代理IP时需要注意合法性，不要使用非法的代理IP进行请求，以免出现法律问题。
总结
requests和aiohttp是两个非常常用的工具。当我们需要隐藏真实IP地址时，可以使用代理IP，通过代理服务器发送请求，达到隐藏真实IP地址的目的，提高请求成功率。在使用代理IP时需要注意代理服务器的稳定性和速度，以及合法性，遵守相关法律法规。
