一、前言
进行高频率的请求时，为避免被封，我们需要使用代理IP。代理IP可以隐藏真实IP地址，可以有效降低被封的概率。这里将介绍几种常见的代理IP使用方案和其使用方式，并通过代码案例进行演示。
二、代理IP方案
在使用代理IP之前，需要先了解几种代理IP的方案。
1. HTTP代理
最常见的代理IP方案，只能代理HTTP请求，无法代理HTTPS请求。
2. SOCKS5代理
除了支持HTTP代理，还支持socks5协议，可以代理TCP和UDP请求。
3. 购买代理服务
购买代理服务，一般有高匿代理、透明代理和代理池等，可以根据需求购买。
三、代理IP使用方式
1. 使用requests库
requests库是Python中常用的网络请求库，可以很方便地设置代理IP。具体代码如下：
import requests proxy = { 'http': 'http://10.10.1.10:3128', 'https': 'http://10.10.1.10:1080' } requests.get(url, proxies=proxy)
其中，`http`和`https`分别表示代理服务器的协议类型，`10.10.1.10:3128`和`10.10.1.10:1080`表示代理服务器的IP地址和端口号。
2. 使用urllib库
urllib库也可以设置代理IP，具体代码如下：
import urllib.request proxy = urllib.request.ProxyHandler({'http': 'http://10.10.1.10:3128'}) opener = urllib.request.build_opener(proxy) urllib.request.install_opener(opener) response = urllib.request.urlopen(url)
其中，`http`表示代理服务器的协议类型，`10.10.1.10:3128`表示代理服务器的IP地址和端口号。
3. 使用selenium库
selenium库可以模拟浏览器行为，可以设置代理IP。具体代码如下：
from selenium.webdriver import Chrome, ChromeOptions options = ChromeOptions() options.add_argument('--proxy-server=http://10.10.1.10:3128') driver = Chrome(options=options) driver.get(url)
其中，`http`表示代理服务器的协议类型，`10.10.1.10:3128`表示代理服务器的IP地址和端口号。
4. 使用scrapy框架
scrapy框架是Python中常用的框架，也可以很方便地设置代理IP。具体代码如下：
class MySpider(scrapy.Spider): name = 'myspider' start_urls = ['http://www.example.com'] custom_settings = { 'DOWNLOADER_MIDDLEWARES': { 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 1, 'myproject.middlewares.ProxyMiddleware': 100, }, } def parse(self, response): pass
其中，`myproject.middlewares.ProxyMiddleware`是自定义的中间件，用于设置代理IP。
四、代码案例
1. 使用requests库设置代理IP
import requests url = 'http://www.example.com' proxy = { 'http': 'http://10.10.1.10:3128', 'https': 'http://10.10.1.10:1080' } response = requests.get(url, proxies=proxy) print(response.text)
2. 使用urllib库设置代理IP
import urllib.request url = 'http://www.example.com' proxy = urllib.request.ProxyHandler({'http': 'http://10.10.1.10:3128'}) opener = urllib.request.build_opener(proxy) urllib.request.install_opener(opener) response = urllib.request.urlopen(url) print(response.read())
3. 使用selenium库设置代理IP
from selenium.webdriver import Chrome, ChromeOptions url = 'http://www.example.com' options = ChromeOptions() options.add_argument('--proxy-server=http://10.10.1.10:3128') driver = Chrome(options=options) driver.get(url) print(driver.page_source)
4. 使用scrapy框架设置代理IP
import scrapy class MySpider(scrapy.Spider): name = 'myspider' start_urls = ['http://www.example.com'] custom_settings = { 'DOWNLOADER_MIDDLEWARES': { 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 1, 'myproject.middlewares.ProxyMiddleware': 100, }, } def parse(self, response): pass
五、总结
设置代理IP可以有效地避免被封的风险，但需要注意选择合适的代理IP，并在使用代理IP时遵循相关法律法规。本文介绍了几种常见的代理IP方案和其使用方式，并提供了代码案例进行演示。
