使用urllib设置代理和传递/保存cookie
在进行网络爬虫开发时，我们经常会使用Python的urllib库来发送HTTP请求和获取返回值。在一些情况下，我们需要设置代理服务器才能访问目标网站，或者我们需要在多个HTTP请求之间传递和保存cookie以维护会话状态。本文将介绍如何使用urllib来实现这两个功能。
设置代理服务器
有些网站会限制对自己的访问，比如只允许来自特定国家的IP地址访问。这时候，我们可以使用代理服务器来绕过这种限制。使用urllib设置代理服务器非常简单，只需要在创建urllib请求对象时，指定ProxyHandler即可。下面是一个例子：
import urllib.request # 设置代理服务器地址和端口号 proxy_handler = urllib.request.ProxyHandler({'http': '<http://127.0.0.1:8080>'}) # 创建opener对象 opener = urllib.request.build_opener(proxy_handler) # 使用opener对象发送HTTP请求 response = opener.open('<http://www.example.com>') # 打印返回结果 print(response.read().decode('utf-8'))
在上面的例子中，我们使用了本地的代理服务器127.0.0.1:8080来访问http://www.example.com。如果你没有代理服务器，可以使用一些免费的公共代理服务器。
传递和保存cookie
有些网站会在用户登录后分配一个会话ID，之后的每个HTTP请求都需要传递这个会话ID以维护会话状态。这时候，我们需要在多个HTTP请求之间传递和保存cookie。使用urllib传递和保存cookie也很简单，只需要在创建urllib请求对象时，添加一个HTTPCookieProcessor处理器即可。下面是一个例子：
import urllib.request import http.cookiejar # 创建cookiejar对象 cookie_jar = http.cookiejar.CookieJar() # 创建HTTPCookieProcessor对象 cookie_processor = urllib.request.HTTPCookieProcessor(cookie_jar) # 创建opener对象 opener = urllib.request.build_opener(cookie_processor) # 使用opener对象发送HTTP请求，并保存cookie response1 = opener.open('<http://www.example.com/login>') response2 = opener.open('<http://www.example.com/user/profile>') # 打印返回结果 print(response2.read().decode('utf-8'))
在上面的例子中，我们首先创建了一个cookiejar对象来保存cookie，然后创建了一个HTTPCookieProcessor处理器，并将cookiejar对象传递给它。最后，我们使用opener对象发送HTTP请求，并且在请求过程中，cookie会被自动传递和保存。
除了使用cookiejar对象来保存cookie之外，我们还可以将cookie保存到文件中，以便下一次使用时读取。下面是一个例子：
import urllib.request import http.cookiejar # 创建cookiejar对象 cookie_jar = http.cookiejar.MozillaCookieJar('cookie.txt') # 创建HTTPCookieProcessor对象 cookie_processor = urllib.request.HTTPCookieProcessor(cookie_jar) # 创建opener对象 opener = urllib.request.build_opener(cookie_processor) # 使用opener对象发送HTTP请求，并保存cookie到文件中 response1 = opener.open('<http://www.example.com/login>') cookie_jar.save(ignore_discard=True) # 从文件中读取cookie，并创建新的cookiejar对象 cookie_jar = http.cookiejar.MozillaCookieJar('cookie.txt') cookie_jar.load() # 使用新的cookiejar对象创建HTTPCookieProcessor对象 cookie_processor = urllib.request.HTTPCookieProcessor(cookie_jar) # 创建新的opener对象，使用cookie opener = urllib.request.build_opener(cookie_processor) response2 = opener.open('<http://www.example.com/user/profile>') # 打印返回结果 print(response2.read().decode('utf-8'))
在上面的例子中，我们首先创建了一个名为cookie.txt的文件来保存cookie，在第一个HTTP请求中将cookie保存到文件中，在第二个HTTP请求中从文件中读取cookie并使用它。这种方法可以让我们在多次运行程序时保持会话状态。
总结
本文介绍了如何使用urllib来设置代理服务器和传递/保存cookie。这两个功能在网络爬虫开发中非常有用，能够帮助我们绕过一些限制，保持会话状态，从而更好地完成爬虫任务。希望这篇文章能够帮助你更好地使用urllib库。
