在浩瀚的网络海洋中，数据如同宝藏，等待着我们去发掘。Python，以其简洁的语法和强大的库支持，成为了网络爬虫开发的首选语言。而urllib和requests，作为Python中处理网络请求的两大神器，更是让数据抓取变得轻而易举。今天，我们就通过实战案例，携手这两大高手，一同探索Python网络请求的奥秘。
urllib：Python内置的网络请求库
首先，让我们从Python内置的urllib库开始。虽然它的API略显繁琐，但对于理解HTTP请求的本质大有裨益。
示例：使用urllib获取网页内容
python
from urllib.request import urlopen
目标URL
url = 'http://example.com'
发起请求
with urlopen(url) as response:
# 读取响应内容
html = response.read().decode('utf-8')
print(html)
这段代码简单明了，通过urlopen函数发起GET请求，并读取返回的内容。注意，这里我们使用with语句来自动管理资源的打开与关闭，避免了资源泄露的风险。
requests：更人性化的网络请求库
如果说urllib是朴实无华的工匠，那么requests就是那位拥有魔法棒的艺术家。requests库简化了HTTP请求的复杂度，让开发者能够更专注于业务逻辑本身。
示例：使用requests获取网页内容并处理异常
python
import requests
目标URL
url = 'http://example.com'
try:
# 发起GET请求
response = requests.get(url)
# 检查响应状态码
response.raise_for_status() # 如果响应状态码不是200，则抛出HTTPError异常
# 读取并打印响应内容
print(response.text)
except requests.RequestException as e:
print(e)
在这个例子中，我们使用了requests库的get方法发起请求，并通过raise_for_status()方法检查响应状态码。如果状态码表示请求失败（如404、500等），则会抛出HTTPError异常。此外，我们还通过try-except语句捕获了可能发生的RequestException异常，确保了程序的健壮性。
实战进阶：处理Cookies与Session
在网络爬虫中，经常需要处理Cookies以维持会话状态，或者使用Session来保持客户端与服务器之间的连接。
示例：使用requests处理Cookies
python
cookies = {'user_token': 'your_token_here'}
response = requests.get(url, cookies=cookies)
示例：使用requests的Session对象
python
with requests.Session() as s:
s.get('http://example.com/login', auth=('user', 'pass'))
response = s.get('http://example.com/protected')
print(response.text)
通过Session对象，我们可以跨请求保持Cookies和其他会话信息，非常适合需要登录认证的网站爬虫。
结语
从urllib到requests，我们看到了Python网络请求库的不断进化与简化。无论是初学者还是资深开发者，都能在这些工具中找到适合自己的解决方案。通过实战案例的演练，相信你已经对Python网络请求有了更深入的理解。现在，就让我们一起告别网络爬虫小白的身份，向着更高更远的目标进发吧！
