urllib.request构建请求对象（写入UA）

request模块可以通过get()方法传入headers参数，urllib.request.urlopen()却没有此参数。

import urllib.request
req = urllib.request.urlopen(url,headers=headers) # 会报错
# TypeError: urlopen() got an unexpected keyword argument 'headers',urlopen()不支持urse-agent

因此，使用urllib.request.urlopen()访问通常要先构建请求对象。

import urllib.request
# 设置好url，以百度为例
url = 'https://www.baidu.com'

# 1. 创建请求对象，构建并写入请求头user-agent
headers = {
    
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36'
}
# 使用Reauest方法
req = urllib.request.Request(url, headers=headers)  # 先构建请求对象

# 2. 获取响应对象
# 发请求,response为响应对象
response = urllib.request.urlopen(req)  # 获取响应对象（urllib的响应对象），这里传入的不再是url，而是构建好的请求对象

# print(response.read()) # 这里读取到的是乱码
html = response.read().decode('utf-8')  # 解码

print(html)  # 打印出源码

# print(response)
# print(response.read())
print(response.getcode())  # 200 获取状态码，代表请求成功
print(response.geturl())  # 请求的url地址 返回实际数据的url，可以防止重定向问题。

结果不再展示。

相比而言，使用requests库则简洁的多

import requests

url = 'https://www.baidu.com'

headers = {
    
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36'
}

# 开始请求
html = requests.get(url, headers=headers)
# print(html)  # 打印出 <Response [200]>  得到响应码，200表示请求成功
print(html.content.decode('utf-8'))  # 类似十六进制数，是字节流
# print(html.text)  # 打印出乱码
'''
html.content:直接从网站上面直接抓取数据，没有做任何处理，没有做任何解码
html.text 是requests模块将html.content解码后得到的字符串，翠玉此解码过程，requests库会猜一个解码方方式，如果没有猜对，则会出现乱码，需要手动指定一个编码encoding。所以一般不用text属性，而是直接对content使用decode()方法，参数常设置为“utf-8”。
'''