【Python】已解决：urllib.error.HTTPError: HTTP Error 403: Forbidden

在使用 Python 的 urllib 模块进行网络请求时，可能会遇到 urllib.error.HTTPError: HTTP Error 403: Forbidden 错误。这通常表示服务器拒绝了请求，可能是因为缺乏必要的请求头信息或者请求被认为是非法的。本文将详细解析该错误的原因，并提供解决方案。

HTTP 403 错误概述

HTTP 403 错误表示服务器理解请求，但拒绝执行它。常见原因包括：

• 缺少用户代理字符串：一些网站拒绝没有用户代理字符串的请求。
• 访问权限限制：请求的资源需要认证或特定权限。
• 防爬虫措施：网站设置了防爬虫机制，拒绝了大量的自动请求。

示例代码及问题重现

以下是一个可能触发 403 错误的示例代码：

import urllib.request

url = "http://example.com"
response = urllib.request.urlopen(url)
print(response.read().decode())
​

运行上述代码可能会出现 HTTP Error 403: Forbidden 错误。为了解决这个问题，我们需要添加一些请求头信息，使请求看起来像来自合法的浏览器。

解决方案

1. 添加用户代理（User-Agent）

用户代理字符串是浏览器发送给服务器的一个标识符，用于说明请求来源。通过设置用户代理字符串，可以绕过一些简单的防爬虫措施。

以下是添加用户代理的代码：

import urllib.request

url = "http://example.com"
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"}
request = urllib.request.Request(url, headers=headers)
response = urllib.request.urlopen(request)
print(response.read().decode())
​

2. 模拟浏览器请求

除了用户代理，还可以添加其他请求头，例如 Referer 和 Accept-Language，使请求更像是来自真实的浏览器。

示例代码：

import urllib.request

url = "http://example.com"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3",
    "Referer": "http://google.com",
    "Accept-Language": "en-US,en;q=0.9"
}
request = urllib.request.Request(url, headers=headers)
response = urllib.request.urlopen(request)
print(response.read().decode())
​

3. 处理 Cookie

有些网站需要在请求中包含 Cookie。可以使用 http.cookiejar 模块来管理和发送 Cookie。

示例代码：

import urllib.request
import http.cookiejar

url = "http://example.com"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"
}

# 创建一个 CookieJar 对象来存储 Cookie
cookie_jar = http.cookiejar.CookieJar()
handler = urllib.request.HTTPCookieProcessor(cookie_jar)
opener = urllib.request.build_opener(handler)

# 创建请求
request = urllib.request.Request(url, headers=headers)
response = opener.open(request)
print(response.read().decode())
​

4. 处理认证

某些资源需要认证信息，可以使用 HTTPBasicAuthHandler 来处理。

示例代码：

import urllib.request

url = "http://example.com"
username = "your_username"
password = "your_password"
password_mgr = urllib.request.HTTPPasswordMgrWithDefaultRealm()
password_mgr.add_password(None, url, username, password)
auth_handler = urllib.request.HTTPBasicAuthHandler(password_mgr)
opener = urllib.request.build_opener(auth_handler)

# 创建请求
request = urllib.request.Request(url)
response = opener.open(request)
print(response.read().decode())
​

分析说明表

思维导图

解决HTTP 403错误思维导图
└── 解决HTTP 403错误
    ├── 添加用户代理
    ├── 模拟浏览器请求
    │   ├── Referer
    │   └── Accept-Language
    ├── 处理 Cookie
    └── 处理认证
​

总结

通过上述方法，可以有效解决 urllib.error.HTTPError: HTTP Error 403: Forbidden 错误。具体选择哪种方法取决于服务器对请求的限制。通常情况下，添加用户代理和模拟浏览器请求是最常见且有效的解决方案。