做数据采集的经常遇到:换了代理之后请求依然失败,或者跑一会儿就全部超时,反复检查解析逻辑却找不到问题。其实多数情况问题不在代理本身,而在请求行为的细节上。这篇按出现频率整理了 5 类常见原因,每类附现象、原因和排查方法,文末有一张可直接收藏的排查清单。前提:所有采集仅限公开数据,遵守目标站点的 robots 协议与服务条款,控制访问频率,合法合规使用。
原因 1:请求头信息不完整
现象:请求刚发出就收到 403。
原因:程序默认的 User-Agent 是 python-requests/2.31.0 这种格式,与正常浏览器差异明显,很多站点会对非浏览器特征的请求直接返回 403。
排查方法:打印一下实际发出的请求头,对照浏览器开发者工具里的真实请求补齐:
import random
UA_POOL = [
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36",
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.1 Safari/605.1.15",
"Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:121.0) Gecko/20100101 Firefox/121.0",
]
headers = {
"User-Agent": random.choice(UA_POOL),
"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
"Accept-Language": "zh-CN,zh;q=0.9,en;q=0.8",
}
resp = requests.get(url, headers=headers, proxies=proxies, timeout=10)
注意是整套头一起补齐:只换 UA 但缺 Accept、Accept-Language,在检查严格的站点依然会失败。
原因 2:会话状态与出口IP不匹配
现象:出口IP每次都在变,但跑一段时间后请求成功率明显下降。
原因:requests.Session() 会复用 cookie。出口IP变化后仍携带同一份会话状态,站点侧会把"多个IP、同一会话"识别为异常访问模式。
排查方法:确认你的任务是否需要会话保持——
def new_request(proxy):
session = requests.Session() # 无会话依赖的任务:每次请求新建 session
session.headers.update(make_headers())
return session.get(url, proxies={
"http": proxy, "https": proxy}, timeout=10)
需要登录态的任务(比如采集自己账号的后台数据)则相反:保持会话稳定、降低IP切换频率。会话和IP轮换的节奏要匹配任务类型,这一点在设计阶段就要想清楚。
原因 3:请求节奏过于规律
现象:低频访问也会失败,且失败时间点比较集中。
原因:固定间隔 time.sleep(1) 意味着每秒一个请求、分秒不差。站点对访问节奏的统计里,这种等间隔模式与正常用户行为差异很大。
排查方法:把间隔打散,并控制单IP的请求速率:
import random
import time
time.sleep(random.uniform(0.5, 2.0)) # 基础随机间隔
if random.random() < 0.05: # 模拟真实浏览中的停顿
time.sleep(random.uniform(3, 8))
同时检查并发量:单IP的 QPS 建议控制在 2 以内。经验参考:并发数 ≈ IP数 × 单IP安全QPS × 站点容忍度系数(0.5~1)。频率控制不只是为了成功率,也是对目标站点的基本尊重。
原因 4:代理配置未生效
现象:日志里看到的还是本机出口IP,或采集到的数据不符合预期地区。
原因:requests 的 proxies 字典键必须小写 http / https,写成大写会静默失效——不报错,但请求没有走代理。这是新手提问里出现频率最高的问题。
排查方法:任何代理配置,先验证再生效:
proxies = {
"http": "http://113.xxx.xxx.xxx:4231", # 键必须小写
"https": "http://113.xxx.xxx.xxx:4231",
# 账号密码鉴权写成 http://账号:密码@ip:端口
}
print(requests.get("https://httpbin.org/ip", proxies=proxies, timeout=10).json())
# 返回的 origin 是代理IP → 配置生效;是本机IP → 先修配置,再排查其他问题
SOCKS5 协议注意两点:先 pip install "requests[socks]";地址用 socks5h:// 前缀(带 h 表示域名解析也在代理端完成,避免本地 DNS 泄露导致出口不一致)。
原因 5:IP 来源的稳定性问题
现象:以上全部排查过,失败率依然居高不下,且失败集中在同一IP段。
原因:来源不稳定的共享IP(比如公开的免费代理)被大量用户复用,其历史访问记录已经影响到该IP的信誉。这类IP无论怎么配置,成功率都无法保障。
排查方法:把IP质量纳入采集前的验证流程:
# 批量验证:记录每个IP在目标站点上的状态码分布和响应时间
for ip_port in ip_list:
r = requests.get(target_url, proxies=make_proxies(ip_port), timeout=10)
record(ip_port, r.status_code, r.elapsed.total_seconds())
# 状态码正常率、响应时间达标的IP才进入业务池
免费代理只适合用来验证代码逻辑。正式业务建议使用可独立分配、来源可追溯的代理服务,并在小流量验证通过后再放量。
排查清单(建议收藏)
| 报错/现象 | 按顺序先查 |
|---|---|
| 第一个请求就 403 | 原因1:请求头是否完整 → 原因4:代理是否生效 |
| 跑一段时间后成功率下降 | 原因3:频率与并发 → 原因2:会话状态 |
| 全部超时 | 原因4:代理端口/协议对不对 → 原因5:换一批IP对比测试 |
| 换IP也没用 | 原因2:cookie 是否复用 → 原因5:IP段整体稳定性 |
| 请求"成功"但数据不对 | 原因4:代理未生效,返回的是本机视角数据 |
排查顺序记住一句:先确认代理生效(原因4),再查请求特征(原因1/2),再查节奏(原因3),最后才评估IP来源(原因5)。顺序反了,会在正确的配置上浪费大量时间。
下期预告:《Scrapy 中间件接入代理:自动轮换 + 失败重试完整方案》,关注不迷路。