谈谈长连接（Keep-Alive）在超大规模爬虫抓取中的性能差距

惊魂一刻：从加机器反而变慢的事故说起

• 单机最高 QPS 从预期的 800 骤降到了 200 左右。
• 团队紧急加了三倍机器，结果反而出现了请求排队现象。
• 当时 CPU 和内存都有余量，网络带宽也远没打满。
• 但是抓取成功率却从 99% 暴跌到了 85%。

短连接 vs 长连接：让人惊掉下巴的性能差距

• 后续的请求可以直接跳过三次握手和 TLS 握手，直接发送应用层数据。
• 服务端和客户端会各自维护连接状态，在复用期间无需重复进行协商。
• 只有当空闲超时后，任意一方才会关闭连接并释放资源。

规模化后的反噬：Keep-Alive 的隐藏陷阱

1. 连接池耗尽与排队： Keep-Alive 虽复用连接，但每个目标域名需要独立的连接池。如果同时抓取 200 个域名，且每个域名连接池大小是 10，最大并发连接数就是 2000。某个域名响应变慢就会导致其连接池积压请求，甚至拖垮全局任务。
2. 死连接检测滞后： 默认的 Keep-Alive 超时常设在 30-90 秒，但服务端可能 5 秒就单方面关了连接。若仅依赖超时检测，会导致后续大量请求在 500 并发下堆积在无效连接上苦苦等待。
3. 代理 IP 复用困境： 代理服务器的连接池对客户端是黑盒。代理侧累积过多空闲长连接时可能会主动断开，客户端就不得不重新建连重试，推高延迟与失败率。
4. 本地端口耗尽： Linux 默认本地端口范围约 28000 个（32768-60999）。每个 TCP 连接（无论长短）都要占一个端口，高并发下端口耗尽比连接池耗尽更难排查。

最佳实践：如何真正压榨出 Keep-Alive 的性能？

• IP 级别的连接复用： 爬虫代理支持长连接复用，一个 IP 处理多个请求，避免频繁切换 IP 的开销。如果每次请求都换 IP，千万级抓取中光切换动作就能占掉 30% 延迟预算。
• 连接稳定性保障： 其代理节点有主动健康检查，自动下线失效 IP，大幅降低客户端遇到死连接的概率。
• 多地域分布优化： 支持按地域选择节点实现就近抓取，减少网络跳转带来的 RTT（往返时延）增长，从而放大长连接复用的收益。

实战代码：结合爬虫代理的高性能长连接池

import httpx
import asyncio

# 配置亿牛云代理URL (包含认证信息，长连接复用期间无需重复认证)
# 代理 URL 中的用户名密码包含了授权信息，不需要每次请求都重新认证
proxy_url = "http://username:password@<代理域名>:8080"

# 精细化配置连接池 Limits
limits = httpx.Limits(
    max_keepalive_connections=50, # 建议每个域名保留的长连接数在 20-50，不宜过大
    max_connections=200,          # 设置全局最多并发连接，防止突发流量打爆系统
    keepalive_expiry=60           # 代理侧可以容忍较长空闲，但建议客户端控制在 60 秒内，避免死连接占用
)

# 实例化异步客户端，配置代理与连接池限制
client = httpx.AsyncClient(
    proxies=proxy_url,
    limits=limits,
    timeout=15.0
)

# 并发抓取函数：配合连接池复用，同一个代理IP 可以处理多个域名
async def fetch(urls: list[str]):
    tasks = [client.get(url) for url in urls]
    # 使用 gather 并发执行，遇到异常不崩溃而是返回 Exception 对象
    return await asyncio.gather(*tasks, return_exceptions=True)

避坑指南：千万别犯的四个“反模式”

1. 误区一：连接池越大越好。 过大会导致内存飙升，且可能触发代理服务商的并发限制。强烈建议单域名控制在 20-50，全局别超过 500。
2. 误区二：Keep-Alive 超时设得巨长。 为了“减少建连”把 keepalive_expiry 设到 300 秒以上是本末倒置，这会让死连接长期占用资源，代理服务商通常也不接受太长的空闲。建议最高不超过 60 秒。
3. 误区三：不做失败重试和熔断。 长连接迟早会断，不做容错，一个死连接就能毁掉一整批请求。至少保留 2-3 次重试机制并加上短暂熔断。
4. 误区四：死磕同一个代理 IP。 持续用一个 IP 抓同一批网站极其容易被封。哪怕启用了 Keep-Alive，也要按请求量或时间定期通过爬虫代理的 API 动态更换新 IP。