代理IP的 3 层用法,从手动换IP到高并发采集(附完整代码)

简介: 本文详解代理IP从“能用”到“高并发”的3个进阶层级:第1层单代理接入(200条/分),第2层代理池轮换(600条/分),第3层代理×异步并发(1200条/分)。代码基于真实服务商接口,开箱即用,助你告别封禁与半夜运维。

同一个爬虫,加了代理池和并发后,采集速度从 200 条/分钟提到 1200 条/分钟,还不用半夜起来处理封禁。本文把代理IP从"能接入"到"高并发"的 3 个层级一次讲完,代码基于真实服务商接口写成,换成你自己的接入信息即可运行。

层级 做法 典型采集速度 封禁率
第 1 层 单代理接入 ~200 条/分钟 较高
第 2 层 代理池轮换 ~600 条/分钟 中
第 3 层 代理 × 并发 ~1200 条/分钟 中

第 1 层:接入——单代理配置

现在主流的短效动态IP都支持白名单和账号密码两种鉴权:

import requests

# 方式A:白名单鉴权(提取时 auto_whitelist=true 自动加白,或会员中心手动加白)
proxies = {
   
    "http": "http://113.xxx.xxx.xxx:4231",     # 提取到的 IP:端口
    "https": "http://113.xxx.xxx.xxx:4231",
}

# 方式B:账号密码鉴权(多机部署不用挨个加白)
# proxies = {
   
#     "http": "http://你的账号:你的密码@113.xxx.xxx.xxx:4231",
#     "https": "http://你的账号:你的密码@113.xxx.xxx.xxx:4231",
# }

resp = requests.get("https://httpbin.org/ip", proxies=proxies, timeout=10)
print(resp.json())  # origin 是代理IP,说明生效了

三个必踩的坑:

  1. proxies 键必须小写 http / https——写成大写会静默失效,不报错但你一直在裸奔,这是新手问得最多的问题。
  2. timeout 必须设,否则一个坏IP能卡死整个任务。
  3. SOCKS5 先 pip install "requests[socks]",地址写 socks5h://(带 h 把域名解析放到代理出口,防 DNS 泄露,强风控场景必用)。

第 2 层:轮换——代理池入门

单IP扛不住高并发,就养一个池子:通过服务商 API 批量提取、随机取用、失效自动剔除。

import time
import random
import requests
from collections import deque

API_BASE = "https://api.sdbufeng.vip"

def get_token(username, password):
    """会员账号登录换 API Token(缓存起来,别每次提取都重新登录)"""
    resp = requests.get(f"{API_BASE}/api/login",
        params={
   "username": username, "password": password}, timeout=10).json()
    if resp.get("status") == 0:
        return resp["data"]["token"]
    raise Exception(f"登录失败: {resp.get('msg')}")

class SimpleProxyPool:
    """最小可用代理池:提取 → 校验 → 轮换 → 剔除失效"""

    def __init__(self, token, proxy_type="http"):
        self.token = token
        self.proxy_type = proxy_type      # http 或 socks5
        self.pool = deque(maxlen=200)
        self.failed = set()               # 失效IP黑名单

    def fetch_proxies(self, amount=20):
        resp = requests.get(f"{API_BASE}/bf/shared/getip", params={
   
            "token": self.token,
            "proxy_type": self.proxy_type,
            "amount": amount,
            "expire": "5-30",             # 有效期档位,按套餐和任务周期填
            "format": "txt",              # 每行一个 ip:端口
            "auto_whitelist": "true",     # 自动加白本机出口IP
        }, timeout=10)
        for line in resp.text.strip().splitlines():
            ip_port = line.strip()
            if ip_port and ip_port not in self.failed:
                self.pool.append(ip_port)
        print(f"[池] 当前存量: {len(self.pool)}")

    def check(self, proxy):
        try:
            requests.get("https://httpbin.org/ip",
                proxies={
   "http": f"http://{proxy}", "https": f"http://{proxy}"},
                timeout=5)
            return True
        except Exception:
            return False

    def get(self):
        for _ in range(5):
            if self.pool:
                proxy = random.choice(list(self.pool))
                if self.check(proxy):
                    return proxy
                self.pool.remove(proxy)
                self.failed.add(proxy)
            else:
                self.fetch_proxies()
        raise RuntimeError("代理池已枯竭,请检查提取频率或IP质量")

    def report_fail(self, proxy):
        """业务请求失败时调用,把坏IP踢出池子"""
        if proxy in self.pool:
            self.pool.remove(proxy)
            self.failed.add(proxy)


# ---- 使用示例 ----
token = get_token("你的账号", "你的密码")   # 建议放环境变量
pool = SimpleProxyPool(token=token)

for i in range(10):
    proxy = pool.get()
    try:
        requests.get("https://目标网站.com/data",
            proxies={
   "http": f"http://{proxy}", "https": f"http://{proxy}"},
            timeout=10)
        print(f"[{i}] {proxy} 采集成功")
    except Exception:
        pool.report_fail(proxy)
    time.sleep(random.uniform(0.5, 1.5))   # 随机延迟,别用固定间隔

三个决定池子能不能跑生产的细节:

  1. 失败IP必须拉黑:report_fail 别省,坏IP反复复用是封禁率居高不下的头号原因。
  2. 延迟要随机:固定 sleep(1) 是典型机器特征,用 random.uniform 打散。
  3. 池子大小 ≈ 并发数 × 10:短效IP一般有 3/5/10/30 分钟多档有效期,expire 要和任务周期对齐——任务跑 20 分钟别选 3 分钟档,中途换IP会断会话。

第 3 层:并发——代理 × 异步

到几百条/分钟还想再快,上 asyncio + aiohttp(比 threading 更适合采集这种 IO 密集任务):

import asyncio
import aiohttp

PROXY = "http://113.xxx.xxx.xxx:4231"   # 从池子里取出的 IP:端口
TARGETS = [f"https://目标网站.com/item/{i}" for i in range(1000)]

async def fetch(session, url, sem):
    async with sem:                     # 信号量控制并发
        try:
            async with session.get(url, proxy=PROXY,
                    timeout=aiohttp.ClientTimeout(total=15)) as resp:
                await resp.text()
                return True
        except Exception:
            return False

async def main():
    sem = asyncio.Semaphore(50)         # 并发数,先从 50 起步
    async with aiohttp.ClientSession(
            connector=aiohttp.TCPConnector(limit=100)) as session:
        results = await asyncio.gather(
            *[fetch(session, url, sem) for url in TARGETS])
    print(f"成功 {sum(results)}/{len(TARGETS)}")

asyncio.run(main())

并发数不是越大越好,经验公式:

并发数 ≈ 代理IP数 × 单IP安全QPS(1~2) × 目标站容忍度系数(0.5~1)

例:50 个可用IP、单IP安全 QPS 1.5、系数 0.8 → 并发 ≈ 60。超了封禁率陡增,"快"就变成"返工"。生产上更稳的写法:并发层和第 2 层池子组合——每个请求从池里取IP,失败调 report_fail,池子自动补货。


顺带说一句:动态还是静态?

业务 选什么
数据采集、批量抓取、临时任务 短效动态IP(本文用的就是它)
电商多店铺、社媒账号、要长期保持登录态 静态独享IP——动态IP频繁跳变本身就是风控信号

总结

  1. 接入解决"从 0 到 1":键要小写、必设超时、SOCKS5 用 socks5h://
  2. 轮换解决"IP不够用":失败拉黑、随机延迟、有效期和任务周期对齐
  3. 并发解决"速度不够":并发数按公式算,池子+并发组合才是生产形态
相关文章
|
18天前
|
Linux 开发工具 iOS开发
Codex保姆级教程(下载+安装+登录+使用,含所有版本,2026最新)
Codex是OpenAI推出的开源AI编程智能体,本地运行,可理解整个代码库,支持自然语言指令改代码、执行命令、跑测试、修Bug,兼容Win/macOS/Linux。(239字)
8180 58
|
3天前
|
弹性计算 人工智能 API
Codex超详细入门指南(下载·安装·登录·上手,全版本覆盖,2026最新版)
建议收藏本教程,2026 全年各版本更新随时回来查阅。如果你在搭建过程中遇到任何问题,欢迎结合 阿里云工单系统 提交技术支持请求,或在 阿里云开发者社区 搜索 Codex 相关话题交流。 祝你编码愉快,效率翻倍!
1567 1
|
6天前
|
JSON 前端开发 API
阿里云最新Qwen4-Max大模型介绍:模型定位、特征、能力、适用场景解析
2026 年 11 月 11 日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问 AI 平台 Token Plan,并同步接入千问办公、Qoder 等入口。该版本聚焦知识理解、世界感知、编程与 Agentic 四项升级,主打复杂编程、专业办公、前端设计与专业软件操作。预览期至 11 月 25 日 24:00,到期后模型标识下线;限时 2 折、新用户再享 5 折,最低 1 折可体验。
|
19天前
|
JavaScript API iOS开发
DeepSeek Harness下载、安装、配置一篇搞定(2026整理,送常用插件)
DeepSeek Harness(DSH)是DeepSeek于2026年开源的MIT协议AI Agent框架,支持插件化组装模型、工具、沙箱与UI,兼容主流大模型。本文提供免Node.js的桌面端安装包(Win/macOS),含详细图文教程及热门插件推荐。
5745 69
|
6天前
|
云安全 人工智能 安全
|
13天前
|
Linux 开发工具 iOS开发
2026最新codex下载安装保姆级使用教程(下载+安装+登录+使用,含所有历史版本)
本文详解OpenAI Codex国内快速上手指南:提供Win/macOS/Linux全平台免安装包、npm/Homebrew等多方式安装、账号/API Key双登录、简体中文切换,覆盖下载、安装、汉化、使用及高频避坑(如微软商店失败、npm超时等),10分钟即可跑通。
2973 9
|
6天前
|
人工智能 前端开发 API
阿里云Qwen4-Max 大模型详解:定位、特征、能力、适用场景与相对Qwen3-Max差异解析
2026年11月11日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问AI平台Token Plan并接入千问办公、Qoder等入口。该版本聚焦知识理解、世界感知、编程与Agentic四项升级,主打复杂编程、专业办公、前端设计与专业软件操作等真实任务。预览期为11月11日10:00至11月25日24:00,仅支持Token Plan调用,到期后模型标识下线;限时2折、新用户再享5折,最低1折可体验。
|
3天前
|
Linux Go 开发工具
手机上跑 DeepSeek 智能体:开源安卓客户端 DSH Go 安装与使用指南
DSH Go 是一款开源安卓客户端,将 DeepSeek Harness 智能体引擎装进手机:免 Root、免 Termux,一键安装即用;支持本机运行(内置 Ubuntu+Node.js)或远程接管电脑会话;具备插话打断、过程折叠、屏幕操控、端到端加密分享等特色功能,真正实现智能体“口袋化”。
2473 0
|
11天前
|
人工智能 安全 API
DeepSeek Harness下载、安装、配置一篇搞定(2026整理,送常用插件)
DeepSeek Harness(dsh)是DeepSeek AI于2026年开源的轻量级Agent运行框架,基于Cordis内核,践行“一切皆插件”理念。支持Web/桌面双端,开箱即用;内置多模型接入、丰富插件生态(超3.5万),适配编程、办公、创作等场景。(239字)
1896 1