摘要:AI 采集遇到 HTTP 402,先暂停失败请求的自动换 IP,查清响应来自哪一步。确认是付费要求、余额不足、额度耗尽,就停止轮换出口;原因还没查清,也别让任务无限重试。
做语料采集,遇到这类报错,最该在意的是日志里那句“采集失败”到底省掉了多少东西。网页没拿到,正文解析失败,还是后面的模型调用被拒绝,这几种情况都可能在任务面板上变成一个红点,处理方式却差得很远。
只看状态码就去换 IP,容易修错地方。
402 这个名字,能说明出了什么问题吗?
HTTP 402 叫 Payment Required,通常译作“需要付款”,但这个名字没把业务原因说完。 它在 HTTP 规范中仍属于保留状态码,没有统一的业务使用约定,各个系统可以在不同情境下使用它。
所以,402 不能直接翻译成“IP 被封”,也不能只凭这个数字就断定“目标网站开始收费”。 要看接口文档、响应正文里的业务错误码,以及对应账号的服务状态。
往下拆一层看,AI 采集任务往往不止一次请求。先取网页,再抽正文,再交给模型做字段提取,其中任何一个服务报错,上层程序都可能把整个任务标成失败。
举个排查用的例子:一条凌晨一点执行的任务,网页正文已经保存,调用提取接口时收到 402,响应里明确写着项目额度不足。这个时候,采集部分已经完成,应该暂停的是提取步骤。继续换出口抓同一篇网页,只会多出一份重复内容,项目额度不会跟着恢复。
真正排查时,先找那条原始响应,别拿任务面板上的一句报错猜原因。
先找谁回的 402,再找谁处理?
沿着失败任务往前翻,先分清是目标站、代理网关,还是后面的接口回了 402。
| 402 出现的位置 | 先看什么 | 确认原因后怎么处理 |
|---|---|---|
| 目标网页或数据接口 | 是购买提示页,还是带业务错误码的响应?文档是否说明订阅或访问条件? | 核对资源访问资格,必要时走正式 API、数据导出或授权渠道。 |
| 代理或中间网关 | 对应服务是否记录了拒绝?账号状态、用量和配置是否正常? | 处理这一层的服务问题,别先把目标站和所有出口都换一遍。 |
| 模型、正文提取或解析接口 | 报错属于哪个账号、项目或工作区?业务错误码是否与后台用量一致? | 暂停出错步骤,核对额度、预算或账单,保留允许留存的已完成结果。 |
用 HTTPS 代理时,还有个很具体的检查点:402 是在 CONNECT 建隧道时返回,还是隧道建立后,发送目标请求才收到的?前者要优先查代理接入这一层,后者再结合响应内容和服务日志定位,不能只凭一个响应头就认定是谁拒绝了请求。
日志里最好能留下请求时间、出错步骤、实际 HTTP 状态、脱敏后的业务错误码,以及服务返回的请求 ID。把这些拿去对调用记录,比一张只截到“402”的截图好用得多(令牌和 Cookie 就别一起截进去了)。
还有个容易混淆的地方:HTTP 状态是 200,JSON 里面某个 code 字段等于 402,这属于接口自己的业务编码,要按它的文档解释。它和真正收到 HTTP 402,是两回事。
要是查下来,反复出问题的是代理接入,就别每次都当成一条失败请求来修。
有了哪些信号,就该停换 IP?
付费、额度或访问资格没解决,就停换 IP;原因还不清楚,先停自动重试。
第一种,响应已经把条件写清楚了。
余额不足、订阅失效、项目预算触顶,或者当前请求需要付费,这些如果得到接口文档和账号状态的印证,第一次失败就足够停,不需要再换几个出口凑一轮测试。
说白了,服务按账号或项目判断你能不能继续调用,换掉出口地址,并没有改变它正在检查的那个条件。
第二种,错误原因不明,自动重试却一直在跑。
这时候暂停的是自动重试,不是宣布这个任务永远做不了。留下首次失败的响应,查文档、查调用记录,必要时带着请求 ID 找服务方确认。
如果已经做过有限的排查,不同出口收到的业务错误码、提示内容仍然一致,就更该把精力转到账号状态和服务策略上。这个现象可以帮助缩小范围,单靠它还不能证明所有问题都与 IP 无关,更没必要为了下结论继续扩大请求量。
第三种,任务需要的访问资格还没拿到。
这地方得较真一点:能在浏览器里打开,不代表当前账号、当前接口就允许你批量采集;完成付款,也不自动等于拿到了训练语料使用许可。要分别核对访问、自动化采集和后续使用的条件。
接语料任务时,这些条件要单独核对,不靠一个状态码判断。对方明确要求订阅或授权,就先把条件谈清楚,别把付费墙继续塞进换 IP 队列。
什么时候才该恢复任务?
要恢复任务,得确认导致失败的条件确实变了。 别把“已经等了十分钟”当成恢复依据。
如果服务文档明确说明额度会在某个时间刷新,就按它规定的时间和条件安排复测;如果是账单问题,就确认账号状态已经恢复;如果需要采集授权,就核对授权是否覆盖这次任务。
恢复时先发一条有代表性的请求,检查业务错误是否消失、返回内容是否符合预期。收到 200 还不够,正文可能仍是购买提示,提取结果也可能只是一个空对象。确认这一步正常,再逐步恢复任务,不要一次把积压队列全部放出去。
调度也要跟着错误的影响范围走:一个模型项目额度耗尽,同项目下的提取任务需要一起暂停;某份文档单独要求订阅,就只暂停受影响的资源,别把其他已经获准的采集也停了。网页已保存、提取未完成的任务,从提取步骤续跑,没必要回头重新抓取。
代理 IP 是采集的基础设施,能处理的是它负责的那部分接入问题。账单、额度和资源许可,各自有各自的处理位置。
如果这次恢复和上次失败相比,唯一变的还是出口 IP,就让任务继续保持暂停。
还有哪些情况容易判断错?
碰到拿不准的情况,按出错步骤和受影响范围处理,别把整条任务一刀切。
Q:客户端只报了“代理请求失败”,看不到原始状态怎么办?
A: 先翻失败请求的客户端或网关日志,看看能否分清是 CONNECT 失败,还是目标请求发出后才报错。拿不到原始响应,就把触发时间、失败步骤和可用的请求 ID 交给对应服务方确认,别自行补一个“IP 异常”的结论。
Q:一个项目额度用完了,同一流程里的其他任务也要停吗?
A: 停的是共享这份额度、又还没做完的那一步。比如几个队列共用一个模型项目,就先停这些队列的模型调用;走其他项目且已经获准的任务,不必跟着停。已经保存并获准留存的网页,也不用因为提取没跑完就重新抓取。
Q:恢复测试拿到 200,为什么队列还不能直接放开?
A: 200 只说明这次请求收到了成功状态,没告诉你拿到的东西能不能用。看一眼正文或提取结果,确认不是购买提示页、空对象,也不是另一个业务错误。能产出预期结果,再逐步恢复对应队列。
Q:账号已经付款,是否可以把拿到的网页直接用于模型训练?
A: 不一定。先看付款买到的是浏览、接口调用还是其他访问权限,再单独核对是否允许自动化采集、留存和模型训练。只要后续用途还没确认,就别把该资源放进训练语料队列。