上周三凌晨,值班群被一条告警叫醒:长会话接口批量返回错误,报错指向上下文超限。复盘会上翻代码,拼装会话的函数里躺着一行注释,写着"经验值:字符数除以四"。这个除数来自英文世界的语料统计,而我们的用户,九成在用中文写长文。
下面拿数据鱼API的「AI Token 计数」服务当例子。它把换算比例和逐条计数拆成两个端点,这次事故缺的两块,正好都能补上。
经验值是怎么把会话送爆的
"1 个 Token 约等于 4 个字符"这句经验,对英文大体成立,对中文完全不成立。英文按词切分,四个字符摊一个 Token 很常见;中文按字切,一个汉字往往要占不止一个 Token。数据鱼API的这个接口在 stats 端点里把两组比例摆在一起:
模型家族 英文 中文
GPT 系 1 Token ≈ 4 字符 1 Token ≈ 0.6 字符
Claude 系 1 Token ≈ 3.5 字符 1 Token ≈ 0.7 字符
按中文那行算一下:1000 个汉字约等于一千六百多个 Token,而同样一千个字符的英文只要两百多个,差出六倍多。我们那行"除以四",把中文会话的体积低估了一大截,超限只是时间问题。
换算比例还有个读法:中文那行的 0.6,倒过来就是"一个汉字约等于一点六个 Token"。产品文案里"1000 字限制"和"1000 Token 限制"是两回事,前者实际约合 1600 多个 Token,界面说明写错一个单位,用户就会被莫名截断。别嫌抠细节,这类口径错误最伤信任:功能本身没错,错的全在边角,用户却只记得被截断的那一次。
count 端点:把"估"换成"算"
补丁不是把除数从四改成零点六,而是干脆别拿字符数当依据。数据鱼这个接口的 count 端点接受 text 字段,可选传 model 指定口径,返回 text_length、tokens,还有一个 breakdown 明细:chinese_chars、english_words、others 各占多少。响应里会回显本次采用的 model 口径,文档示例里是 basic,不显式传 model 时就落到这个默认值——建议把回显值打进日志,出了偏差能一眼对上当时用的换算口径。明细的用处在于判断语种构成——中英混排的产品评论,按构成分别套比例再相加,误差比单用一个总除数小得多。text_length 和 tokens 两个数对照着看,还能粗判文本的"密度":同样长度,Token 数差得多的,语种构成肯定不一样。
POST /api/ai-token/count
Content-Type: application/json
{"text": "把这段话交给模型之前,先估一估它的体积"}
有一点要先说清:ping 端点里能看到,它的估算引擎标注是 heuristic-local,也就是本地启发式估算,支持的模型口径包括 gpt-3.5-turbo、gpt-4、claude-2、claude-3-opus 这些常见家族。启发式的定位是限额与预算场景——够你决定"这段要不要截断",但别拿它当计费凭证,对账请以官方分词为准。
把估算挪到拼装之前
真正的修复,是把计数从"出错后"挪到"拼装前"。会话拼装前先过一遍 count,超过阈值就先做摘要、砍历史轮次;用户提交长文时,先算体积再决定走哪条链路。长文场景还可以先按 text_length 粗筛、再用 count 精算,两道筛子各干各的活,调用量也压下来了。
阈值建议分两档设:软阈值触发提醒和自动摘要,硬阈值直接截断并提示用户。截断的位置也有讲究,按轮次切而不是按字符切,保留最近几轮完整对话,丢掉的做摘要化处理——这些策略都不复杂,前提都是先有那个准确的 Token 数。
上下文管理不该是故障后的补救动作,而是拼装前的一次例行计数。比例表贴在工位上,计数接进流程里,凌晨三点的告警自然会少。把 stats 和 count 这两个端点埋进调用链,估算这件事就从个人经验变成了团队默认。
以上比例、字段与引擎说明,整理自数据鱼API「AI Token 计数」接口的公开文档;文中事故情节为虚构复盘。估算适用于预算与限额场景,计费口径请以各模型官方为准。