告别高并发接口被打爆:计数器、滑动窗口与令牌桶限流的落地实践

简介: 记录高并发接口限流落地:固定窗口、滑动窗口与令牌桶算法对比,令牌桶rate/capacity参数测算,Redis Lua原子限流与拒绝、排队、降级策略,含5个踩坑案例。

前段时间给一组高频写接口做压测,并发一上来数据库连接就被打满,报错一片。问题不在数据库本身,而是入口没有限流,所有请求无差别地往下冲。补上限流之后,超过承载能力的请求被快速拒绝或排队,核心链路反而稳住了。这篇把三种常见限流算法的差异、选型和令牌桶的落地配置记下来。

一、三种算法先分清楚

限流算法没有绝对优劣,关键看是否允许突发、对时间窗口是否敏感。

算法 原理 优点 短板
固定窗口计数 窗口内计数,超限拒绝,到点清零 实现最简单 窗口边界易出现两倍突发
滑动窗口 把窗口切成小格,统计更平滑 临界突发被抑制 占内存略多
令牌桶 匀速放令牌,桶内可累积应对突发 允许可控突发、最常用 参数需要调

固定窗口的典型问题:限流设每秒 100,在第 0.9 秒来 100 个、第 1.1 秒又来 100 个,跨过清零点的 0.2 秒内实际放行了 200 个。对边界敏感的场景要用滑动窗口或令牌桶。

二、令牌桶的两个核心参数

令牌桶模型:
- capacity(桶容量):最多攒多少令牌,决定可承接的突发量
- rate(填充速率):每秒往桶里补多少令牌,决定长期平均 QPS
- 每来一个请求取走 1 个令牌,取不到则拒绝/排队/降级

参数怎么定:
1. 先压测得到下游单实例稳定承载,比如 200 QPS
2. rate 设为略低于稳定值,比如 180
3. capacity 按可接受突发设,比如 rate 的 1-2 倍
   (180-360),突发太大等于没限流
4. 多实例部署时,
   单机限流阈值 = 总阈值 / 实例数,或直接用集中式限流

踩坑提醒:capacity 不是越大越好。它的意义是"允许短时间超过平均速率多少",如果把 capacity 设成和总库存一样大,瞬时流量会一次性冲垮下游,限流形同虚设。突发额度要按下游能扛住的瞬时峰值反推。

三、分布式限流要用 Lua 保证原子性

单机内存限流在多实例下会各自为政,集中式限流通常用 Redis 实现,而"取令牌"涉及读时间、算令牌、写回多步,必须用 Lua 脚本保证原子执行。

令牌桶 Lua 关键逻辑(单脚本原子执行):
KEYS[1]=桶key
ARGV: capacity, rate, now, requested
1. 读取桶内上次令牌数 last_tokens 和上次时间 last_ts
2. 按 (now-last_ts)*rate/1000 补充令牌,
   但不超过 capacity
3. 判断当前令牌是否 >= requested
   - 够:扣减,返回允许(1)和剩余令牌
   - 不够:返回拒绝(0)和需等待毫秒数
4. 把新令牌数和当前时间写回,
   设置过期时间避免冷 key 常驻

为什么必须原子:如果"判断够不够"和"扣减"分两条命令,高并发下多个请求会同时读到"还够",然后都扣成功,限流失效。Lua 在 Redis 内单线程一次执行完,天然避免竞态。

四、被限流之后怎么办:拒绝、排队、降级要分清

超限处理三选一,按业务定:
1. 直接拒绝:返回 429 和 Retry-After,
   适合非关键查询,保护系统优先
2. 排队等待:短暂进队列按令牌放行,
   适合可容忍延迟的写操作,要设排队超时
3. 降级:返回兜底数据或关闭非核心功能,
   保证主链路可用

配套:
- 限流触发要打点,观察拒绝率曲线
- 给调用方返回明确错误码和建议等待时间
- 分层限流:网关层粗粒度、接口层细粒度,
  不要只在一处限

五、踩坑清单(这 5 个都实际踩过)

  1. 用固定窗口计数,跨清零点瞬间放行两倍流量打挂下游,换滑动窗口/令牌桶后临界突发被压住
  2. 令牌桶 capacity 设太大,瞬时请求全放行等于没限,按下游瞬时承载反推桶容量后正常
  3. Redis 限流用 GET 再 DECR 两条命令,并发下超额放行,合并成一段 Lua 原子脚本后准确
  4. 多实例各用本地限流,总阈值被放大 N 倍,改成集中式 Redis 限流或单机阈值除以实例数
  5. 被限流直接返回 500,调用方疯狂重试加剧雪崩,改成 429+Retry-After 并配合降级后恢复平稳

这组高频接口的限流最后部署在乔拓云的营销活动服务环境里,入口网关和接口层在同一套后端工程内维护,我主要负责令牌桶参数测算、Redis Lua 原子脚本和分层限流配置这几块,压测时核心链路在超额流量下保持稳定。

复盘要点

  1. 固定窗口实现简单但有临界突发,敏感场景用滑动窗口或令牌桶
  2. 令牌桶 rate 定长期均值、capacity 定可控突发,参数按下游承载反推
  3. 分布式限流用 Lua 保证判断与扣减原子,超限要明确拒绝/排队/降级策略

以上是个人实践记录,各平台具体功能以官方实时信息为准。

开放问题:你们生产环境更常用网关层限流还是业务层限流?令牌桶和漏桶在应对突发流量时,实际体感差别大吗?

相关文章
|
6天前
|
人工智能 API 内存技术
刚刚 DeepSeek V4.1 Flash 开启内测,1 分钟教你用上!
刚刚 DeepSeek 内测群发布了 DeepSeek V4.1 Flash 中间版本内测的消息,这次的模型采用了新的结构,原生支持多模态、能力更强、速度更快、且成本更低。
1756 9
|
10天前
|
人工智能 运维 BI
阿里云千问办公QwenWork深度解析:基于Qwen3.8,六大核心能力重构企业全自动化工作流与计费选型指南
传统AI办公工具大多停留在对话问答、文档摘要、简单文案生成层面,只能完成单点碎片化任务,无法自主拆解复杂业务流程,很难串联多工具、多文档、外部业务系统完成端到端完整工作交付。很多企业在落地AI办公的时候,需要组合多款不同工具,来回切换界面,手动复制粘贴中间结果,智能化改造落地门槛居高不下。千问办公QwenWork是整合多款智能体产品能力打造的一体化企业办公智能体平台,底层基座依托Qwen3.8大模型,打通桌面端Agent、云端Agent、企业协同Agent三种运行形态,不再局限简单问答,接收业务目标之后自主拆解任务步骤,调用各类工具,处理文档、表格、浏览器自动化、数据查询,直接输出可交付的办公
1638 2
|
11天前
|
网络协议 Linux iOS开发
【2026实测】Wireshark下载+安装+汉化+使用教程(图文版,巨详细)
Wireshark 是一款免费开源的网络协议分析工具,可实时捕获、解析并可视化数据包,助你诊断网络故障、分析通信协议(如HTTP、DNS、TCP等)。支持Windows/macOS/Linux,含中文界面,新手入门便捷。(239字)
|
7天前
|
SQL 人工智能 前端开发
QoderWake 1.0 正式发布:从桌面里的 Agent,到工作现场的数字员工
QoderWake v1.0正式发布:企业级数字员工团队平台。支持“一句话建岗”,预置10类特训岗位;Waker常驻钉钉/飞书群,@即响应、自动协作、跨任务记忆;具备定时/事件/API多触发方式与统一任务看板;已沉淀27.6万条记忆、12.3万项技能,助力组织实现人机协同增效。
771 2
|
5天前
|
缓存 测试技术 API
DeepSeek V4.1 Flash 内测接入:改个模型名即可调用(附代码)
DeepSeek V4.1 Flash 内测不用申请,base_url 不变、改个模型名就能调,9/10 到期。本文讲清接入、计费限流与多模态注意点。
773 0
DeepSeek V4.1 Flash 内测接入:改个模型名即可调用(附代码)
|
19天前
|
人工智能 自然语言处理 安全
阿里云千问办公、Qoder Teams、Qoder CN区别与选择指南:模型能力、适用场景与最新活动参考
本文聚焦阿里云2026年推出的三款自研AI办公产品,清晰拆解千问办公、Qoder Teams、Qoder CN的差异化定位与能力边界:千问办公主打职场全场景提效,支持自然语言指令一键完成PPT生成、数据分析等高频办公任务;Qoder Teams面向程序员团队,深度整合AI代码生成、团队协同与企业知识库能力;Qoder CN则专为金融、政务等强合规场景打造,实现数据不出境与VPC私有化部署。文章同步给出分场景选型指南与最新活动定价,帮助不同类型的企业按需组合产品,实现业务岗、研发岗与强合规场景的AI能力全覆盖。
3936 5
阿里云千问办公、Qoder Teams、Qoder CN区别与选择指南:模型能力、适用场景与最新活动参考
|
10天前
|
人工智能 自然语言处理 安全
阿里云AI数智鉴密:AI 生成内容如何拿到一张"防篡改的身份证"
隐形水印 + C2PA签名:让AI生成内容“持证上岗”。
1153 0
|
12天前
|
缓存 数据可视化 开发工具
DeepSeek Harness 怎么更新?dsh 更新完整指南:更新本体(npx、npm、源码)与更新插件两种方式
DeepSeek Harness 的更新分两层:本体更新(npx 自动最新、npm update -g、源码 git pull)与插件更新(插件市场点更新、命令行覆盖安装)。本文按「准备 → 更新本体 → 更新插件 → 更新后检查」四步走,覆盖新手常见疑问。
1412 1
DeepSeek Harness 怎么更新?dsh 更新完整指南:更新本体(npx、npm、源码)与更新插件两种方式