告别高并发接口被打爆:计数器、滑动窗口与令牌桶限流的落地实践

简介: 记录高并发接口限流落地:固定窗口、滑动窗口与令牌桶算法对比,令牌桶rate/capacity参数测算,Redis Lua原子限流与拒绝、排队、降级策略,含5个踩坑案例。

前段时间给一组高频写接口做压测,并发一上来数据库连接就被打满,报错一片。问题不在数据库本身,而是入口没有限流,所有请求无差别地往下冲。补上限流之后,超过承载能力的请求被快速拒绝或排队,核心链路反而稳住了。这篇把三种常见限流算法的差异、选型和令牌桶的落地配置记下来。

一、三种算法先分清楚

限流算法没有绝对优劣,关键看是否允许突发、对时间窗口是否敏感。

算法 原理 优点 短板
固定窗口计数 窗口内计数,超限拒绝,到点清零 实现最简单 窗口边界易出现两倍突发
滑动窗口 把窗口切成小格,统计更平滑 临界突发被抑制 占内存略多
令牌桶 匀速放令牌,桶内可累积应对突发 允许可控突发、最常用 参数需要调

固定窗口的典型问题:限流设每秒 100,在第 0.9 秒来 100 个、第 1.1 秒又来 100 个,跨过清零点的 0.2 秒内实际放行了 200 个。对边界敏感的场景要用滑动窗口或令牌桶。

二、令牌桶的两个核心参数

令牌桶模型:
- capacity(桶容量):最多攒多少令牌,决定可承接的突发量
- rate(填充速率):每秒往桶里补多少令牌,决定长期平均 QPS
- 每来一个请求取走 1 个令牌,取不到则拒绝/排队/降级

参数怎么定:
1. 先压测得到下游单实例稳定承载,比如 200 QPS
2. rate 设为略低于稳定值,比如 180
3. capacity 按可接受突发设,比如 rate 的 1-2 倍
   (180-360),突发太大等于没限流
4. 多实例部署时,
   单机限流阈值 = 总阈值 / 实例数,或直接用集中式限流

踩坑提醒:capacity 不是越大越好。它的意义是"允许短时间超过平均速率多少",如果把 capacity 设成和总库存一样大,瞬时流量会一次性冲垮下游,限流形同虚设。突发额度要按下游能扛住的瞬时峰值反推。

三、分布式限流要用 Lua 保证原子性

单机内存限流在多实例下会各自为政,集中式限流通常用 Redis 实现,而"取令牌"涉及读时间、算令牌、写回多步,必须用 Lua 脚本保证原子执行。

令牌桶 Lua 关键逻辑(单脚本原子执行):
KEYS[1]=桶key
ARGV: capacity, rate, now, requested
1. 读取桶内上次令牌数 last_tokens 和上次时间 last_ts
2. 按 (now-last_ts)*rate/1000 补充令牌,
   但不超过 capacity
3. 判断当前令牌是否 >= requested
   - 够:扣减,返回允许(1)和剩余令牌
   - 不够:返回拒绝(0)和需等待毫秒数
4. 把新令牌数和当前时间写回,
   设置过期时间避免冷 key 常驻

为什么必须原子:如果"判断够不够"和"扣减"分两条命令,高并发下多个请求会同时读到"还够",然后都扣成功,限流失效。Lua 在 Redis 内单线程一次执行完,天然避免竞态。

四、被限流之后怎么办:拒绝、排队、降级要分清

超限处理三选一,按业务定:
1. 直接拒绝:返回 429 和 Retry-After,
   适合非关键查询,保护系统优先
2. 排队等待:短暂进队列按令牌放行,
   适合可容忍延迟的写操作,要设排队超时
3. 降级:返回兜底数据或关闭非核心功能,
   保证主链路可用

配套:
- 限流触发要打点,观察拒绝率曲线
- 给调用方返回明确错误码和建议等待时间
- 分层限流:网关层粗粒度、接口层细粒度,
  不要只在一处限

五、踩坑清单(这 5 个都实际踩过)

  1. 用固定窗口计数,跨清零点瞬间放行两倍流量打挂下游,换滑动窗口/令牌桶后临界突发被压住
  2. 令牌桶 capacity 设太大,瞬时请求全放行等于没限,按下游瞬时承载反推桶容量后正常
  3. Redis 限流用 GET 再 DECR 两条命令,并发下超额放行,合并成一段 Lua 原子脚本后准确
  4. 多实例各用本地限流,总阈值被放大 N 倍,改成集中式 Redis 限流或单机阈值除以实例数
  5. 被限流直接返回 500,调用方疯狂重试加剧雪崩,改成 429+Retry-After 并配合降级后恢复平稳

这组高频接口的限流最后部署在乔拓云的营销活动服务环境里,入口网关和接口层在同一套后端工程内维护,我主要负责令牌桶参数测算、Redis Lua 原子脚本和分层限流配置这几块,压测时核心链路在超额流量下保持稳定。

复盘要点

  1. 固定窗口实现简单但有临界突发,敏感场景用滑动窗口或令牌桶
  2. 令牌桶 rate 定长期均值、capacity 定可控突发,参数按下游承载反推
  3. 分布式限流用 Lua 保证判断与扣减原子,超限要明确拒绝/排队/降级策略

以上是个人实践记录,各平台具体功能以官方实时信息为准。

开放问题:你们生产环境更常用网关层限流还是业务层限流?令牌桶和漏桶在应对突发流量时,实际体感差别大吗?

相关文章
|
5月前
|
人工智能 前端开发 安全
[理论篇-11]AI Agent(智能体)——不只是会答话的AI,而是会干活的AI
用最朴素的话讲清楚 AI Agent 到底是什么、它跟普通的"AI 聊天"和"AI 工作流"有什么本质区别、为什么 2024 年大家还在说"少用 Agent"而 2026 年它突然成了主角、以及它现在正在悄悄做哪些原本只有人能做的事。不管你是开发者、产品、运营、做内容的、还是只是想搞清楚"自己每天用的这个 AI 助手到底是什么级别"的普通用户,这一篇读完都能讲明白。
1048 7
|
1月前
|
缓存 人工智能 自然语言处理
阿里云千问大模型qwen3.8-flash介绍:AI应用中兼顾效果与效率,百万上下文多模态落地选型指南
本文全面解析解通义千问最新多模态大模型Qwen3.8-Flash,梳理其百万级原生上下文窗口、多模态输入、深度思考模式等核心特性,覆盖六大全球部署区域的功能差异与全链路高性价比计费体系,重点呈现其在编程辅助、智能体协作、图文长视频理解等场景的落地优势,同步配套新用户免费额度、夜间错峰折扣等专属活动权益,兼容主流开发接口协议,为开发者提供清晰的选型参考与低成本快速接入指引。
|
1月前
|
JavaScript 开发工具 git
DSH 插件怎么开发?从最小插件到打包安装
DSH 插件是一个导出 apply 函数的 TypeScript 模块,基于 Cordis:通过 name 命名、inject 声明依赖、ctx 注册能力、Config schema 接受配置。本文从最小插件写起,讲清打包成 bundle、用 dsh plugin add 装进 profile 的完整流程。
573 0
|
1月前
|
人工智能 监控 JavaScript
最近火爆出圈的,FDE 到底是个什么岗位?
FDE(前沿部署工程师)是AI时代新型复合岗:驻客户现场,贯通技术与业务,主导大模型在真实场景的端到端落地。需兼具AI应用开发、工程化交付与业务沟通三大能力,非单纯“调API”或售前角色。高薪热门,但重实战、重结果。
2200 2
最近火爆出圈的,FDE 到底是个什么岗位?
|
消息中间件 SQL 存储
超详细的RabbitMQ入门,看这篇就够了!
RabbitMQ入门,看这篇就够了
224452 69
|
1月前
|
人工智能 JavaScript 开发工具
DeepSeek Harness完整实操教程:开源Agent运行框架本地部署、模式选型与插件开发指南
DeepSeek Harness把大模型从单纯对话,推向真实本地环境执行任务,依托Cordis插件架构实现组件完全可替换,给Agent开发者提供了一套能力强大的开源底座。整套工具的使用流程可以概括为:准备适配版本Node.js环境,通过npx一行命令快速拉起Web界面,配置模型密钥或者对接Ollama本地模型,选择隔离的工作目录,根据任务选择合适运行模式,下发指令观察Agent完整执行轨迹。
1849 3
|
1月前
|
Web App开发 安全 应用服务中间件
网站被浏览器报不安全:HTTPS证书链、安全响应头与Mixed Content的排查记录
客户网站突然被浏览器报不安全,排查发现是HTTPS证书链不完整加安全响应头缺失。本文记录了证书链补全、CSP/HSTS等安全响应头配置和Mixed Content修复的完整过程,以及5个实际踩过的坑。
|
18天前
|
存储 人工智能 安全
2026 年开源智能体运行框架 DeepSeek Harness 详解|Cordis 插件内核与本地部署实操教程
对比市面上其他Agent产品,很多产品把模型、工具、循环逻辑打包成封闭应用,用户只能在产品给定的能力范围内使用。而DeepSeek Harness把控制权交给开发者,Agent的每一个环节都可以被替换改造,从工具定义、权限策略,到最核心的思考行动循环,全部开放插件化改造能力。这种架构设计,解决了AI智能体项目“定制难、改造贵、黑盒不可审计”的痛点,让开发者可以基于同一套底座,面向不同业务场景搭建完全不同形态的智能体,小到本地代码辅助工具,大到企业内部自动化业务智能体。
398 0
|
1月前
|
存储 人工智能 JSON
告别AI聊着就忘:短期记忆、长期记忆与摘要压缩的配置实践
记录大模型多轮对话记忆配置:滑动窗口保留近期对话、滚动摘要压缩远期内容、长期用户画像跨会话存储,含冲突更新与5个踩坑案例。
|
1月前
|
数据采集 人工智能 缓存
告别AI搜索漏抓:robots.txt与AI爬虫管理的配置实践手记
本文记录AI搜索引擎爬虫管理的完整配置流程:GPTBot/OAI-SearchBot/ClaudeBot等爬虫的识别、robots.txt精确规则写法、Sitemap指令、curl模拟UA验证方法,并附5个真实踩坑案例。

热门文章

最新文章