🤔为什么分布式限流会出现不均衡的情况?

本文涉及的产品
云数据库 Redis 版,社区版 2GB
推荐场景:
搭建游戏排行榜
简介: 🤔为什么分布式限流会出现不均衡的情况?

概述

在微服务、API 化、云原生大行其道的今天,服务治理不可或缺,而服务治理中限流几乎是必不可少的手段;微服务化往往伴随着分布式的架构,那么仅仅单机限流是不够的,还需要分布式的限流。

那么问题就来了:分布式限流中,往往会出现「限流不均衡」或「限流误差」的情况,这是为什么呢?

限流

国庆假期,限流这个词在新闻中应该能频繁听到,就是「景区限流」。这里以无锡的两个景点为例:

📌示例:

  • 无锡蠡园:最大承载量调整至 20000 人;瞬时最大承载量调整至 4000 人;
  • 无锡东林书院:书院接待日最大承载量即时降至 1500 人,瞬时承载量降至 300 人。

在计算机网络中,限流就是用于控制网络接口控制器发送或接收请求的速率 [1],由此延伸为: 限制到达系统的并发请求数,以此来保障系统的稳定性(特别是在微服务、API 化、云原生系统上)。

常见的限流算法

  1. 固定窗口计数器
  2. 滑动窗口计数器
  3. 漏桶
  4. 令牌桶

单机限流和分布式限流

本质上单机限流和分布式限流的区别就在于「承载量」存放的位置。

单机限流直接在单台服务器上实现,而在微服务、API 化、云原生系统上,应用和服务是集群部署的,因此需要集群内的多个实例协同工作,以提供集群范围的限流,这就是分布式限流。

🤔为什么分布式限流会出现不均衡的情况?

比如上面提到的滑动窗口的算法,可以将计数器存放至 Redis 这样的 KV 数据库中。

例如滑动窗口的每个请求的时间记录可以利用 Redis 的 zset 存储,利用 ZREMRANGEBYSCORE 删除时间窗口之外的数据,再用 ZCARD 计数。

示例代码 [2] 如下:

package com.lizba.redis.limit;
import redis.clients.jedis.Jedis;
import redis.clients.jedis.Pipeline;
import redis.clients.jedis.Response;
/**
 * <p>
 *     Limiting current by sliding window algorithm through zset
 * </p>
 *
 * @Author: Liziba
 * @Date: 2021/9/6 18:11
 */
public class SimpleSlidingWindowByZSet {
    private Jedis jedis;
    public SimpleSlidingWindowByZSet(Jedis jedis) {
        this.jedis = jedis;
    }
    /**
     * Judging whether an action is allowed
     *
     * @param userId        User id
     * @param actionKey     Behavior key
     * @param period        Current Limiting Cycle
     * @param maxCount      Maximum number of requests (sliding window size)
     * @return
     */
    public boolean isActionAllowed(String userId, String actionKey, int period, int maxCount) {
        String key = this.key(userId, actionKey);
        long ts = System.currentTimeMillis();
        Pipeline pipe = jedis.pipelined();
        pipe.multi();
        pipe.zadd(key, ts, String.valueOf(ts));
        // Remove data other than sliding windows
        pipe.zremrangeByScore(key, 0, ts - (period * 1000));
        Response<Long> count = pipe.zcard(key);
        // Set the expiration time of the behavior, and if the data is cold, zset will be deleted to save memory space
        pipe.expire(key, period);
        pipe.exec();
        pipe.close();
        return count.get() <= maxCount;
    }
    /**
     * Current limiting key
     *
     * @param userId
     * @param actionKey
     * @return
     */
    public String key(String userId, String actionKey) {
        return String.format("limit:%s:%s", userId, actionKey);
    }
}
JAVA

像令牌桶也可以将令牌数量放到 Redis 中。

🧠答案一:批量导致的误差

不过以上的方式相当于每一个请求都需要去 Redis 判断一下能不能通过,在性能上有一定的损耗,所以针对大并发系统,有个优化点就是 「批量」。例如每次取令牌不是一个一取,而是取一批,不够了再去取一批。这样可以减少对 Redis 的请求。

但是,批量获取就会导致一定范围内的限流误差。比如 a 实例此刻取了 100 个,等下一秒再用,那下一秒集群总承载量就有可能超过阈值。

这是一种原因。

🧠答案二:负载均衡负载不均

分布式限流还有一种做法是「平分」,比如之前单机限流 100,现在集群部署了 5 个实例,那就让每台继续限流 100,即在总的入口做总的流量限制,比如 500,然后每个实例再自己实现限流。

这种情况下,假设总的入口放入了 500 请求,这些请求需要通过负载均衡算法(如:轮询、最小连接数、最小连接时间等)以及会话保持策略(如:源地址保持、cookie 保持或特定参数的 hash),分到每台的请求就可能是不均衡的,比如 a 实例有 70 个,b 实例有 130 个。那么 a 实例的 70 个会通过,而 b 实例的 130 个可能只有 100 个会通过。这时就出现了「限流不均衡」或「限流偏差」的情况。

这是第二种原因。

总结

由于本人经验所限,本文只列出了我目前能想到的 2 个答案给大家参考,欢迎各位交流补充。

真实的业务场景是很复杂的,具体到一个工程,限流需要考虑的条件和资源有很多。我们要做的就是通过估算、压测、试运行、调整、再生产验证再调整来逼近理想情况。

参考资料

  1. Rate limiting - Wikipedia
  2. Redis zset for sliding window current limiting (programmer.group)
相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore &nbsp; &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
18天前
|
应用服务中间件 nginx
分布式限流
分布式限流
21 1
|
3月前
|
负载均衡 算法
分布式限流:避免流控失控的关键问题
在当今高并发互联网环境下,分布式系统中的限流机制显得尤为重要。然而,分布式限流也面临着一系列挑战和问题。本文将探讨分布式限流中需要注意的关键问题,并提供相应解决方案,以确保流控策略的有效实施。
|
3月前
|
消息中间件 数据采集 缓存
探索分布式限流:挑战与解决方案
分布式限流是现代系统设计中的重要挑战之一。本文将探讨分布式限流的背景和意义,以及在实施分布式限流时需要注意的关键问题,并提供一些解决方案。
|
6月前
|
算法 NoSQL Java
分布式接口幂等性、分布式限流(Guava 、nginx和lua限流)
接口幂等性就是用户对于同一操作发起的一次请求或者多次请求的结果是一致的,不会因为多次点击而产生了副作用。举个最简单的例子,那就是支付,用户购买商品后支付,支付扣款成功,但是返回结果的时候网络异常,此时钱已经扣了,用户再次点击按钮,此时会进行第二次扣款,返回结果成功,用户查询余额返发现多扣钱了,流水记录也变成了两条,这就没有保证接口的幂等性。
|
6月前
|
存储 NoSQL Redis
分布式限流:Redis
分布式限流:Redis
128 0
|
6月前
|
存储 缓存 数据库
分布式缓存限流指的是什么
分布式缓存限流指的是什么
30 0
|
9月前
|
SpringCloudAlibaba Go Sentinel
「SpringCloudAlibaba系列」分布式限流框架Sentinel基本引用|
分布式限流框架Sentinel基本引用 Sentinel的基本引用 使用Sentinel的核心库实现限流,主要分以下几个步骤: 定义资源 定义限流规则 校验规则是否生效
|
11月前
|
存储 算法 Java
【分布式技术专题】「分布式技术架构」手把手教你如何开发一个属于自己的限流器RateLimiter功能服务
随着互联网的快速发展,越来越多的应用程序需要处理大量的请求。如果没有限制,这些请求可能会导致应用程序崩溃或变得不可用。因此,限流器是一种非常重要的技术,可以帮助应用程序控制请求的数量和速率,以保持稳定和可靠的运行。
29631 51
|
存储 缓存 NoSQL
详解Redisson分布式限流的实现原理
我们目前在工作中遇到一个性能问题,我们有个定时任务需要处理大量的数据,为了提升吞吐量,所以部署了很多台机器,但这个任务在运行前需要从别的服务那拉取大量的数据,随着数据量的增大,如果同时多台机器并发拉取数据,会对下游服务产生非常大的压力。之前已经增加了单机限流,但无法解决问题,因为这个数据任务运行中只有不到10%的时间拉取数据,如果单机限流限制太狠,虽然集群总的请求量控制住了,但任务吞吐量又降下来
337 0
|
存储 缓存 NoSQL
详解Redisson分布式限流的实现原理
多图详解Redisson中RRateLimiter分布式限流的实现原理。
1152 0
详解Redisson分布式限流的实现原理

相关实验场景

更多