滑动窗口限流-阿里云开发者社区

开发者社区> 李子捌> 正文

滑动窗口限流

简介: 滑动窗口限流
+关注继续查看

1、需求

限定用户的某个行为在指定时间T内,只允许发生N次。假设T为1秒钟,N为1000次。

2、常见的错误设计

程序员设计了一个在每分钟内只允许访问1000次的限流方案,如下图01:00s-02:00s之间只允许访问1000次,这种设计最大的问题在于,请求可能在01:59s-02:00s之间被请求1000次,02:00s-02:01s之间被请求了1000次,这种情况下01:59s-02:01s间隔0.02s之间被请求2000次,很显然这种设计是错误的。

image

3、滑动窗口算法

3.1 解决方案

指定时间T内,只允许发生N次。我们可以将这个指定时间T,看成一个滑动时间窗口(定宽)。我们采用Redis的zset基本数据类型的score来圈出这个滑动时间窗口。在实际操作zset的过程中,我们只需要保留在这个滑动时间窗口以内的数据,其他的数据不处理即可。

  • 每个用户的行为采用一个zset存储,score为毫秒时间戳,value也使用毫秒时间戳(比UUID更加节省内存)
  • 只保留滑动窗口时间内的行为记录,如果zset为空,则移除zset,不再占用内存(节省内存)

image

3.2 pipeline代码实现

代码的实现的逻辑是统计滑动窗口内zset中的行为数量,并且与阈值maxCount直接进行比较就可以判断当前行为是否被允许。这里涉及多个redis操作,因此使用pipeline可以大大提升效率

package com.lizba.redis.limit;


import redis.clients.jedis.Jedis;

import redis.clients.jedis.Pipeline;

import redis.clients.jedis.Response;


/**

 * <p>

 *     通过zset实现滑动窗口算法限流

 * </p>

 *

 * @Author: Liziba

 * @Date: 2021/9/6 18:11

 */

public class SimpleSlidingWindowByZSet {


    private Jedis jedis;


    public SimpleSlidingWindowByZSet(Jedis jedis) {

        this.jedis = jedis;

    }


    /**

     * 判断行为是否被允许

     *

     * @param userId        用户id

     * @param actionKey     行为key

     * @param period        限流周期

     * @param maxCount      最大请求次数(滑动窗口大小)

     * @return

     */

    public boolean isActionAllowed(String userId, String actionKey, int period, int maxCount) {

        String key = this.key(userId, actionKey);

        long ts = System.currentTimeMillis();

        Pipeline pipe = jedis.pipelined();

        pipe.multi();

        pipe.zadd(key, ts, String.valueOf(ts));

        // 移除滑动窗口之外的数据

        pipe.zremrangeByScore(key, 0, ts - (period * 1000));

        Response<Long> count = pipe.zcard(key);

        // 设置行为的过期时间,如果数据为冷数据,zset将会删除以此节省内存空间

        pipe.expire(key, period);

        pipe.exec();

        pipe.close();

        return count.get() <= maxCount;

    }



    /**

     * 限流key

     *

     * @param userId

     * @param actionKey

     * @return

     */

    public String key(String userId, String actionKey) {

        return String.format("limit:%s:%s", userId, actionKey);

    }


}

测试代码:

package com.lizba.redis.limit;


import redis.clients.jedis.Jedis;


/**

 *

 * @Author: Liziba

 * @Date: 2021/9/6 20:10

 */

public class TestSimpleSlidingWindowByZSet {


    public static void main(String[] args) {

        Jedis jedis = new Jedis("192.168.211.108", 6379);

        SimpleSlidingWindowByZSet slidingWindow = new SimpleSlidingWindowByZSet(jedis);

        for (int i = 1; i <= 15; i++) {

            boolean actionAllowed = slidingWindow.isActionAllowed("liziba", "view", 60, 5);


            System.out.println("第" + i +"次操作" + (actionAllowed ? "成功" : "失败"));

        }


        jedis.close();

    }


}

测试效果:

从测试输出的数据可以看出,起到了限流的效果,从第11次以后的请求操作都是失败的,但是这个和我们允许的5次误差还是比较大的。这个问题的原因是我们测试System.currentTimeMillis()的毫秒可能相同,而且此时value也是System.currentTimeMillis()也相同,会导致zset中元素覆盖!

image

修改代码测试:

在循环中睡眠1毫秒即可,测试结果符合预期!

 TimeUnit.MILLISECONDS.sleep(1);

image


3.3 lua代码实现

我们在项目中使用原子性的lua脚步来实现限流的使用会更多,因此这里也提供一个基于操作zset的lua版本

package com.lizba.redis.limit;


import com.google.common.collect.ImmutableList;

import redis.clients.jedis.Jedis;

import redis.clients.jedis.Pipeline;

import redis.clients.jedis.Response;


/**

 * <p>

 *     通过zset实现滑动窗口算法限流

 * </p>

 *

 * @Author: Liziba

 * @Date: 2021/9/6 18:11

 */

public class SimpleSlidingWindowByZSet {


    private Jedis jedis;


    public SimpleSlidingWindowByZSet(Jedis jedis) {

        this.jedis = jedis;

    }


    /**

     * lua脚本限流

     *

     * @param userId

     * @param actionKey

     * @param period

     * @param maxCount

     * @return

     */

    public boolean isActionAllowedByLua(String userId, String actionKey, int period, int maxCount) {

        String luaScript = this.buildLuaScript();


        String key = key(userId, actionKey);

        long ts = System.currentTimeMillis();

        System.out.println(ts);

        ImmutableList<String> keys = ImmutableList.of(key);

        ImmutableList<String> args = ImmutableList.of(String.valueOf(ts),String.valueOf((ts - period * 1000)), String.valueOf(period));

        Number count = (Number) jedis.eval(luaScript, keys, args);


        return count != null && count.intValue() <= maxCount;

    }



    /**

     * 限流key

     *

     * @param userId

     * @param actionKey

     * @return

     */

    private String key(String userId, String actionKey) {

        return String.format("limit:%s:%s", userId, actionKey);

    }



    /**

     * 针对某个key使用lua脚本限流

     *

     * @return

     */

    private String buildLuaScript() {

        return "redis.call('ZADD', KEYS[1], tonumber(ARGV[1]), ARGV[1])" +

                "\nlocal c" +

                "\nc = redis.call('ZCARD', KEYS[1])" +

                "\nredis.call('ZREMRANGEBYSCORE', KEYS[1], 0, tonumber(ARGV[2]))" +

                "\nredis.call('EXPIRE', KEYS[1], tonumber(ARGV[3]))" +

                "\nreturn c;";


    }


}

测试代码不变,大家可以自行测试,记得还是要考虑我们测试的时候System.currentTimeMillis()相等的问题,不信你输出System.currentTimeMillis()就知道了!多思考问题,技术其实都在心里!

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
9494 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
13179 0
windows server 2008阿里云ECS服务器安全设置
最近我们Sinesafe安全公司在为客户使用阿里云ecs服务器做安全的过程中,发现服务器基础安全性都没有做。为了为站长们提供更加有效的安全基础解决方案,我们Sinesafe将对阿里云服务器win2008 系统进行基础安全部署实战过程! 比较重要的几部分 1.
9053 0
如何设置阿里云服务器安全组?阿里云安全组规则详细解说
阿里云安全组设置详细图文教程(收藏起来) 阿里云服务器安全组设置规则分享,阿里云服务器安全组如何放行端口设置教程。阿里云会要求客户设置安全组,如果不设置,阿里云会指定默认的安全组。那么,这个安全组是什么呢?顾名思义,就是为了服务器安全设置的。安全组其实就是一个虚拟的防火墙,可以让用户从端口、IP的维度来筛选对应服务器的访问者,从而形成一个云上的安全域。
7386 0
阿里云ECS云服务器初始化设置教程方法
阿里云ECS云服务器初始化是指将云服务器系统恢复到最初状态的过程,阿里云的服务器初始化是通过更换系统盘来实现的,是免费的,阿里云百科网分享服务器初始化教程: 服务器初始化教程方法 本文的服务器初始化是指将ECS云服务器系统恢复到最初状态,服务器中的数据也会被清空,所以初始化之前一定要先备份好。
6892 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,云吞铺子总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系统盘、创建快照、配置安全组等操作如何登录ECS云服务器控制台? 1、先登录到阿里云ECS服务器控制台 2、点击顶部的“控制台” 3、通过左侧栏,切换到“云服务器ECS”即可,如下图所示 通过ECS控制台的远程连接来登录到云服务器 阿里云ECS云服务器自带远程连接功能,使用该功能可以登录到云服务器,简单且方便,如下图:点击“远程连接”,第一次连接会自动生成6位数字密码,输入密码即可登录到云服务器上。
21907 0
阿里云服务器ECS登录用户名是什么?系统不同默认账号也不同
阿里云服务器Windows系统默认用户名administrator,Linux镜像服务器用户名root
4012 0
+关注
李子捌
简介: CSDN优秀作者、华为云专家 领域: Java框架、并发编程、分布式、微服务、Redis、HarmonyOS、中间件等技术
240
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载