基于Redis的窗口计数场景

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 Tair(兼容Redis),内存型 2GB
简介: 基于Redis的窗口计数场景

场景


每一个月用户只能申请三次出校,这个需要该咋做呢?这个需求等价于每一个小时只允许发三次短信验证码,真的等价吗???


每一个小时只允许发三种短信有两种场景


  • 场景一:1:59分发3条,2:01分发3条成立
  • 场景二:1:59分发3条,2:01分发3条不成立,因为在1:50到2:10这个窗口时间段里发送了6条


代码下载


https://github.com/cbeann/Demooo/tree/master/springboot-demo/src/main/java/com/example/windowlimit


场景一


场景1的处理其实比较简单,就是把时间拼接到key里,然后加1 ,在判断结果


package com.example.windowlimit;
import java.text.DateFormat;
import java.util.Date;
import java.util.concurrent.TimeUnit;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.data.redis.core.StringRedisTemplate;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;
@RestController
public class WindowLimitDemo1Controller {
    private static final String USER_PREFIX = "user:";
    private static final Integer LIMIT_NUM = 3;
    //1小时的毫秒数
    private static final Integer PERIOD = 1 * 60 * 60 * 1000;
    //1分钟
    private static final Integer PERIOD_WINDOW = 10 * 1000;
    @Autowired
    private StringRedisTemplate stringRedisTemplate;
    @Autowired
    private RedisTemplate<String, Object> redisTemplate;
    /**
     * 场景一:1:59分发3条,2:01分发3条成立
     */
    @GetMapping("/emailLimit")
    public Object emailLimit(String userName) {
        userName = "zhangsan";
        DateFormat dateTimeInstance = DateFormat.getDateInstance();
        Date date = new Date();
        String format = dateTimeInstance.format(date);
        //拼接字符串
        String key = USER_PREFIX + format + userName;
        String s = stringRedisTemplate.opsForValue().get(key);
        Integer num = 0;
        if (null != s) {
            num = Integer.parseInt(s);
        }
        if (num < LIMIT_NUM) {
            System.out.println("发送短信");
            //设置超时
            stringRedisTemplate.opsForValue().set(key, String.valueOf(num + 1), 1, TimeUnit.HOURS);
            return 1;
        } else {
            return 0;
        }
    }
}


上面的代码是线程不安全的,高并发下容易出现问题,下面是更完善


 @GetMapping("/emailLimitV2")
    public Object emailLimitV2(String userName) {
        userName = "zhangsan";
        DateFormat dateTimeInstance = DateFormat.getDateInstance();
        Date date = new Date();
        String format = dateTimeInstance.format(date);
        //拼接字符串
        String key = USER_PREFIX + format + userName;
        //给key+1,因为redis是单线程的,所以redis那边是线程安全的,这边把结果获取并判断是否大于阈值,也是线程安全的
        Long num = stringRedisTemplate.opsForValue().increment(key, 1);
        //设置过期时间 一天
        stringRedisTemplate.expire(key, 1 * 24 * 60 * 60 * 1000, TimeUnit.MILLISECONDS);
        if (num < LIMIT_NUM) {
            System.out.println("发送短信");
            //设置超时
            return 1;
        } else {
            return 0;
        }
    }


场景二


线程不安全(初始逻辑)


代码


场景二就需要使用到zset结构了,假设我的场景是10秒窗口内最多允许3次


第20秒请求进入,先从key中删除0秒到10秒的数据(20秒-时间窗口10秒),然后判断key的个数为多少个,如果小于3,说明该时间场控内允许访问,否则就是不允许访问,达到上限,返回


package com.example.windowlimit;
import java.text.DateFormat;
import java.util.Date;
import java.util.concurrent.TimeUnit;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.data.redis.core.StringRedisTemplate;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;
@RestController
public class WindowLimitDemo1Controller {
    private static final String USER_PREFIX = "user:";
    private static final Integer LIMIT_NUM = 3;
    //1小时的毫秒数
    private static final Integer PERIOD = 1 * 60 * 60 * 1000;
    //1分钟
    private static final Integer PERIOD_WINDOW = 10 * 1000;
    @Autowired
    private StringRedisTemplate stringRedisTemplate;
    @Autowired
    private RedisTemplate<String, Object> redisTemplate;
    /** 1:59分发3条,2:01分发3条不成立,因为在1:50到2:10这个窗口时间段里发送了6条 下面按照1分钟3条写demo 线不与安全 */
  @GetMapping("/emailWindowLimit")
  public Object emailWindowLimit(String userName) {
    userName = "lisi";
    // 拼接字符串
    String key = USER_PREFIX + userName;
    long current = System.currentTimeMillis();
    // 移除时间窗口之前的行为记录,剩下的都是时间窗口内的
    redisTemplate.opsForZSet().removeRangeByScore(key, 0, current - PERIOD_WINDOW);
    // 获取窗口内的行为数量
    Long zCard = redisTemplate.opsForZSet().zCard(key);
    if (zCard < LIMIT_NUM) {
      System.out.println("send email");
      // 记录行为
      redisTemplate.opsForZSet().add(key, current, current);
      // 设置zset过期时间,避免冷用户持续占用内存
      // 过期时间应该等于时间窗口长度,再多宽限1单位,此处是1毫秒,其实多一秒也行
      redisTemplate.expire(key, PERIOD_WINDOW + 1, TimeUnit.MILLISECONDS);
      return 1;
    }
    return 0;
  }
}


线程不安全分析


前提:此时此刻时间为10,窗口范围为10,窗口范围内允许最大数量为3,并且在第9秒有2次成功请求,在第11秒,此时该接口被同一用户(lisi)两个线程访问,就出现了线程不安全问题。


如下图所示,线程并发执行,判断后发现还有一次机会,结果这两个请求都成功发送email,此时在窗口(8,12)范围内就发送了4次,不符合要求。


1.png


线程安全


lua脚本


--根据score范围删除数据
redis.call("zremrangebyscore",KEYS[1],ARGV[1],ARGV[2])
--获取个数
local zSetLen = redis.call("zcard", KEYS[1])
--如果大于某个数
if tonumber(zSetLen) > tonumber(ARGV[4]) then
    return 0
end
--zadd添加数据
local res = redis.call("zadd",KEYS[1], ARGV[5], ARGV[6])
redis.call("expire",KEYS[1],ARGV[3])
return res


java代码


   private static final String USER_PREFIX = "user:";
  private static final Integer LIMIT_NUM = 3;
  // 1小时的毫秒数
  private static final Integer PERIOD = 1 * 60 * 60 * 1000;
  // 1分钟
  private static final Integer PERIOD_WINDOW = 60 * 1000;
  @Autowired private StringRedisTemplate stringRedisTemplate;
  @Autowired private RedisTemplate<String, Object> redisTemplate;
 /** 1:59分发3条,2:01分发3条不成立,因为在1:50到2:10这个窗口时间段里发送了6条 下面按照1分钟3条写demo 线不与安全 */
  @GetMapping("/emailWindowLimitV2")
  @Deprecated
  public Object emailWindowLimitV2(String userName) {
    userName = "zhangsan";
    // 拼接字符串
    String key = userName;
    //获取当前的时间
    long current = System.currentTimeMillis();
    // 执行一个lua脚本
    String scriptLua = "";
    DefaultRedisScript<Object> defaultRedisScript = new DefaultRedisScript<>();
    defaultRedisScript.setResultType(Object.class);
    defaultRedisScript.setScriptText("--根据score删除数据\n"
            + "redis.call(\"zremrangebyscore\",KEYS[1],ARGV[1],ARGV[2])\n"
            + "\n"
            + "--获取个数\n"
            + "local zSetLen = redis.call(\"zcard\", KEYS[1])\n"
            + "\n"
            + "\n"
            + "\n"
            + "if tonumber(zSetLen) > tonumber(ARGV[4]) then\n"
            + "    return 0\n"
            + "end\n"
            + "--zadd添加数据\n"
            + "local res = redis.call(\"zadd\",KEYS[1], ARGV[5], ARGV[6])\n"
            + "redis.call(\"expire\",KEYS[1],ARGV[3])\n"
            + "return res\n"
            + "\n"
            + "\n");
    // defaultRedisScript.setScriptSource(new ResourceScriptSource(new
    // ClassPathResource("redis/demo.lua")));
    List<String> keys = new ArrayList<>();
    keys.add(key);
    Object[] args = new Object[6];
    args[0] = 0;//删除的窗口开始
    args[1] = current-PERIOD_WINDOW;//删除的窗口结束
    args[2] = 60;//设置key的过期时间
    args[3] = LIMIT_NUM;//设置limit
    args[4] = new Date().getTime();//zadd 的元组
    args[5] = new Date().getTime();//zadd 的元组
    Object execute = redisTemplate.execute(defaultRedisScript, keys, args);
    System.out.println(execute);
    return execute;
  }


注意


考虑并发问题

key应该设置过期时间

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore &nbsp; &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
2月前
|
监控 NoSQL Java
场景题:百万数据插入Redis有哪些实现方案?
场景题:百万数据插入Redis有哪些实现方案?
43 1
场景题:百万数据插入Redis有哪些实现方案?
|
2月前
|
消息中间件 缓存 NoSQL
Redis 是一个高性能的键值对存储系统,常用于缓存、消息队列和会话管理等场景。
【10月更文挑战第4天】Redis 是一个高性能的键值对存储系统,常用于缓存、消息队列和会话管理等场景。随着数据增长,有时需要将 Redis 数据导出以进行分析、备份或迁移。本文详细介绍几种导出方法:1)使用 Redis 命令与重定向;2)利用 Redis 的 RDB 和 AOF 持久化功能;3)借助第三方工具如 `redis-dump`。每种方法均附有示例代码,帮助你轻松完成数据导出任务。无论数据量大小,总有一款适合你。
78 6
|
2月前
|
存储 缓存 NoSQL
大数据-38 Redis 高并发下的分布式缓存 Redis简介 缓存场景 读写模式 旁路模式 穿透模式 缓存模式 基本概念等
大数据-38 Redis 高并发下的分布式缓存 Redis简介 缓存场景 读写模式 旁路模式 穿透模式 缓存模式 基本概念等
66 4
|
2月前
|
存储 消息中间件 NoSQL
【redis】redis的特性和主要应用场景
【redis】redis的特性和主要应用场景
113 1
|
7月前
|
存储 消息中间件 缓存
Redis的高性能使得它非常适合用于实时分析场景
【5月更文挑战第15天】Redis在Python Web开发中扮演关键角色,常用于缓存系统,提高数据读取速度;会话管理,存储用户信息;分布式锁,确保数据一致性;排行榜和计数,利用有序集合和哈希结构;消息队列,基于列表结构实现异步处理;实时分析,高效处理实时数据。其丰富的数据结构和高性能使其在多种场景下应用广泛。
346 3
|
5月前
|
NoSQL Redis 索引
Redis 中ZSET数据类型命令使用及对应场景总结
Redis 中ZSET数据类型命令使用及对应场景总结
106 2
|
5月前
|
NoSQL Redis
Redis set数据类型命令使用及应用场景使用总结
Redis set数据类型命令使用及应用场景使用总结
48 1
|
5月前
|
NoSQL Linux Redis
Redis性能优化问题之想确认Redis延迟变大是否因为fork耗时导致的,如何解决
Redis性能优化问题之想确认Redis延迟变大是否因为fork耗时导致的,如何解决
|
4月前
|
缓存 NoSQL 网络安全
【Azure Redis 缓存 Azure Cache For Redis】Azure Redis由低级别(C)升级到高级别(P)的步骤和注意事项, 及对用户现有应用的潜在影响,是否需要停机时间窗口,以及这个时间窗口需要多少的预估问题
【Azure Redis 缓存 Azure Cache For Redis】Azure Redis由低级别(C)升级到高级别(P)的步骤和注意事项, 及对用户现有应用的潜在影响,是否需要停机时间窗口,以及这个时间窗口需要多少的预估问题
|
5月前
|
缓存 NoSQL 数据库
Redis问题之在高并发场景下,保证Redis缓存和数据库的一致性如何解决
Redis问题之在高并发场景下,保证Redis缓存和数据库的一致性如何解决
162 3