RateLimiter 限流 —— 通过切面对单个用户进行限流和黑名单处理

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 Tair(兼容Redis),内存型 2GB
简介: RateLimiter 限流 —— 通过切面对单个用户进行限流和黑名单处理

关于登录的安全性管理有较多的手段,包括;设备信息、IP信息、绑定的信息、验证码登各类方式。不过在一些网页版的登录中,如果有人想办法把你的验证码给我,我就可以登录你的账户,查看你的数据。对于一些不法分子通过让你进入某些应用的录屏会议后(XXX退货返现),就能拿到你的验证码,并做登录操作。还有一些是完全流氓式做法,就玩命的一些快递📦手机号+验证码频繁的撞接口,也是有概率成功登录的。因此,为了避免这种情况,我们还需要思考如何防范。

我们可以考虑在登录的阶段必须加一些恶心的图片比对码,或者滑块验证码。这也是一种方式,能尽可能降低登录的撞接口操作。之后再考虑添加一个指纹ID,对于验证码的生成与用户从浏览器设备过来的指纹做绑定。这样即使对方通过录屏拿到你的验证码,也仍然没有做登录操作。

<script>
  // Initialize the agent at application startup.
  const fpPromise = import('https://openfpcdn.io/fingerprintjs/v4')
    .then(FingerprintJS => FingerprintJS.load())
 
  // Get the visitor identifier when you need it.
  fpPromise
    .then(fp => fp.get())
    .then(result => {
      // This is the visitor identifier:
      const visitorId = result.visitorId
      console.log(visitorId)
    })
</script>

有了上面这个方案,我们至少可以做一些安全的管控了。但还有臭不要脸的,一直刷你接口。这既有安全风险,又有对服务器的压力。所以我们要考虑对于这样的恶意用户进行限流和自动化黑名单处理。

浏览器指纹的方案只需要做一个验证码绑定即可,之后限流和自动化黑名单,则需要做一些代码的开发。通过配置的方式为每一个需要做此类功能的接口添加上服务治理通常我们把对应用的熔断、降级、限流、切量、黑白名单、人群等,都称为服务治理

工程结构

限流拦截

切面定义

public @interface AccessInterceptor {
 
    /** 用哪个字段作为拦截标识,未配置则默认走全部 */
    String key() default "all";
 
    /** 限制频次(每秒请求次数) */
    double permitsPerSecond();
 
    /** 黑名单拦截(多少次限制后加入黑名单)0 不限制 */
    double blacklistCount() default 0;
 
    /** 黑名单持续时间(秒) */
    long blacklistDurationSeconds() default 24 * 3600; // 默认为24小时
 
    /** 拦截后的执行方法 */
    String fallbackMethod();
 
 
}

  • 自定义切面注解,提供了拦截的key、限制频次、黑名单处理、黑名单持续时间、拦截后的回调方法。再通过 @Pointcut 切入配置了自定义注解的接口方法

切面拦截

@Slf4j
@Aspect
public class RateLimiterAOP {
 
    @Resource
    private RedissonClient redissonClient;
 
 
    @Pointcut("@annotation(cn.bugstack.chatgpt.data.types.annotation.AccessInterceptor)")
    public void aopPoint() {
    }
 
 
    @Around("aopPoint() && @annotation(accessInterceptor)")
    public Object doRouter(ProceedingJoinPoint jp, AccessInterceptor accessInterceptor) throws Throwable {
        String key = accessInterceptor.key();
        if (key == null || key.isEmpty()) {
            throw new IllegalArgumentException("RateLimiter key is null or empty!");
        }
 
        // 获取拦截字段
        String keyAttr = getAttrValue(key, jp.getArgs());
        log.info("aop attr {}", keyAttr);
 
        // 黑名单拦截
        if (!"all".equals(keyAttr) && accessInterceptor.blacklistCount() != 0 && isBlacklisted(keyAttr, accessInterceptor)) {
            log.info("限流-黑名单拦截(24h):{}", keyAttr);
            return fallbackMethodResult(jp, accessInterceptor.fallbackMethod());
        }
 
        // 速率限制
        if (!isRateLimited(keyAttr, accessInterceptor)) {
            log.info("限流-超频次拦截:{}", keyAttr);
            return fallbackMethodResult(jp, accessInterceptor.fallbackMethod());
        }
 
        // 返回结果
        return jp.proceed();
    }
 
    /**
     * 黑名单
     * @param keyAttr
     * @param accessInterceptor
     * @return
     */
    private boolean isBlacklisted(String keyAttr, AccessInterceptor accessInterceptor) {
        String blacklistKey = "blacklist:" + keyAttr;
        long count = redissonClient.getAtomicLong(blacklistKey).incrementAndGet();
        redissonClient.getAtomicLong(blacklistKey).expire(accessInterceptor.blacklistDurationSeconds(), TimeUnit.SECONDS);
        return count > accessInterceptor.blacklistCount();
    }
 
    /**
     * 限流
     * @param keyAttr
     * @param accessInterceptor
     * @return
     */
    private boolean isRateLimited(String keyAttr, AccessInterceptor accessInterceptor) {
        String rateLimitKey = "ratelimit:" + keyAttr;
        RRateLimiter rateLimiter = redissonClient.getRateLimiter(rateLimitKey);
        // 设置速率
        rateLimiter.trySetRate(RateType.OVERALL, (long) accessInterceptor.permitsPerSecond(), 1, RateIntervalUnit.SECONDS);
        // 尝试获取许可
        return rateLimiter.tryAcquire();
    }
 
 
    /**
     * 调用用户配置的回调方法,当拦截后,返回回调结果。
     */
 
    private Object fallbackMethodResult(ProceedingJoinPoint jp, String fallbackMethod) throws NoSuchMethodException, InvocationTargetException, IllegalAccessException {
        MethodSignature methodSignature = (MethodSignature) jp.getSignature();
        Method method = jp.getTarget().getClass().getMethod(fallbackMethod, methodSignature.getParameterTypes());
        return method.invoke(jp.getThis(), jp.getArgs());
    }
 
 
    /**
     * 实际根据自身业务调整,主要是为了获取通过某个值做拦截
     */
    private String getAttrValue(String attr, Object[] args) {
        if (args[0] instanceof String) {
            return (String) args[0];
        }
        String fieldValue = null;
        for (Object arg : args) {
            try {
                if (fieldValue != null) {
                    break;
                }
                fieldValue = String.valueOf(getValueByName(arg, attr));
            } catch (Exception e) {
                log.error("获取属性值失败 attr:{}", attr, e);
            }
        }
        return fieldValue;
    }
 
 
    /**
     * 获取对象的特定属性值
     *
     * @param item 对象
     * @param name 属性名
     * @return 属性值
     * @author tang
     */
 
    private Object getValueByName(Object item, String name) {
        try {
            Field field = getFieldByName(item, name);
            if (field == null) {
                return null;
            }
            field.setAccessible(true);
            Object value = field.get(item);
            field.setAccessible(false);
            return value;
        } catch (IllegalAccessException e) {
            return null;
        }
    }
 
    /**
     * 根据名称获取方法,该方法同时兼顾继承类获取父类的属性
     *
     * @param item 对象
     * @param name 属性名
     * @return 该属性对应方法
     * @author tang
     */
 
    private Field getFieldByName(Object item, String name) {
        try {
            Field field;
            try {
                field = item.getClass().getDeclaredField(name);
            } catch (NoSuchFieldException e) {
                field = item.getClass().getSuperclass().getDeclaredField(name);
            }
            return field;
        } catch (NoSuchFieldException e) {
            return null;
        }
    }
 
 
}
  • 通过自定义注解中配置的拦截字段,获取对应的值。这里的值作为用户的标识使用,只对这个用户进行拦截。【也可以是一些列的信息确认,包括用户IP、设备等。】
  • 这段代码流程中会根据自定义注解中的配置,对访问的用户进行限流拦截,当拦击次数达到加入黑名单的次数后,则直接存起来(Redis)在24h内直接走黑名单。—— 实际的场景中还会有风控的手段介入,以及人工来操作黑名单。

 

@Configuration
public class RateLimiterAOPConfig {
 
    @Bean
    public RateLimiterAOP rateLimiter(){
        return new RateLimiterAOP();
    }
 
}

最后在需要拦截的方法上添加自定义注解即可

  • key: 以用户ID作为拦截,这个用户访问次数限制
  • fallbackMethod:失败后的回调方法,方法出入参保持一样
  • permitsPerSecond:每秒的访问频次限制。1秒1次
  • blacklistCount:超过10次都被限制了,还访问的,扔到黑名单里24小时


相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore &nbsp; &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
2月前
|
算法 NoSQL Java
服务、服务间接口限流实现
`shigen`是一位坚持更新博客的写手,专注于记录个人成长、分享认知与感动。本文探讨了接口限流的重要性,通过实例分析了在调用第三方API时遇到的“请求过多”问题及其解决方法,包括使用`Thread.sleep()`和`Guava RateLimiter`进行限流控制,以及在分布式环境中利用Redis实现更高效的限流策略。
42 0
服务、服务间接口限流实现
|
消息中间件 算法 Sentinel
只需5分钟,了解常见的四种限流算法
只需5分钟,了解常见的四种限流算法
269 4
|
存储 算法 Java
限流常见的算法有哪些呢?
限流常见的算法有哪些呢?
71 0
|
7月前
|
缓存 Java 应用服务中间件
常见的限流降级方案
【1月更文挑战第21天】
|
7月前
|
存储 算法 NoSQL
常见限流算法及其实现
在分布式系统中,随着业务量的增长,如何保护核心资源、防止系统过载、保证系统的稳定性成为了一个重要的问题。限流算法作为一种有效的流量控制手段,被广泛应用于各类系统中。本文将详细介绍四种常见的限流算法、两种常用的限流器工具,从原理、源码的角度进行分析。
489 0
|
7月前
|
算法 Go API
限流算法~
限流算法~
68 1
|
7月前
|
监控 测试技术 数据安全/隐私保护
如何集成Sentinel实现流控、降级、热点规则、授权规则总结
如何集成Sentinel实现流控、降级、热点规则、授权规则总结
275 0
|
算法 NoSQL JavaScript
服务限流,我有6种实现方式…
服务限流,我有6种实现方式…
|
缓存 算法 网络协议
限流实现2
剩下的几种本来打算能立即写完,没想到一下三个月过去了,很是尴尬。本次主要实现如下两种算法 - 令牌桶算法 - 漏斗算法
|
缓存 NoSQL 算法
限流实现-专题一
在实际业务中,经常会碰到突发流量的情况。如果公司基础架构做的不好,服务无法自动扩容缩容,在突发高流量情况下,服务会因为压力过大而崩溃。更恐怖的是,服务崩溃如同多米诺骨牌,一个服务出问题,可能影响到整个公司所有组的业务。