SpringCloud Gateway 通过redis实现限流

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 Tair(兼容Redis),内存型 2GB
简介: SpringCloud Gateway 通过redis实现限流

文章目录

前言

在高并发的系统中,往往需要在系统中做限流,一方面是为了防止大量的请求使服务器过载,导致服务不可用,另一方面是为了防止网络攻击。


常见的限流方式,比如Hystrix适用线程池隔离,超过线程池的负载,走熔断的逻辑。在一般应用服务器中,比如tomcat容器也是通过限制它的线程数来控制并发的;也有通过时间窗口的平均速度来控制流量。常见的限流纬度有比如通过Ip来限流、通过uri来限流、通过用户访问频次来限流。


一般限流都是在网关这一层做,比如Nginx、Openresty、kong、zuul、Spring Cloud Gateway等;也可以在应用层通过Aop这种方式去做限流。


限流的目的是通过对并发访问/请求进行限速或者对一个时间窗口内的请求进行限速来保护系统,一旦达到限制速率则可以拒绝服务(定向到错误页或友好的展示页)、排队或等待(比如秒杀、评论、下单等场景)、降级(返回兜底数据或默认数据)。一般的中间件都会有单机限流框架,支持两种限流模式:控制速率和控制并发。

常见的限流算法

计数器算法

计数器算法采用计数器实现限流有点简单粗暴,一般我们会限制一秒钟的能够通过的请求数,比如限流qps为100,算法的实现思路就是从第一个请求进来开始计时,在接下去的1s内,每来一个请求,就把计数加1,如果累加的数字达到了100,那么后续的请求就会被全部拒绝。等到1s结束后,把计数恢复成0,重新开始计数。具体的实现可以是这样的:对于每次服务调用,可以通过AtomicLong#incrementAndGet()方法来给计数器加1并返回最新值,通过这个最新值和阈值进行比较。这种实现方式,相信大家都知道有一个弊端:如果我在单位时间1s内的前10ms,已经通过了100个请求,那后面的990ms,只能眼巴巴的把请求拒绝,我们把这种现象称为“突刺现象”

漏桶算法

漏桶算法为了消除”突刺现象”,可以采用漏桶算法实现限流,漏桶算法这个名字就很形象,算法内部有一个容器,类似生活用到的漏斗,当请求进来时,相当于水倒入漏斗,然后从下端小口慢慢匀速的流出。不管上面流量多大,下面流出的速度始终保持不变。不管服务调用方多么不稳定,通过漏桶算法进行限流,每10毫秒处理一次请求。因为处理的速度是固定的,请求进来的速度是未知的,可能突然进来很多请求,没来得及处理的请求就先放在桶里,既然是个桶,肯定是有容量上限,如果桶满了,那么新进来的请求就丢弃。

image.png

在算法实现方面,可以准备一个队列,用来保存请求,另外通过一个线程池(ScheduledExecutorService)来定期从队列中获取请求并执行,可以一次性获取多个并发执行。

这种算法,在使用过后也存在弊端:无法应对短时间的突发流量。

令牌桶算法

从某种意义上讲,令牌桶算法是对漏桶算法的一种改进,桶算法能够限制请求调用的速率,而令牌桶算法能够在限制调用的平均速率的同时还允许一定程度的突发调用。在令牌桶算法中,存在一个桶,用来存放固定数量的令牌。算法中存在一种机制,以一定的速率往桶中放令牌。每次请求调用需要先获取令牌,只有拿到令牌,才有机会继续执行,否则选择选择等待可用的令牌、或者直接拒绝。放令牌这个动作是持续不断的进行,如果桶中令牌数达到上限,就丢弃令牌,所以就存在这种情况,桶中一直有大量的可用令牌,这时进来的请求就可以直接拿到令牌执行,比如设置qps为100,那么限流器初始化完成一秒后,桶中就已经有100个令牌了,这时服务还没完全启动好,等启动完成对外提供服务时,该限流器可以抵挡瞬时的100个请求。所以,只有桶中没有令牌时,请求才会进行等待,最后相当于以一定的速率执行。

image.png

实现思路:可以准备一个队列,用来保存令牌,另外通过一个线程池定期生成令牌放到队列中,每来一个请求,就从队列中获取一个令牌,并继续执行。

RequestRateLimiterGatewayFilterFactory

限流作为网关最基本的功能,Spring Cloud Gateway官方就提供RequestRateLimiterGatewayFilterFactory这个类。

RequestRateLimiterGatewayFilter 工厂使用 RateLimiter 实现来确定是否允许继续处理当前请求。 如果不是,则返回 HTTP 429 - Too Many Requests(默认情况下)状态。


RequestRateLimiterGatewayFilter采用可选的 keyResolver 参数和特定于速率限制器的参数


KeyResolver

keyResolver 是一个实现 KeyResolver 接口的 bean。 在配置中,使用 SpEL 按名称引用 bean。 #{@myKeyResolver} 是一个 SpEL 表达式,它引用名为 myKeyResolver 的 bean。

KeyResolver 的默认实现是 PrincipalNameKeyResolver,它从 ServerWebExchange 检索 Principal 并调用 Principal.getName()。

默认情况下,如果 KeyResolver 没有找到key,请求将被拒绝。 可以以下通过设置来调整此行为

spring.cloud.gateway.filter.request-rate-limiter.deny-empty-key (Boolean) 和spring.cloud.gateway.filter.request-rate-limiter.empty-key-status-code(String)

RedisRateLimiter

RequestRateLimiterGatewayFilterFactory使用redis和lua脚本来实现令牌桶算法,lua脚本在RequestRateLimiterGatewayFilterFactory所在的包META-INF/scripts中

image.png

使用RedisRateLimiter需要引入spring-boot-starter-data-redis-reactive包,RedisRateLimiter使用的是令牌桶算法。


  • redis-rate-limiter.replenishRate :希望允许用户每秒执行多少请求,而没有任何丢弃的请求。这是令牌桶填充的速率。
  • redis-rate-limiter.burstCapacity :允许用户在一秒内执行的最大请求数。 这是令牌桶可以容纳的令牌数量。将此值设置为零会阻止所有请求。
  • redis-rate-limiter.requestedTokens : 请求需要使用多少令牌。 这是每个请求从桶中取出的令牌数量,默认为1。


通过在replenishRate 和burstCapacity 中设置相同的值来实现稳定的速率。 通过将burstCapacity 设置为高于replenishRate ,可以允许临时突发。 在这种情况下,需要允许速率限制器在突发之间有一段时间(根据replenishRate ),因为两个连续的突发将导致请求丢失(HTTP 429 - Too Many Requests)。

实现

这些实现的限流的项目都是在我之前的springcloud学习的基础上实现的,有兴趣的可以查看

springcloud 入门(1) eureka注册中心

springcloud 入门(10) Spring Security 安全与权限

springcloud 入门 之网关 springcloud gateway


1、在cloud-gateway springboot 项目中 引入依赖

    <dependency>
            <groupId>org.springframework.cloud</groupId>
            <artifactId>spring-cloud-starter-gateway</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-redis-reactive</artifactId>
        </dependency>

2、实现KeyResolver接口

@Component
public class UriKeyResolver implements KeyResolver {
    @Override
    public Mono<String> resolve(ServerWebExchange exchange) {
        final String path = exchange.getRequest().getURI().getPath();
        System.out.println(path);
        return Mono.just(path);
    }
}

UriKeyResolver是对URI进行限流。

3、修改配置文件

server.port=7201
spring.application.name=CLOUD-GATEWAY
# 路由配置
spring.cloud.gateway.routes[0].id=my_csdn_route
spring.cloud.gateway.routes[0].uri=http://blog.csdn.net/
spring.cloud.gateway.routes[0].predicates[0]=Path=/qq_39654841
# 限流过滤器
spring.cloud.gateway.routes[0].filters[0].name=RequestRateLimiter
#令牌桶每秒填充平均速率
spring.cloud.gateway.routes[0].filters[0].args.redis-rate-limiter.replenishRate=1
#令牌桶总容量
spring.cloud.gateway.routes[0].filters[0].args.redis-rate-limiter.burstCapacity=10
#用于限流的键的解析器的 Bean 对象的名字。它使用 SpEL 表达式根据#{@beanName}从 Spring 容器中获取 Bean 对象
spring.cloud.gateway.routes[0].filters[0].args.key-resolver=#{@uriKeyResolver}
# redis
spring.redis.host=localhost
spring.redis.port=6379
spring.redis.database=0
spring.redis.jedis.pool.max-active=8

4、测试

访问http://localhost:7201/qq_39654841,使用postman迭代20次进行测试,可以发现会有 HTTP 429 - Too Many Requests报错

image.png

查看redis会有限流存储的key的信息,关于key的含义可以查看lua脚本

image.png

至此,Spring Cloud Gateway 限流就到此结束了。


学习更多关于springcloud的可以关注我的 springcloud 专栏


GitHub地址:

https://github.com/ArronSun/micro-services-practice.git


参考:


《重新定义springcloud 实战》

https://docs.spring.io/spring-cloud-gateway/docs/current/reference/html/#the-requestratelimiter-gatewayfilter-factory

https://www.fangzhipeng.com/springcloud/2018/12/22/sc-f-gatway4.html


能力一般,水平有限,如有错误,请多指出。

————————————————

版权声明:本文为CSDN博主「码猿笔记」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。

原文链接:https://blog.csdn.net/qq_39654841/article/details/122219344

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore &nbsp; &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
2月前
|
存储 NoSQL Redis
SpringCloud基础7——Redis分布式缓存,RDB,AOF持久化+主从+哨兵+分片集群
Redis持久化、RDB和AOF方案、Redis主从集群、哨兵、分片集群、散列插槽、自动手动故障转移
SpringCloud基础7——Redis分布式缓存,RDB,AOF持久化+主从+哨兵+分片集群
|
2月前
|
负载均衡 Java Nacos
SpringCloud基础2——Nacos配置、Feign、Gateway
nacos配置管理、Feign远程调用、Gateway服务网关
SpringCloud基础2——Nacos配置、Feign、Gateway
|
2月前
|
Java 开发者 Spring
Spring Cloud Gateway 中,过滤器的分类有哪些?
Spring Cloud Gateway 中,过滤器的分类有哪些?
30 3
|
2月前
|
负载均衡 Java 网络架构
实现微服务网关:Zuul与Spring Cloud Gateway的比较分析
实现微服务网关:Zuul与Spring Cloud Gateway的比较分析
64 5
|
12天前
|
NoSQL Redis API
限流+共享session redis实现
【10月更文挑战第7天】
26 0
|
23天前
|
负载均衡 Java API
【Spring Cloud生态】Spring Cloud Gateway基本配置
【Spring Cloud生态】Spring Cloud Gateway基本配置
31 0
|
2月前
|
安全 Java 开发者
强大!Spring Cloud Gateway新特性及高级开发技巧
在微服务架构日益盛行的今天,网关作为微服务架构中的关键组件,承担着路由、安全、监控、限流等多重职责。Spring Cloud Gateway作为新一代的微服务网关,凭借其基于Spring Framework 5、Project Reactor和Spring Boot 2.0的强大技术栈,正逐步成为业界的主流选择。本文将深入探讨Spring Cloud Gateway的新特性及高级开发技巧,助力开发者更好地掌握这一强大的网关工具。
184 6
|
3月前
|
算法 NoSQL Java
spring cloud的限流算法有哪些?
【8月更文挑战第18天】spring cloud的限流算法有哪些?
80 3
|
24天前
|
存储 缓存 NoSQL
数据的存储--Redis缓存存储(一)
数据的存储--Redis缓存存储(一)
58 1