一个优秀的分布式spring boot/Spring Cloud API限流框架,特别适合微服务架构

简介: 啥也不说了,上代码先: https://github.com/tangaiyun/redislimiter-spring-boot redislimiter-spring-boot 一个优秀的分布式spring boot/Spring Cloud API限流框架,特别适合微服务架构.

啥也不说了,上代码先:

redislimiter-spring-boot

一个优秀的分布式spring boot/Spring Cloud API限流框架,特别适合微服务架构.

快速开始

1. git clone https://github.com/tangaiyun/redislimiter-spring-boot.git

2. cd redislimiter-spring-boot-starter

3. mvn clean install

4. 新建一个Spring boot API 项目,具体参考demo1项目,要在项目依赖中加入

        <dependency>
            <groupId>com.tay</groupId>
            <artifactId>redislimiter-spring-boot-starter</artifactId>
            <version>0.0.1-SNAPSHOT</version>
        </dependency>

5. 修改项目resources/application.yml文件

server:
    port: 8888                                #端口
spring:
    application:
        name: demo1                           #应用名称必须要配置,不然无法启动
    redis-limiter:                            #限流器配置
        redis-host: 127.0.0.1                 #redis server ip  
        check-action-timeout: 100             #访问检查动作最大执行时间(单位毫秒)
        enable-dynamical-conf: true           #开启动态限流配置 

spring.application.name必须配置

6. 新建一个RestController类

package com.tay.demo1;

import com.tay.redislimiter.RateLimiter;
import com.tay.redislimiter.dynamic.DynamicRateLimiter;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

import java.util.concurrent.TimeUnit;


@RestController
@RequestMapping("/demo")
public class DemoController {

    @GetMapping("/test")
    //基于用户限流,独立用户每分钟最多2次访问,用户id在header中,key为userid
    //RateLimiter标签为静态配置,此类配置不可动态修改
    @RateLimiter(base = "#Headers['userid']", permits = 2, timeUnit = TimeUnit.MINUTES) 
    public String test() {
        return "test!";
    }

    @GetMapping("/dynamictest")
    //基于来源ip限流,独立ip每分钟最多访问5次访问,来源ip位于header中,key为X-Real-IP
    //DynamicRateLimiter标签代表动态配置,此类配置可在运行时动态修改
    @DynamicRateLimiter(base = "#Headers['X-Real-IP']", permits = 5, timeUnit = TimeUnit.MINUTES)
    public String dynamicTest() {
        return "dynamictest!";
    }

}

7. 在本机安装redis并启动,强烈建议在本机安装docker环境,然后执行

sudo docker run -d -p 6379:6379 redis

就是这么爽气!

8. 运行Demo1Application.java

9. 测试

通过postman或者restd访问url http://localhost:8888/demo/test 在header中指定userid=tom, 可以发现tom一分钟最多只能访问2次

通过postman或者restd访问url http://localhost:8888/demo/dynamictest 在header中指定X-Real-IP=127.0.0.1, 可以发现127.0.0.1一分钟最多只能访问5次

高阶教程

1. 配置项大全

spring:
    redis-limiter: 
        redis-host: 127.0.0.1           # redis server IP                  默认值:127.0.0.1
        redis-port: 6379                # redis service 端口               默认值:6379  
        redis-password: test            # redis 访问密码                   默认值:null 
        redis-connection-timeout: 2000  # redis 连接超时时间               默认值:2000
        redis-pool-max-idle: 50         # redis 连接池最大空闲连接数        默认值:50
        redis-pool-min-idle: 10         # redis 连接池最小空闲连接数        默认值: 10 
        redis-pool-max-wait-millis: -1 # 从连接池中获取连接最大等待时间     默认值: -1 
        redis-pool-max-total: 200       # 连接池中最大连接数                默认值: 200
        redis-key-prefix: #RL           # 访问痕迹key值前缀                 默认值: #RL
        check-action-timeout: 100       # 访问检查动作最大执行时间(单位毫秒) 默认值: 100
        enable-dynamical-conf: true     # 是否开启动态配置                  默认值: false 
        channel: #RLConfigChannel      # 配置变更事件发送channel名称        默认值: #RLConfigChannel   

2 标签

@RateLimiter, @DynamicRateLimiter 是用户最经常使用到的。

2.1 标签说明 --整体说明

@RateLimiter @DynamicRateLimiter 这两个标签用法完全一致,他们都有4个属性base、path、timeUnit、permits.

@Retention(RUNTIME)
@Target({ TYPE, METHOD })
public @interface RateLimiter {

    String base() default "";

    String path() default "";

    TimeUnit timeUnit() default TimeUnit.SECONDS;

    int permits() default 10000;
}

@Retention(RUNTIME)
@Target({ TYPE, METHOD })
public @interface DynamicRateLimiter {
    String base() default "";

    String path() default "";

    TimeUnit timeUnit() default TimeUnit.SECONDS;

    int permits() default 10000;
}

2.2 标签说明 -- base参数(Spel表达式)说明

标签都有一个属性base,含义就是限流是"基于what"来进行的,如果你不指定base,那么所有的请求都会聚合在一起统计,base为一个Spel表达式。

@RateLimiter(base = "#Headers['userid']", permits = 2, timeUnit = TimeUnit.MINUTES) 
@DynamicRateLimiter(base = "#Headers['X-Real-IP']", permits = 5, timeUnit = TimeUnit.MINUTES)

目前base表达式仅支持从header和cookie中取值,Headers和Cookies就是两个Map, 下面两种配置都是合法的。

"#Headers['X-Real-IP']"
"#Cookies['userid']"

2.3 标签使用 -- path 参数说明

path 如果不设置默认值是"", 当path为"", 框架内部会把它改写为request.getRequestURI(),一般情况下框架默认行为就OK了。但在一种情况下你可能需要设置path参数,就是RequestMapping的path里面包含Path Parameters的情况,例如:

    @GetMapping("/user/{userid}")
    @DynamicRateLimiter(base = "#Headers['X-Real-IP']", path = "/user", permits = 5, timeUnit = TimeUnit.MINUTES)
    public User get(@PathVariable String userid) {
        User user ...
       
        return user;
    }

在这种情况下,我们一般不会基于"/user/001"这样统计,所有访问"/user/001", "/user/002"的请求都会聚合到path "/user'上统计。

2.4 标签使用 -- timeUnit 参数说明

访问统计时间单位,以下4种都是有效的:

TimeUnit.SECONDS, TimeUnit.MINUTES, TimeUnit.HOURS, TimeUnit.DAYS

2.5 标签使用 -- permits 参数说明

单位时间内允许访问的次数

3. 动态配置

动态配置使用@DynamicRateLimiter标签,动态配置含义就是在运行时可以动态修改限流配置,这个是通过提供内置配置访问Rest API来实现的。

RestController
@RequestMapping("/limiterconfig")
@RequiredArgsConstructor
public final class LimiterConfigResource implements InitializingBean, ApplicationContextAware {
    ...
    
    @PutMapping
    public void update(@RequestBody LimiterConfig limiterConfig, HttpServletResponse response) throws IOException {
        if(applicationName.equals(limiterConfig.getApplicationName())) {
            publish(limiterConfig);
        }
        else {
            response.setStatus(HttpStatus.BAD_REQUEST.value());
            response.getWriter().print("Bad request for updating limiter configuration!");
        }
    }
    @GetMapping
    public LimiterConfig get(@RequestParam("controller") String controller, @RequestParam("method")String method) {
        String limiterConfigKey = controller + ":" + method;
        return redisLimiterConfigProcessor.get(limiterConfigKey);
    }

    @DeleteMapping
    public void delete(@RequestParam("controller") String controller, @RequestParam("method")String method) {
        LimiterConfig limiterConfig = new LimiterConfig();
        limiterConfig.setApplicationName(applicationName);
        limiterConfig.setControllerName(controller);
        limiterConfig.setMethodName(method);
        limiterConfig.setDeleted(true);
        publish(limiterConfig);
    }

目前提供了修改(PUT), 查询 (GET), 删除(DELETE)三种操作。

对于demo1项目

我们可以通过 GET http://localhost:8888/limiterconfig?controller=DemoController&method=dynamicTest 来获取限流配置,返回值为

{
  "applicationName": "demo1",
  "controllerName": "DemoController",
  "methodName": "dynamicTest",
  "baseExp": "#Headers['userid']",
  "path": "",
  "timeUnit": "MINUTES",
  "permits": 5,
  "deleted": false
}

通过指定Content-Type为application/json PUT http://localhost:8888/limiterconfig 来改动限流配置, 发送内容如

{
  "applicationName": "demo1",
  "controllerName": "DemoController",
  "methodName": "dynamicTest",
  "baseExp": "#Headers['userid']",
  "path": "",
  "timeUnit": "MINUTES",
  "permits": 10,
  "deleted": false
}

通过 DELETE http://localhost:8888/limiterconfig?controller=DemoController&method=dynamicTest 可删除限流配置

相关文章
|
数据采集 存储 数据可视化
分布式爬虫框架Scrapy-Redis实战指南
本文介绍如何使用Scrapy-Redis构建分布式爬虫系统,采集携程平台上热门城市的酒店价格与评价信息。通过代理IP、Cookie和User-Agent设置规避反爬策略,实现高效数据抓取。结合价格动态趋势分析,助力酒店业优化市场策略、提升服务质量。技术架构涵盖Scrapy-Redis核心调度、代理中间件及数据解析存储,提供完整的技术路线图与代码示例。
2057 0
分布式爬虫框架Scrapy-Redis实战指南
|
11月前
|
Cloud Native Serverless API
微服务架构实战指南:从单体应用到云原生的蜕变之路
🌟蒋星熠Jaxonic,代码为舟的星际旅人。深耕微服务架构,擅以DDD拆分服务、构建高可用通信与治理体系。分享从单体到云原生的实战经验,探索技术演进的无限可能。
微服务架构实战指南:从单体应用到云原生的蜕变之路
|
监控 Java 调度
SpringBoot中@Scheduled和Quartz的区别是什么?分布式定时任务框架选型实战
本文对比分析了SpringBoot中的`@Scheduled`与Quartz定时任务框架。`@Scheduled`轻量易用,适合单机简单场景,但存在多实例重复执行、无持久化等缺陷;Quartz功能强大,支持分布式调度、任务持久化、动态调整和失败重试,适用于复杂企业级需求。文章通过特性对比、代码示例及常见问题解答,帮助开发者理解两者差异,合理选择方案。记住口诀:单机简单用注解,多节点上Quartz;若是任务要可靠,持久化配置不能少。
1224 4
|
缓存 Cloud Native Java
Java 面试微服务架构与云原生技术实操内容及核心考点梳理 Java 面试
本内容涵盖Java面试核心技术实操,包括微服务架构(Spring Cloud Alibaba)、响应式编程(WebFlux)、容器化(Docker+K8s)、函数式编程、多级缓存、分库分表、链路追踪(Skywalking)等大厂高频考点,助你系统提升面试能力。
1715 0
|
存储 监控 数据可视化
常见的分布式定时任务调度框架
分布式定时任务调度框架用于在分布式系统中管理和调度定时任务,确保任务按预定时间和频率执行。其核心概念包括Job(任务)、Trigger(触发器)、Executor(执行器)和Scheduler(调度器)。这类框架应具备任务管理、任务监控、良好的可扩展性和高可用性等功能。常用的Java生态中的分布式任务调度框架有Quartz Scheduler、ElasticJob和XXL-JOB。
6252 66
|
Cloud Native Serverless 流计算
云原生时代的应用架构演进:从微服务到 Serverless 的阿里云实践
云原生技术正重塑企业数字化转型路径。阿里云作为亚太领先云服务商,提供完整云原生产品矩阵:容器服务ACK优化启动速度与镜像分发效率;MSE微服务引擎保障高可用性;ASM服务网格降低资源消耗;函数计算FC突破冷启动瓶颈;SAE重新定义PaaS边界;PolarDB数据库实现存储计算分离;DataWorks简化数据湖构建;Flink实时计算助力风控系统。这些技术已在多行业落地,推动效率提升与商业模式创新,助力企业在数字化浪潮中占据先机。
893 12
|
数据采集 人工智能 分布式计算
MaxFrame:链接大数据与AI的高效分布式计算框架深度评测与实践!
阿里云推出的MaxFrame是链接大数据与AI的分布式Python计算框架,提供类似Pandas的操作接口和分布式处理能力。本文从部署、功能验证到实际场景全面评测MaxFrame,涵盖分布式Pandas操作、大语言模型数据预处理及企业级应用。结果显示,MaxFrame在处理大规模数据时性能显著提升,代码兼容性强,适合从数据清洗到训练数据生成的全链路场景...
1072 5
MaxFrame:链接大数据与AI的高效分布式计算框架深度评测与实践!
|
传感器 监控 安全
智慧工地云平台的技术架构解析:微服务+Spring Cloud如何支撑海量数据?
慧工地解决方案依托AI、物联网和BIM技术,实现对施工现场的全方位、立体化管理。通过规范施工、减少安全隐患、节省人力、降低运营成本,提升工地管理的安全性、效率和精益度。该方案适用于大型建筑、基础设施、房地产开发等场景,具备微服务架构、大数据与AI分析、物联网设备联网、多端协同等创新点,推动建筑行业向数字化、智能化转型。未来将融合5G、区块链等技术,助力智慧城市建设。
933 1
|
人工智能 分布式计算 大数据
MaxFrame 产品评测:大数据与AI融合的Python分布式计算框架
MaxFrame是阿里云MaxCompute推出的自研Python分布式计算框架,支持大规模数据处理与AI应用。它提供类似Pandas的API,简化开发流程,并兼容多种机器学习库,加速模型训练前的数据准备。MaxFrame融合大数据和AI,提升效率、促进协作、增强创新能力。尽管初次配置稍显复杂,但其强大的功能集、性能优化及开放性使其成为现代企业与研究机构的理想选择。未来有望进一步简化使用门槛并加强社区建设。
792 8