Go语言框架中如何快速集成限流中间件

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: Go语言框架中如何快速集成限流中间件

前言


在我们的日常开发中, 常用的中间件有很多, 今天来讲一下怎么集成限流中间件, 它可以很好地用限制并发访问数来保护系统服务, 避免系统服务崩溃, 资源占用过大甚至服务器崩溃进而影响到其他应用!


分布式版

简介


通常我们的服务会同时存在多个进程, 也就是负载来保证服务的性能和稳定性, 那么就需要走一个统一的限流, 这个时候就需要借助我们的老朋友-redis, 来进行分布式限流;

算法


漏桶算法

即一个水桶, 进水(接受请求)的速率不限, 出水(处理请求)的速率是一定的, 如果出水的速率小于进水的速率, 就会造成水桶溢出(也就是拒绝请求);

主要是从出口限制, 以固定的速率控制访问速度, 缺点是难以应对突发请求;


依赖库


https://github.com/go-redis/redis_rate

实现

下面是一个简单的实现, 对 /v1/hello接口进行每分钟2次的速率限制


// RateLimitConf 速率配置, 允许多长时间通过多少次.
type RateLimitConf struct {
  Limit int64
  Timer time.Duration
}
// exampleLimiterMap 接口请求速率配置, 建议放入redis/数据库同步本地缓存.
var exampleLimiterMap = map[string]RateLimitConf{
  "/v1/hello": {Limit: 2, Timer: time.Minute},
}
// LimiterMiddle 分布式限流中间件.
func LimiterMiddle(ctx iris.Context) {
  var (
    uri    = ctx.Request().RequestURI
    client = redis.NewClusterClient()
    key    = uri
  )
  conf, ok := exampleLimiterMap[uri]
  if ok {
    limiter := redis_rate.NewLimiter(client)
    if _, _, b := limiter.Allow(key, conf.Limit, conf.Timer); !b {
      r, _ := httpcode.NewRequest(ctx, nil)
      r.Code(httpcode.TooManyReq, fmt.Errorf("req rate limit"), nil)
      return
    }
  }
  ctx.Next()
}

注意

  1. 接口速率配置如果需要进行实时配置, 则建议将配置写入数据库, 然后刷新到本地缓存/存到redis;
  2. 如果需要对设备/ip/用户进行接口限制访问, 则将 key加上唯一标志即可;


单机版

简介

这个就只适用于单个服务进程的限流, 比如个人搭的一些小网站之类的;

算法

令牌桶算法


即也是一个桶, 按照设定的速率往桶里放令牌, 10s二十次即1s放两个令牌(允许处理两次请求), 然后请求来之后必须从桶里取出来令牌才可以进行处理, 没有令牌则选择拒绝或等待;

主要是从入口限制, 允许一定量的突发请求(即桶内所有的令牌);


依赖库


https://golang.org/x/time/rate


实现


下面是一个简单的实现, 对 /v1/hello接口进行每分钟2次的速率限制

// exampleStandAloneLimiterMap 单机接口请求速率配置.
var exampleStandAloneLimiterMap = map[string]*rate.Limiter{
  "/v1/hello": rate.NewLimiter(rate.Every(time.Minute), 2),
}
// StandAloneLimiterMiddle 单机限流中间件.
func StandAloneLimiterMiddle(ctx iris.Context) {
  var (
    uri = ctx.Request().RequestURI
  )
  limiter, ok := exampleStandAloneLimiterMap[uri]
  if ok {
    if b := limiter.Allow(); !b {
      r, _ := httpcode.NewRequest(ctx, nil)
      r.Code(httpcode.TooManyReq, fmt.Errorf("req rate limit"), nil)
      return
    }
  }
  ctx.Next()
}

结语


上面的代码均摘自我开发的一个开源项目中, 主要是一个Go的标准项目布局, 封装了一些常用的组件, 有兴趣的朋友可以了解一下, 新手极易上手;

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
13小时前
|
存储 安全 Java
【Go语言精进之路】Go语言基础:基础语法概览
【Go语言精进之路】Go语言基础:基础语法概览
8 0
|
15小时前
|
存储 监控 Go
【Go语言精进之路】构建高效Go程序:了解切片实现原理并高效使用
【Go语言精进之路】构建高效Go程序:了解切片实现原理并高效使用
9 3
|
15小时前
|
设计模式 安全 Go
【Go语言精进之路】构建高效Go程序:零值可用、使用复合字面值作为初值构造器
【Go语言精进之路】构建高效Go程序:零值可用、使用复合字面值作为初值构造器
7 2
|
15小时前
|
存储 安全 Go
【Go语言精进之路】构建高效Go程序:掌握变量、常量声明法则与iota在枚举中的奥秘
【Go语言精进之路】构建高效Go程序:掌握变量、常量声明法则与iota在枚举中的奥秘
6 2
|
1天前
|
Go 开发者
探索Go语言的并发编程模型
通过实例详细介绍了Go语言中的并发编程模型,包括goroutine、channel的基本使用和最佳实践。深入剖析如何利用Go的并发特性提高程序性能和效率,适用于初学者和有一定经验的开发者。
|
3天前
|
Go Python
go语言调用python脚本
go语言调用python脚本
8 0
|
6天前
|
负载均衡 算法 Java
【面试宝藏】Go语言运行时机制面试题
探索Go语言运行时,了解goroutine的轻量级并发及GMP模型,包括G(协程)、M(线程)和P(处理器)。GMP调度涉及Work Stealing和Hand Off机制,实现负载均衡。文章还讨论了从协作到基于信号的抢占式调度,以及GC的三色标记算法和写屏障技术。理解这些概念有助于优化Go程序性能。
23 4
|
6天前
|
JSON Go 数据格式
Go 语言基础之指针、复合类型【数组、切片、指针、map、struct】(4)
Go 语言基础之指针、复合类型【数组、切片、指针、map、struct】
|
6天前
|
Java 编译器 Go
Go 语言基础之指针、复合类型【数组、切片、指针、map、struct】(3)
Go 语言基础之指针、复合类型【数组、切片、指针、map、struct】
|
6天前
|
存储 安全 Go
Go 语言基础之指针、复合类型【数组、切片、指针、map、struct】(2)
Go 语言基础之指针、复合类型【数组、切片、指针、map、struct】