使用go做一个限流功能

简介: 使用go做一个限流功能

在我们日常维护中,经常有爬虫进行爬取网页,少则1秒钟请求数十次,多则达百次,严重消耗了服务器带宽,且影响正常使用者,好在nginx可以配合lua可以完成类似的需求,本次我们将使用go来完成本需求。



需求背景

在我们日常维护中,可能需要这样一种工具,来对某些路由,对特定IP或者用户ID,在特定时间内,限制最大访问次数,这样有效的避免服务器带宽资源的浪费的同时也能接入更多用户请求,本次使用go来做一个类似的。


web demo搭建

我们先来使用SampleHttp编写一个最简单的web服务器,定义路由queryAll,收到后,假设将返回客户端1w字节的数据信息。

image.png

在启动web服务器后,我们使用curl进行测试

命令:

curl 127.0.0.1:8083/queryAll

image.png



限制访问次数编写


在上述整体需求的情况下,我们需要编写在规定时间限制访问次数的需求,这里我们为了方便,使用ip来作为限制条件,其核心功能分类大致分为:


  • 从未访问过web服务器
  • 访问过web服务器,在规定时间内没有超出限制
  • 访问过web服务器,在在规定时间内超出了限制
  • 访问过web服务器,时间间隔超过了规定时间

如上分类,除了第三种需要限流外,其他则视为正常访问即可。


核心存储,我们可以选择go map,其中keyipvalue为结构体,该结构体包含访问次数创建间戳。


其定义如下

image.png


我们来根据如上定义的核心功能来编写程序

从未访问过服务器

我们根据map中是否存在这个key来判断,如

_, ok := visitHashMap[ip]; if !ok {
    // 如果没有该ip的访问次数,则新增记录
}


访问过服务器,在规定时间超过了限制

if time.Now().Unix()-visit.createUnixTime >= interval*60 {
    // 在规定时间超过了限制,需要重新计算阈值
}


超过最大允许访问数

if visitHashMap[ip].number >= maxNum {
    // 超过允许最大访问次数
}


整理为其核心函数如下

image.png



功能测试

我们在定义路由地方,将来访者IP传入,就可以根据其返回的bool值来判断是否需要限制访问了。

main函数定义如下:

func main() {
  SampleHttp.Route("get","/queryAll", func(info *SampleHttp.HttpInfo) {
    ip := strings.Split(info.RemoteIP,":")[0]
    if ! limits(ip) {
      info.Write([]byte(fmt.Sprintf("%s 已经被限制访问,在%d分钟内,访问达到%d次",time.Now(),interval,visitHashMap[ip].number)))
      return
    }
    info.Write([]byte(fmt.Sprintf("%s 收到queryAll请求,开始查询,返回1W字节数据信息...,统计信息: 在%d分钟内,访问达到%d次",time.Now(),interval,visitHashMap[ip].number)))
  })
  visitHashMap = make(map[string]visitInfo,0)
  SampleHttp.StartServer("0.0.0.0:8083")
}


我们将开启服务器来测试一下

网络异常,图片无法展示
|

通过上述执行结果图,可以看到,当1分钟内访问次数超过10次后,就被限制访问了,而从第一次访问时间到目前访问时间间隔达到1分钟以上后,限制就被解除了,可见功能已经完成了。



总结


如上只是实现了这种方法而已,在实际项目中,还需要详细的打磨才行,不然执行效率肯定堪忧,怎么样,限制这个看着好玩吧,快来试试吧,相关代码已经放置到了gitee上。


相关文章
|
7月前
|
监控 算法 Go
Golang深入浅出之-Go语言中的服务熔断、降级与限流策略
【5月更文挑战第4天】本文探讨了分布式系统中保障稳定性的重要策略:服务熔断、降级和限流。服务熔断通过快速失败和暂停故障服务调用来保护系统;服务降级在压力大时提供有限功能以保持整体可用性;限流控制访问频率,防止过载。文中列举了常见问题、解决方案,并提供了Go语言实现示例。合理应用这些策略能增强系统韧性和可用性。
449 0
|
7月前
|
JSON Go 数据格式
从1开始,扩展Go语言后端业务系统的RPC功能
从1开始,扩展Go语言后端业务系统的RPC功能
96 0
|
7月前
|
存储 Go
Go 浅析主流日志库:从设计层学习如何集成日志轮转与切割功能
本文将探讨几个热门的 go 日志库如 logrus、zap 和官网的 slog,我将分析这些库的的关键设计元素,探讨它们是如何支持日志轮转与切割功能的配置。
293 0
Go 浅析主流日志库:从设计层学习如何集成日志轮转与切割功能
|
7月前
|
网络协议 Go Windows
Wireshark的Go 和Capture 功能都能做什么?
Wireshark的Go 和Capture 功能都能做什么?
|
6月前
|
Go
Go 中使用切片来实现动态数组的功能
Go 中使用切片来实现动态数组的功能
|
4月前
|
存储 NoSQL 算法
Go 分布式令牌桶限流 + 兜底保障
Go 分布式令牌桶限流 + 兜底保障
|
4月前
|
算法 搜索推荐 Unix
快速指南: Go 1.19功能
快速指南: Go 1.19功能
|
4月前
|
编译器 Go
Go语言中的闭包:封装数据与功能的强大工具
Go语言中的闭包:封装数据与功能的强大工具
|
4月前
|
开发工具 git
根据使用者反馈,对开源项目 go-gin-api 新增两个功能
根据使用者反馈,对开源项目 go-gin-api 新增两个功能
31 0
|
7月前
|
算法 Java 编译器
GO语言中的runtime功能概要
【5月更文挑战第17天】本文简介Go语言的`runtime`库支撑着高效的并发和内存管理。此外,runtime还涉及定时器、错误处理(Panic和Recover)以及反射功能。通过内联展开和逃逸分析等手段,实现性能优化。
96 1