让sync.WaitGroup支持并发数量限制

简介: 让sync.WaitGroup支持并发数量限制

让sync.WaitGroup支持并发数量限制



重新定义WaitGroup


重新定义WaitGroup,目的就是为了支持并发数量限制,跟以往不确定并发相比,重新构造的WaitGroup可以限制并发数量和查看pending数量。


代码


// WaitGroup 实现一个简单的goroutine池
type WaitGroup struct {
 size      int
 pool      chan byte
 waitCount int64
 waitGroup sync.WaitGroup // 底层还是利用sync.WaitGroup去做并发控制
}
// NewWaitGroup 创建一个带有size的并发池 当size为<=0时,直接走sync.WaitGroup逻辑
func NewWaitGroup(size int) *WaitGroup {
 wg := &WaitGroup{
  size: size,
 }
 if size > 0 {
  wg.pool = make(chan byte, size)
 }
 return wg
}
// BlockAdd 将“1”推入并发池中,如果池已满,则阻塞,这样就打到了限制并发的目的
func (wg *WaitGroup) BlockAdd() {
 if wg.size > 0 {
  wg.pool <- 1
 }
 wg.waitGroup.Add(1)
}
// Done 代表一个并发结束
func (wg *WaitGroup) Done() {
 if wg.size > 0 {
  <-wg.pool
 }
 wg.waitGroup.Done()
}
// Wait 等待所有并发goroutine结束
func (wg *WaitGroup) Wait() {
 wg.waitGroup.Wait()
}
// PendingCount 返回所有pending状态的goroutine数量
func (wg *WaitGroup) PendingCount() int64 {
 return int64(len(wg.pool))
}
func main() {
 urls := []string{
  "https://www.a.com/",
  "https://www.b.com",
  "https://www.c.com",
  "https://www.d.com/",
  "https://www.e.com",
  "https://www.f.com",
 }
 wg := NewWaitGroup(2)
 for _, url := range urls {
  wg.BlockAdd()
  go func(url string) {
   defer wg.Done()
   res, err := http.Get(url)
   if err != nil {
    fmt.Printf("%s: result: %v\n", url, err)
    return
   }
   defer res.Body.Close()
  }(url)
 }
 wg.Wait()
 fmt.Println("Finished")
}


结果

640.png


小结


其实原则上我们用sync.WaitGroup可以满足并发控制,但是有些业务场景需要限制并发数量,而语言本身提供的又无法满足,所以这里就简单封装,实现了WaitGroup的并发限制,当然,这只是一小步,如果大家有兴趣,可以在其之上加上context,这样就可以满足超时控制和取消了。

目录
打赏
0
0
0
0
5
分享
相关文章
Google提出的网页性能评价指标
Google推出的“网页指标”计划旨在优化网页用户体验,其中Core Web Vitals为核心指标,包括Largest Contentful Paint (LCP)、Interaction to Next Paint (INP)和Cumulative Layout Shift (CLS),分别衡量加载速度、互动性和视觉稳定性。这些指标采用第75百分位数评估,确保在不同设备和网络环境下提供一致的用户体验。
294 5
Google提出的网页性能评价指标
深入解析:如何用 Spring Boot 实现分页和排序
深入解析:如何用 Spring Boot 实现分页和排序
480 2
微服务日志监控的挑战及应对方案
【10月更文挑战第23天】微服务化带来模块独立与快速扩展,但也使得日志监控复杂。日志作用包括业务记录、异常追踪和性能定位。
封UDP封海外的高防云服务器如何选择? - 蓝易云
以上就是选择封UDP封海外的高防云服务器的一些要点,希望对你有所帮助。
178 4
【Kafka】Replica、Leader 和 Follower 三者的概念分析
【4月更文挑战第11天】【Kafka】Replica、Leader 和 Follower 三者的概念分析
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等

登录插画

登录以查看您的控制台资源

管理云资源
状态一览
快捷访问