让sync.WaitGroup支持并发数量限制

简介: 让sync.WaitGroup支持并发数量限制

让sync.WaitGroup支持并发数量限制



重新定义WaitGroup


重新定义WaitGroup,目的就是为了支持并发数量限制,跟以往不确定并发相比,重新构造的WaitGroup可以限制并发数量和查看pending数量。


代码


// WaitGroup 实现一个简单的goroutine池
type WaitGroup struct {
 size      int
 pool      chan byte
 waitCount int64
 waitGroup sync.WaitGroup // 底层还是利用sync.WaitGroup去做并发控制
}
// NewWaitGroup 创建一个带有size的并发池 当size为<=0时,直接走sync.WaitGroup逻辑
func NewWaitGroup(size int) *WaitGroup {
 wg := &WaitGroup{
  size: size,
 }
 if size > 0 {
  wg.pool = make(chan byte, size)
 }
 return wg
}
// BlockAdd 将“1”推入并发池中,如果池已满,则阻塞,这样就打到了限制并发的目的
func (wg *WaitGroup) BlockAdd() {
 if wg.size > 0 {
  wg.pool <- 1
 }
 wg.waitGroup.Add(1)
}
// Done 代表一个并发结束
func (wg *WaitGroup) Done() {
 if wg.size > 0 {
  <-wg.pool
 }
 wg.waitGroup.Done()
}
// Wait 等待所有并发goroutine结束
func (wg *WaitGroup) Wait() {
 wg.waitGroup.Wait()
}
// PendingCount 返回所有pending状态的goroutine数量
func (wg *WaitGroup) PendingCount() int64 {
 return int64(len(wg.pool))
}
func main() {
 urls := []string{
  "https://www.a.com/",
  "https://www.b.com",
  "https://www.c.com",
  "https://www.d.com/",
  "https://www.e.com",
  "https://www.f.com",
 }
 wg := NewWaitGroup(2)
 for _, url := range urls {
  wg.BlockAdd()
  go func(url string) {
   defer wg.Done()
   res, err := http.Get(url)
   if err != nil {
    fmt.Printf("%s: result: %v\n", url, err)
    return
   }
   defer res.Body.Close()
  }(url)
 }
 wg.Wait()
 fmt.Println("Finished")
}


结果

640.png


小结


其实原则上我们用sync.WaitGroup可以满足并发控制,但是有些业务场景需要限制并发数量,而语言本身提供的又无法满足,所以这里就简单封装,实现了WaitGroup的并发限制,当然,这只是一小步,如果大家有兴趣,可以在其之上加上context,这样就可以满足超时控制和取消了。

相关文章
|
4月前
|
Go
使用 sync.Cond 来协调并发 goroutine 的访问共享资源
使用 sync.Cond 来协调并发 goroutine 的访问共享资源
|
4月前
|
设计模式 Java Go
Go - 使用 sync.WaitGroup 来实现并发操作
Go - 使用 sync.WaitGroup 来实现并发操作
48 2
|
4月前
|
存储 设计模式 Java
Go - 使用 sync.Pool 来减少 GC 压力
Go - 使用 sync.Pool 来减少 GC 压力
68 0
|
7月前
|
存储 网络协议 iOS开发
connect永远阻塞线程及解决方案
connect永远阻塞线程及解决方案
117 0
|
缓存 Go
控制goroutine 的并发执行数量
控制goroutine 的并发执行数量
148 0
|
7月前
|
数据处理 容器
RT-Thread快速入门-线程间同步之信号量
RT-Thread快速入门-线程间同步之信号量
119 0
|
存储 安全 Go
Go中sync.WaitGroup处理协程同步
Go中sync.WaitGroup处理协程同步
125 0
|
调度 C++
进程、线程、并发、并行、同步、异步、阻塞、非阻塞
乎所有的操作系统都支持同时运行多个任务,一个任务通常就是一个程序,每个运行中的程序就是一个进程。当一个程序运行时,内部可能包含了多个顺序执行流,每个顺序执行流就是一个线程。
|
缓存 Go
Go-并发模式总结(扇入模式,超时模式,callback模式等)
Go-并发模式总结(扇入模式,超时模式,callback模式等)
161 0
Go-并发模式总结(扇入模式,超时模式,callback模式等)