使用ants并发任务,事半功倍

简介: 使用ants并发任务,事半功倍

使用ants并发,事半功倍



简介


ants是一个高性能的goroutine池,实现了对大规模goroutine的调度管理、goroutine复用,允许使用者在开发并发程序的时候限制goroutine数量,复用资源,达到更高效执行任务的效果。


功能


  • 自动调度海量的goroutines,复用goroutines
  • 定期清理过期的goroutines,进一步节省资源
  • 提供了大量有用的接口:任务提交、获取运行中的goroutine数量、动态调整Pool大小、释放Pool、重启Pool
  • 优雅处理panic,防止程序崩溃
  • 资源复用,极大节省内存使用量;在大规模批量并发任务场景下比原生goroutine并发具有更高的性能
  • 非阻塞机制


如何运行


流程图:

640.png


示意图:

640.png


刚开始Goroutine Pool中有四个Worker,然后当前有六个Task任务。

然后程序运行起来之后,每个Worker绑定一个Task开始工作,剩余两个Task在等待被调度。

只要Worker有空闲的就会Fetch一个Task开始Running

所有的Task执行完成之后,Worker有收回进Goroutine Pool中。


安装


  • 使用ants v1版本:

go get -u github.com/panjf2000/ants

  • 使用ants v2版本 (开启 GO111MODULE=on):

go get -u github.com/panjf2000/ants/v2


使用


go 发程序的时候如果程序会启动大量的goroutine,势必会消耗大量的系统资源(内存,CPU),通过使用ants,可以实例化一个goroutine池,复用goroutine,节省资源,提升性能。


  1. 初始化一个Pool
package pool
import (
 "github.com/panjf2000/ants"
 "sync"
)
var (
 pool *ants.Pool
 once sync.Once
)
func InitPool(size int) {
 once.Do(func() {
  var err error
  pool, err = ants.NewPool(size)
  if err != nil {
   panic(err)
  }
 })
}
func GetPool() *ants.Pool {
 return pool
}


然后在main.go中使用:


func main() {
     // 初始化goroutine池
     pool.InitPool(100)
     pool.GetPool().Submit(func() {
            fmt.Println("task1")
        })
      pool.GetPool().Submit(func() {
            fmt.Println("task2")
        })
      pool.GetPool().Submit(func() {
            fmt.Println("task3")
        })
       pool.GetPool().Submit(func() {
            fmt.Println("task4")
        })
      select{}
}


额外说明


  1. Pool创建之后,程序退出的时候得释放pool.Release()
  2. 也可以重启Poolpool.Reboot()// 只要调用 Reboot() 方法,就可以重新激活一个之前已经被销毁掉的池,并且投入使用。
  3. Pool有自己的一些配置,比如PreAlloc预分配,Logger以及Nonblocking等,详细请参考官网:https://github.com/panjf2000/ants/blob/dev/README_ZH.md
目录
打赏
0
0
0
0
5
分享
相关文章
(大厂必备)厂长熬夜爆肝万字之多线程高并发JUC编程(二)⭐学妹已收藏
(大厂必备)厂长熬夜爆肝万字之多线程高并发JUC编程(二)⭐学妹已收藏
107 0
(大厂必备)厂长熬夜爆肝万字之多线程高并发JUC编程(二)⭐学妹已收藏
(大厂必备)厂长熬夜爆肝万字之多线程高并发JUC编程(一)⭐学妹已收藏
(大厂必备)厂长熬夜爆肝万字之多线程高并发JUC编程(一)⭐学妹已收藏
171 0
(大厂必备)厂长熬夜爆肝万字之多线程高并发JUC编程(一)⭐学妹已收藏
涨姿势了!原来这才是多线程正确实现方式
线程同步机制是一套适用于协调线程之间的数据访问机制,该机制可以保障线程安全 java平台提供的线程同步机制包括:锁、volatile关键字、final关键字,static关键字、以及相关API如object.wait/object.notify
💡探索C#语言进化论:揭秘.NET开发效率飙升的秘密武器💼
【8月更文挑战第28天】C#语言凭借其强大的功能与易用性深受开发者喜爱。伴随.NET平台演进,C#持续引入新特性,如C# 7.0的模式匹配,让处理复杂数据结构更直观简洁;C# 8.0的异步流则使异步编程更灵活高效,无需一次性加载全部数据至内存。通过示例展示了模式匹配简化JSON解析及异步流实现文件逐行读取的应用。此外,C# 8.0还提供了默认接口成员和可空引用类型等特性,进一步提高.NET开发效率与代码可维护性。随着C#的发展,未来的.NET开发将更加高效便捷。
75 1
揭开Java性能提升之谜:异步编程如何让你的应用响应速度飞升?
【8月更文挑战第30天】随着互联网技术的发展,系统性能和用户体验成为关注焦点,异步编程因其能提高应用响应速度和吞吐量而在Java领域广泛应用。本文将详细阐述Java异步编程的概念与优势,并通过实战示例展示其在实际项目中的应用,如使用`Future`、`Callable`及`CompletableFuture`等接口和类实现异步操作,帮助开发者更好地理解和运用这一技术,以提升程序性能和用户体验。
62 0
揭秘!Tornado框架何以成为Web开发界的璀璨新星?非阻塞I/O背后的秘密,让性能飙升的秘密武器!
【8月更文挑战第31天】Tornado 是 Web 开发领域的一颗璀璨明星,以其非阻塞 I/O、高性能和轻量级特性吸引了众多开发者。作为 Python 的异步网络库,Tornado 提供了强大的 Web 应用支持,特别适用于实时服务、游戏后端和 API 开发。其学习曲线平缓,从简单的 Hello World 示例即可快速上手。Tornado 的非阻塞 I/O 模型使其能高效处理大量并发连接,而丰富的扩展库则增强了其灵活性和扩展性。无论是初学者还是资深开发者,都能在 Tornado 中找到理想的开发体验。
46 0
读书感受 - 软件工程师 - C#线程参考手册(多线程技术分析)
这几天,花了些时间,浏览了下《C#线程参考手册》,对初学者比较有用。。。       该书可以在我CSDN下载频道获得,请购买原书支持正版(http://lzhdim.download.csdn.net/)。
1258 0

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等