推荐很好用的Goroutine连接池

简介:

image


ants是一个高性能的协程池,实现了对大规模goroutine的调度管理、goroutine复用,允许使用者在开发并发程序的时候限制协程数量,复用资源,达到更高效执行任务的效果。

功能:

实现了自动调度并发的goroutine,复用goroutine
提供了友好的接口:任务提交、获取运行中的协程数量、动态调整协程池大小
资源复用,极大节省内存使用量;在大规模批量并发任务场景下比原生goroutine并发具有更高的性能

安装

1go get -u github.com/panjf2000/ants

使用包管理工具 glide 安装:

1glide get github.com/panjf2000/ants

使用

写 go 并发程序的时候如果程序会启动大量的 goroutine ,势必会消耗大量的系统资源(内存,CPU),通过使用 ants,可以实例化一个协程池,复用 goroutine ,节省资源,提升性能:

1package main
2
3import (
4    "fmt"
5    "sync"
6    "sync/atomic"
7
8    "github.com/panjf2000/ants"
9    "time"
10)
11
12var sum int32
13
14func myFunc(i interface{}) error {
15    n := i.(int)
16    atomic.AddInt32(&sum, int32(n))
17    fmt.Printf("run with %d\n", n)
18    return nil
19}
20
21func demoFunc() error {
22    time.Sleep(10 * time.Millisecond)
23    fmt.Println("Hello World!")
24    return nil
25}
26
27func main() {
28    runTimes := 1000
29
30    // use the common pool
31    var wg sync.WaitGroup
32    for i := 0; i < runTimes; i++ {
33        wg.Add(1)
34        ants.Submit(func() error {
35            demoFunc()
36            wg.Done()
37            return nil
38        })
39    }
40    wg.Wait()
41    fmt.Printf("running goroutines: %d\n", ants.Running())
42    fmt.Printf("finish all tasks.\n")
43
44    // use the pool with a function
45    // set 10 the size of goroutine pool
46    p, _ := ants.NewPoolWithFunc(10, func(i interface{}) error {
47        myFunc(i)
48        wg.Done()
49        return nil
50    })
51    // submit tasks
52    for i := 0; i < runTimes; i++ {
53        wg.Add(1)
54        p.Serve(i)
55    }
56    wg.Wait()
57    fmt.Printf("running goroutines: %d\n", p.Running())
58    fmt.Printf("finish all tasks, result is %d\n", sum)
59}

任务提交

提交任务通过调用 ants.Submit(func())方法:

1ants.Submit(func() {})

自定义池

ants支持实例化使用者自己的一个 Pool ,指定具体的池容量;通过调用 NewPool 方法可以实例化一个新的带有指定容量的 Pool ,如下:

1// set 10000 the size of goroutine pool
2p, _ := ants.NewPool(10000)
3// submit a task
4p.Submit(func() {})

动态调整协程池容量

需要动态调整协程池容量可以通过调用ReSize(int):

1pool.ReSize(1000) // Readjust its capacity to 1000
2pool.ReSize(100000) // Readjust its capacity to 100000

该方法是线程安全的。

Benchmarks

系统参数:

1OS : macOS High Sierra
2Processor : 2.7 GHz Intel Core i5
3Memory : 8 GB 1867 MHz DDR3

image

BenchmarkGoroutine-4 代表原生goroutine

BenchmarkPoolGroutine-4 代表使用协程池ants

Benchmarks with Pool

image


Benchmarks with PoolWithFunc

image

吞吐量测试

10w 任务量

image

100w 任务量

image

1000w 任务量

image

1000w任务量的场景下,我的电脑已经无法支撑 golang 的原生 goroutine 并发,所以只测出了使用ants池的测试结果。

原文发布时间为:2018-06-27

本文来自云栖社区合作伙伴“Golang语言社区”,了解相关信息可以关注“Golang语言社区”。

相关文章
|
存储 索引
维度表和事实表的区别
转载:转载:https://blog.csdn.net/qq_56870570/article/details/118938411
6217 0
|
9月前
|
安全 Java 数据挖掘
高效转换Word表格为Excel:Python方案全解析
本文介绍如何用Python自动化将Word表格转为Excel,解决手动复制易出错、耗时长等问题。基于python-docx读取表格,结合openpyxl或pandas写入,支持多表合并、数字格式识别、合并单元格处理及大文件优化,30行代码即可实现高效精准转换。(239字)
1023 13
|
存储 人工智能 安全
阿里云无影云电脑入口及全面测评:技术特性、场景适配与综合体验解析
在终端云计算快速发展的当下,阿里云无影云电脑凭借自主技术架构与多场景适配能力,成为企业数字化办公与个人高效计算的重要选择。本文基于 今年最新产品动态与权威认证信息,从官方入口与版本差异、核心技术特性、性能表现、场景适配、安全能力等维度展开测评,为用户提供客观参考。
|
9月前
|
运维 自然语言处理 安全
2026年OpenClaw(Clawdbot)新手一键部署+QQ机器人快速接入全指南
OpenClaw(原Clawdbot/Moltbot)作为阿里云生态下的开源AI自动化代理工具,凭借自然语言交互、多场景任务执行、插件化扩展的核心能力,已成为个人办公提效与中小企业协作数字化的关键工具。2026年阿里云推出OpenClaw专属一键部署方案,结合QQ高渗透率的社交属性,实现“QQ聊天窗口下达指令,OpenClaw自动执行任务”的轻量化交互模式。本文将完整拆解阿里云环境下OpenClaw的一键部署流程,重点详解QQ机器人创建、配置、对接与功能验证的全步骤,包含实操代码命令与避坑技巧,零基础用户也能快速完成从部署到落地的全流程。
2991 8
|
8月前
|
存储 人工智能 安全
数智浪潮席卷而来:数字化进程的演进、赋能与未来
从纸质档案到云端存储,从人工操作到智能协同,从孤立数据到万物互联,数字化进程早已不是简单的“技术升级”,而是一场深刻改变经济形态、社会结构与生活方式的全方位变革。
415 0
|
10月前
|
人工智能 安全 机器人
麻省理工科技评论发布2026年十大突破性技术,AI独占四席
《麻省理工科技评论》2026年“十大突破性技术”榜单发布,AI技术占据四席,涵盖超大规模数据中心、机制可解释性、AI陪伴与生成式编码,彰显其主导地位。榜单不仅反映技术从“能做”到“该做”的转向,更揭示AI正深度融入社会骨骼,推动算力、伦理与产业变革,开启智能新纪元。
2657 7
|
存储 小程序 安全
微信小程序之微信授权登入及授权的流程讲解
微信小程序之微信授权登入及授权的流程讲解
1263 0
|
设计模式 存储 前端开发
前端必须掌握的设计模式——单例模式
单例模式是一种简单的创建型设计模式,确保一个类只有一个实例,并提供一个全局访问点。适用于窗口对象、登录弹窗等场景,优点包括易于维护、访问和低消耗,但也有安全隐患、可能形成巨石对象及扩展性差等缺点。文中展示了JavaScript和TypeScript的实现方法。
837 13
|
机器学习/深度学习 人工智能 分布式计算
蚁群、蜂群的智慧,大模型也可以有,谷歌等机构群体智能研究亮相
蚁群和蜂群以其独特的群体智能行为著称,如分布式决策、自组织性和鲁棒性。这些特性启发了科学家将群体智能原理应用于大模型的构建,以实现更高效、更智能的系统。谷歌等机构已通过模拟这些行为,开发出如“蚁群优化”算法等成果,显著提高了计算效率和系统的鲁棒性。然而,群体智能的应用仍面临通信协调、个体差异性和可解释性等挑战。
842 3
|
Python
Python中几种lambda排序方法
【9月更文挑战第7天】在Python中,`lambda`表达式常用于配合排序函数,实现灵活的数据排序。对于基本列表,可以直接使用`sorted()`进行升序或降序排序;处理复杂对象如字典列表时,通过`lambda`指定键值进行排序;同样地,`lambda`也适用于根据元组的不同位置元素来进行排序。
979 1