python ThreadPoolExecutor线程池使用-阿里云开发者社区

开发者社区> 天飞> 正文

python ThreadPoolExecutor线程池使用

简介: 最近用上ThreadPoolExecutor, 用来代替celery的方式。 主要是用在celery上的时间太少, 没有吃透, 还有,我们的应用没有复杂到那地步, 多开几个服务器,也可以实现线程池的扩展。
+关注继续查看

python有好几种实现线程池的方式,

注意选择一下,哪种是自己需要的。

最近用上ThreadPoolExecutor,

用来代替celery的方式。

主要是用在celery上的时间太少,

没有吃透,

还有,我们的应用没有复杂到那地步,

多开几个服务器,也可以实现线程池的扩展。


ThreadPoolExecutor主要有submit和map方式。

map就够用我们的场景了。


使用ThreadPoolExecutor时,需要注意的是map函数的参数是如何构造的。

(就是将cmd_run后面的参数,构造为有相同于进程池数量的参数列表!!!)

【就是参数个人为cmd_run要求的个数,但列表内的长度为进程池数量,利用率刚好】

 data为每个函数的返回值。

注意,进程的退出,不到山穷水尽,不要用os.exit()这样的函数,

python可能无法正常完成数据操作及资源回收。

最好是利用函数的返回值自然退出线程,高端些~


from concurrent.futures import ThreadPoolExecutor

executor = ThreadPoolExecutor(max_workers=xxx)

for data in executor.map(cmd_run, subserver, [deploy_type] * sub_len, [cmd] * sub_len,
                         [current_user_set] * sub_len, [percent_value] * sub_len,
                         [app_name] * sub_len, [deployversion_id] * sub_len, [auto_deploy_id] * sub_len):
    mylog.debug("cmd %s result is: " % cmd + str(data))
    if not data:
        return False





版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
使用RDP时发生AtBroker.exe error的解决方法
试想,如果你在家里使用RDP连接自己办公室里的电脑,但是却发生Atboker.exe error,使你无法继续工作,是不是很郁闷?       今天晚上,和往常一样回到宿舍,打开电脑【XP】=》运行=》mstsc=》使用RDP连接实验室中的电脑【Vista】时,远程电脑的桌面上再次出现Atbroker.exe error,点击确定之后,惨了,只能看到黑色的桌面,什么都没有,关闭mstsc,并再次打开,依然发生同样的错误。
973 0
flutter网络dio框架公共请求参数、请求header使用总结
> 本文章将讲述 > 1.get请求中配置公共参数 > 2.post请求配置公共参数 > 3.请求header配置
480 0
怎么设置阿里云服务器安全组?阿里云安全组规则详细解说
阿里云服务器安全组设置规则分享,阿里云服务器安全组如何放行端口设置教程
7260 0
IPython、Notebook、qtconsole使用教程
IPython、Notebook、qtconsole使用教程 上一篇为Python,IPython,qtconsole,Notebook,Jupyter快速安装教程 1. 使用IPython 自动补全功能,使用tab键,如输入im后按tab键,可自动补全import。 进入IPython,CMD中输入ipython 退出IPython,CMD中输入quit()
3691 0
如何使用Redis让周期异步任务变得Fault-tolerant且Dynamic
        Python技术栈的同学一定都非常了解Celery——基于消息队列的分布式任务调度系统。(具体用法介绍不在此赘述)。通过Celery可以快速高效的将大规模的任务实时分发到众多的不同的机器上,让用户只关注每个单独任务的处理,而非调度分配任务本身。
725 0
+关注
天飞
一个运维老同志
1507
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载