AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

python多进程编程中常常能用到的几种方法

2020-01-04 1324
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：

python中的多线程其实并不是真正的多线程，如果想要充分地使用多核CPU资源，在python中大部分情况需要使用多进程。python提供了非常好用的多进程包Multiprocessing，只需要定义一个函数，python会完成其它所有事情。借助这个包，可以轻松完成从单进程到并发执行的转换。multiprocessing支持子进程、通信和共享数据、执行不同形式的同步，提供了Process、Queue、Pipe、LocK等组件

一、Process

语法：Process([group[,target[,name[,args[,kwargs]]]]])

参数含义：target表示调用对象；args表示调用对象的位置参数元祖；kwargs表示调用对象的字典。name为别名，groups实际上不会调用。

方法：is_alive()：

　　　join(timeout)：

　　　run()：

　　　start()：

　　　terminate()：

属性：authkey、daemon(要通过start()设置)、exitcode(进程在运行时为None、如果为-N，表示被信号N结束)、name、pid。其中daemon是父进程终止后自动终止，且自己不能产生新的进程，必须在start()之前设置。

1.创建函数，并将其作为单个进程

from multiprocessing import Process
def func(name):
    print("%s曾经是好人"%name)

if __name__ == "__main__":
    p = Process(target=func,args=('kebi',))
    p.start()   #start()通知系统开启这个进程

2.创建函数并将其作为多个进程

from multiprocessing import Process
import random,time

def hobby_motion(name):
    print('%s喜欢运动'% name)
    time.sleep(random.randint(1,3))
#Python学习交流QQ群：579817333 
def hobby_game(name):
    print('%s喜欢游戏'% name)
    time.sleep(random.randint(1,3))

if __name__ == "__main__":
    p1 = Process(target=hobby_motion,args=('付婷婷',))
    p2 = Process(target=hobby_game,args=('科比',))
    p1.start()
    p2.start()

执行结果：

付婷婷喜欢运动
科比喜欢游戏

3.将进程定义为类（开启进程的另一种方法，并不是很常用）

from multiprocessing import Process
class MyProcess(Process):
    def __init__(self,name):
        super().__init__()
        self.name = name

    def run(self):  #start()时，run自动调用，而且此处只能定义为run。
        print("%s曾经是好人"%self.name)

if __name__ == "__main__":
    p = MyProcess('kebi')
    p.start()  #将Process当作父类，并且自定义一个函数。

4.daemon程序对比效果

不加daemon属性

import time
def func(name):
    print("work start:%s"% time.ctime())
    time.sleep(2)
    print("work end:%s"% time.ctime())

if __name__ == "__main__":
    p = Process(target=func,args=('kebi',))
    p.start()
    print("this is over")
#Python学习交流QQ群：579817333 
#执行结果
this is over
work start:Thu Nov 30 16:12:00 2017
work end:Thu Nov 30 16:12:02 2017

加上daemon属性

from multiprocessing import Process
import time
def func(name):
    print("work start:%s"% time.ctime())
    time.sleep(2)
    print("work end:%s"% time.ctime())

if __name__ == "__main__":
    p = Process(target=func,args=('kebi',))
    p.daemon = True   #父进程终止后自动终止，不能产生新进程，必须在start()之前设置
    p.start()
    print("this is over")

#执行结果
this is over

设置了daemon属性又想执行完的方法：

import time
def func(name):
    print("work start:%s"% time.ctime())
    time.sleep(2)
    print("work end:%s"% time.ctime())

if __name__ == "__main__":
    p = Process(target=func,args=('kebi',))
    p.daemon = True
    p.start()
    p.join()  #执行完前面的代码再执行后面的
    print("this is over")

#执行结果
work start:Thu Nov 30 16:18:39 2017
work end:Thu Nov 30 16:18:41 2017
this is over

5.join()：上面的代码执行完毕之后，才会执行后i面的代码。

先看一个例子：

from multiprocessing import Process
import time,os,random
def func(name,hour):
    print("A lifelong friend:%s,%s"% (name,os.getpid()))
    time.sleep(hour)
    print("Good bother:%s"%name)

if __name__ == "__main__":
    p = Process(target=func,args=('kebi',2))
    p1 = Process(target=func,args=('maoxian',1))
    p2 = Process(target=func,args=('xiaoniao',3))
    p.start()
    p1.start()
    p2.start()
    print("this is over")

执行结果：

this is over   #最后执行，最先打印，说明start()只是开启进程，并不是说一定要执行完
A lifelong friend:kebi,12048
A lifelong friend:maoxian,8252
A lifelong friend:xiaoniao,6068
Good bother:maoxian   #最先打印，第二位执行
Good bother:kebi     
Good bother:xiaoniao

添加join（）

from multiprocessing import Process
import time,os,random
def func(name,hour):
    print("A lifelong friend:%s,%s"% (name,os.getpid()))
    time.sleep(hour)
    print("Good bother:%s"%name)
start = time.time()
if __name__ == "__main__":
    p = Process(target=func,args=('kebi',2))
    p1 = Process(target=func,args=('maoxian',1))
    p2 = Process(target=func,args=('xiaoniao',3))
    p.start()
    p.join()   #上面的代码执行完毕之后，再执行后面的
    p1.start()
    p1.join()
    p2.start()
    p2.join()
    print("this is over")
    print(time.time() - start)

#执行结果
A lifelong friend:kebi,14804
Good bother:kebi
A lifelong friend:maoxian,11120
Good bother:maoxian
A lifelong friend:xiaoniao,10252  #每个进程执行完了，才会执行下一个
Good bother:xiaoniao
this is over
6.497815370559692   #2+1+3+主程序执行时间

改变一下位置

from multiprocessing import Process
import time,os,random
def func(name,hour):
    print("A lifelong friend:%s,%s"% (name,os.getpid()))
    time.sleep(hour)
    print("Good bother:%s"%name)
start = time.time()
if __name__ == "__main__":
    p = Process(target=func,args=('kebi',2))
    p1 = Process(target=func,args=('maoxian',1))
    p2 = Process(target=func,args=('xiaoniao',3))
    p.start()
    p1.start()
    p2.start()
    p.join()   #需要2秒
    p1.join()  #到这时已经执行完
    p2.join()   #已经执行了2秒，还要1秒
    print("this is over")
    print(time.time() - start)

#执行结果

A lifelong friend:kebi,13520
A lifelong friend:maoxian,11612
A lifelong friend:xiaoniao,17064  #几乎是同时开启执行
Good bother:maoxian
Good bother:kebi
Good bother:xiaoniao
this is over
3.273620367050171  #以最长时间的为主

6.其它属性和方法

from multiprocessing import Process
import time
def func(name):
    print("work start:%s"% time.ctime())
    time.sleep(2)
    print("work end:%s"% time.ctime())

if __name__ == "__main__":
    p = Process(target=func,args=('kebi',))
    p.start()
    p.terminate()  #将进程杀死，而且必须放在start()后面，与daemon的功能类似

#执行结果
this is over
from multiprocessing import Process
import time
def func(name):
    print("work start:%s"% time.ctime())
    time.sleep(2)
    print("work end:%s"% time.ctime())

if __name__ == "__main__":
    p = Process(target=func,args=('kebi',))
    # p.daemon = True
    print(p.is_alive())
    p.start()
    print(p.name)   #获取进程的名字
    print(p.pid)    #获取进程的pid
    print(p.is_alive())  #判断进程是否存在
    print("this is over")
文章标签：
Python
关键词：
Python方法
Python编程
Python进程
Python多进程
Python编程方法
Python学习者
目录
相关文章
智物科技库
|
3月前
|
机器学习/深度学习 数据可视化 算法
Python数值方法在工程和科学问题解决中的应用
本文探讨了Python数值方法在工程和科学领域的广泛应用。首先介绍了数值计算的基本概念及Python的优势，如易学易用、丰富的库支持和跨平台性。接着分析了Python在有限元分析、信号处理、优化问题求解和控制系统设计等工程问题中的应用，以及在数据分析、机器学习、模拟建模和深度学习等科学问题中的实践。通过具体案例，展示了Python解决实际问题的能力，最后总结展望了Python在未来工程和科学研究中的发展潜力。
智物科技库
76 0
蓝易云
|
2月前
|
Python
Python技术解析：了解数字类型及数据类型转换的方法。
在Python的世界里，数字并不只是简单的数学符号，他们更多的是一种生动有趣的语言，用来表达我们的思维和创意。希望你从这个小小的讲解中学到了有趣的内容，用Python的魔法揭示数字的奥秘。
蓝易云
82 26
蓝易云
|
2月前
|
Python
在VScode环境下配置Python环境的方法
经过上述步骤，你的VSCode环境就已经配置好了。请尽情享受这扇你为自己开启的知识之窗。如同你在冒险世界中前行，你的探索之路只有越走越广，你获得的知识只会越来越丰富，你的能力只会越来越强。
蓝易云
200 37
蓝易云
|
1月前
|
JSON 数据格式 Python
解决Python requests库POST请求参数顺序问题的方法。
总之，想要在Python的requests库里保持POST参数顺序，你要像捋顺头发一样捋顺它们，在向服务器炫耀你那有条不紊的数据前。抓紧手中的 `OrderedDict`与 `json`这两把钥匙，就能向服务端展示你的请求参数就像经过高端配置的快递包裹，里面的商品摆放井井有条，任何时候开箱都是一种享受。
蓝易云
55 10
大数据文摘
|
2月前
|
Python
Python 中__new__方法详解及使用
__new__ 是 Python 中用于创建类实例的静态方法，在实例化对象时优先于 __init__ 执行。它定义在基础类 object 中，需传递 cls 参数（表示当前类）。__new__ 可决定是否使用 __init__ 方法或返回其他对象作为实例。特性包括：1) 在实例化前调用；2) 始终为静态方法。示例中展示了其用法及 Python2 和 Python3 的差异，强调了参数处理的不同。
大数据文摘
106 10
智物科技库
|
2月前
|
人工智能 Ruby Python
python__init__方法笔记
本文总结了Python中`__init__`方法的使用要点，包括子类对父类构造方法的调用规则。当子类未重写`__init__`时，实例化会自动调用父类的构造方法；若重写，则需通过`super()`或直接调用父类名称来显式继承父类初始化逻辑。文中通过具体代码示例展示了不同场景下的行为及输出结果，帮助理解类属性与成员变量的关系，以及如何正确使用`super()`实现构造方法的继承。
智物科技库
103 9
overmind1980
|
2月前
|
存储 索引 Python
[oeasy]python093_find方法_指数为负数_index_实际效果
本文介绍了Python中`find`方法与索引（index）的使用，包括负数索引的实际效果。回顾了`eval`函数的应用，并强调类名如`str`、`int`、`list`不可用作变量名以避免覆盖。通过示例解析了负数索引在字符串和列表中的作用，以及`index`方法的三个参数（value、start、stop）的用法。同时对比了`index`和`find`方法的区别：`index`找不到子串时抛出`ValueError`，而`find`返回-1。最后总结了正负索引的使用场景及两者的特性，提供了相关学习资源链接。
overmind1980
309 8
dasein58
|
2月前
|
数据采集 安全 BI
用Python编程基础提升工作效率
一、文件处理整明白了，少加两小时班 （敲暖气管子）领导让整理100个Excel表？手都干抽筋儿了？Python就跟铲雪车似的，哗哗给你整利索！
dasein58
84 11
蓝易云
|
3月前
|
Python
解决Python报错：DataFrame对象没有concat属性的多种方法（解决方案汇总）
总的来说，解决“DataFrame对象没有concat属性”的错误的关键是理解concat函数应该如何正确使用，以及Pandas库提供了哪些其他的数据连接方法。希望这些方法能帮助你解决问题。记住，编程就像是解谜游戏，每一个错误都是一个谜题，解决它们需要耐心和细心。
蓝易云
175 15
大数据文摘
|
2月前
|
Python
Python 中__new__方法详解及使用
`__new__` 是 Python 中的一个特殊方法，用于控制对象的创建过程，在 `__init__` 之前执行。它是类的静态方法，负责返回一个实例。如果 `__new__` 不返回对象，`__init__` 将不会被调用。本文详细介绍了 `__new__` 的作用、特性及与 `__init__` 的区别，并通过实例演示了其在单例模式中的应用，同时对比了 Python2 和 Python3 中的写法差异。
大数据文摘
87 0

热门文章

最新文章

  • 1
    获取和理解Linux进程以及其PID的基础知识。
  • 2
    对于Linux的进程概念以及进程状态的理解和解析
  • 3
    Linux进程概念-详细版（一）
  • 4
    Linux2.6内核进程调度队列
  • 5
    代理IP：6G标准化进程中的隐形推手
  • 6
    Linux进程概念-详细版（二）
  • 7
    函数和进程之间的相似性
  • 8
    Python数据预处理：使用Dask和Numba并行化加速
  • 9
    python类型错误（TypeError)
  • 10
    python实现进度条
  • 1
    惊！Python进程间通信IPC，让你的程序秒变社交达人，信息畅通无阻
    68
  • 2
    揭秘Python IPC：进程间的秘密对话，让你的系统编程更上一层楼
    111
  • 3
    Python IPC大揭秘：解锁进程间通信新姿势，让你的应用无界连接
    95
  • 4
    从孤岛到大陆：Python进程间通信，让你的代码世界不再有隔阂
    92
  • 5
    从零开始掌握进程间通信：管道、信号、消息队列、共享内存大揭秘
    621
  • 6
    探索操作系统的心脏：深入理解进程调度
    69
  • 7
    探索操作系统的心脏：深入理解进程调度
    65
  • 8
    深入理解操作系统：进程调度与优先级
    173
  • 9
    深入理解操作系统之进程调度算法
    118
  • 10
    探索操作系统的心脏：进程调度算法
    69

    • 相关课程

    更多
  • Python Web开发基础
  • Python开发基础入门
  • Python常用数据科学库
  • Python网络爬虫实战
  • Python完全自学手册图文教程
  • Python基础快速入门实战教程

    • 相关电子书

    更多
  • From Python Scikit-Learn to Sc
  • Data Pre-Processing in Python:
  • 双剑合璧-Python和大数据计算平台的结合

    • 相关实验场景

    更多
  • 用Python画圣诞树
  • Python选择及循环结构
  • 云端Python及基本操作
  • 观察进程的并发性
  • Python网络通信程序典型应用
  • Python新手入门（Anolis OS）

    • 推荐镜像

    更多
  • python-release
    • 下一篇
    【案例实战】SpringBoot整合阿里云文件上传OSS