前言
multiprocessing库是基于threading API,它可以把工作划分为多个进程。有些情况下,multiprocessing可以作为临时替换取代threading来利用多个CPU内核,相应地避免Python全局解释器锁所带来的计算瓶颈。
下面,我们来看看multiprocessing库创建进程与threading库有多像。
创建一个进程
要创建一个进程,最简单的方式是用一个目标函数实例化一个Process对象,然后与threading一样调用start()函数让它工作。示例如下:
import multiprocessing def worker(): for i in range(3): print(i) if __name__=="__main__": p = multiprocessing.Process(target=worker) p.start()
运行之后,效果如下:
需要注意的是,multiprocessing库在Windows创建进程必须在if __name__=="__main__":中,这是 Windows 上多进程的实现问题。在 Windows 上,子进程会自动 import 启动它的这个文件,而在 import 的时候是会执行这些语句的。如果直接创建就会无限递归创建子进程报错。所以必须把创建子进程的部分用那个 if 判断保护起来,import 的时候 __name__ 不是 __main__ ,就不会递归运行了。
设置进程名
在threading线程中,我们可以通过其参数name设置线程名,同样的我们也可以通过name参数设置其进程的名字。示例如下:
import multiprocessing import time def worker(): print(multiprocessing.current_process().name, "start") time.sleep(2) print(multiprocessing.current_process().name, "end") if __name__ == "__main__": p1 = multiprocessing.Process(name='p1', target=worker) p2 = multiprocessing.Process(name='p2', target=worker) p3 = multiprocessing.Process(name='p3', target=worker) p1.start() p2.start() p3.start()
运行之后,效果如下:
守护进程
和线程一样,在所有子进程没有退出之前,主程序是不会退出的。有时候,我们可能需要启动一个后台进程,它可以一直运行而不阻塞主程序退出。
要标志一个守护进程,可以将其添加第3个参数daemon,设置为True。默认值为False,不作为守护进程。示例如下:
import multiprocessing import time def worker(): print(multiprocessing.current_process().name, "start") time.sleep(1) print(multiprocessing.current_process().name, "end") def worker2(): print(multiprocessing.current_process().name, "start") time.sleep(2) print(multiprocessing.current_process().name, "end") if __name__ == "__main__": p1 = multiprocessing.Process(name='p1', target=worker) p2 = multiprocessing.Process(name='p2', target=worker2, daemon=True) p3 = multiprocessing.Process(name='p3', target=worker2, daemon=True) p1.start() p2.start() p3.start()
运行之后,效果如下:
p2,p3为守护进程,但p1不是所以执行1秒之后,就退出主程序了,也就没有打印p2p3的内容。但是其依旧在执行中,直到执行完成。