1、multiprocess模块详解

Python的os模块封装了常见的系统调用，其中就包含 「fork函数」，通过这个函数可以轻松的创建子进程，但是要注意一点，在Windows系统上是无法使用fork函数的，Python为我们提供了可跨平台的multiprocess模块。该模块提供了一个Process类来代表一个进程对象，用法和Thread非常相似。

① Process进程对象

创建一个进程的代码示例如下：

from multiprocessing import Process
import os
def show_msg(name):
    print("子进程运行中：name = %s , pid = %d " % (name, os.getpid()))
if __name__ == '__main__':
    print("父进程 %d" % os.getpid())
    p = Process(target=show_msg, args=('测试',))
    print("开始执行子进程~")
    p.start()
    p.join()
    print("子进程执行完毕！")

运行结果如下：

父进程 26539
开始执行子进程~
子进程运行中：name = 测试 , pid = 26540 
子进程执行完毕！

Process构造函数：

Process(group=None, target=None, name=None, args=(), kwargs={})

参数详解：

• group：分组，很少用到

• target：调用对象，传入任务执行函数作为参数

• name：进程别名

• args：给调用对象以元组的形式提供参数，比如有两个参数args=(a,b)，如果只有一个参数，要这样写args=(a,)，不能把逗号漏掉，不然会被当做括号运算符使用！

• kwargs：调用对象的关键字参数字典

Process的常用函数：

• is_alive()：判断进程实例是否还在执行；

• join([timeout])：是否等待进程实例执行结束，或等待多少秒；

• start()：启动进程实例（创建子进程）；

• run()：如果没有给定target参数，对这个对象调用start()方法时，
  就将执行对象中的run()方法；

• terminate()：不管任务是否完成，立即终止；

除了使用fork函数和上述操作创建进程的方式外，还可以自定义一个Process类，重写__init__和run函数即可，代码示例如下：

from multiprocessing import Process
import os
class MyProcess(Process):
    def __init__(self, name):
        Process.__init__(self)
        self.msg = name
    def run(self):
        print("子进程运行中：name = %s , pid = %d " % (self.msg, os.getpid()))
if __name__ == '__main__':
    print("父进程 %d" % os.getpid())
    p = MyProcess('测试')
    print("开始执行子进程~")
    p.start()
    p.join()
    print("子进程执行完毕！")

运行结果如下：

父进程 26794
开始执行子进程~
子进程运行中：name = 测试 , pid = 26795 
子进程执行完毕！

② Pool进程池

知道了如何创建进程，那么实现多进程有不是什么难事了，一个循环创建多个即可，但是有个问题，进程可是重量级别的程序，重复进程创建和销毁会造成一定的性能开销！ Python为我们提供了一个进程池对象Pool用来缓解进程重复关启带来的性能消耗问题。在创建进程池的时候指定一个容量，如果接收到一个新任务，而池没满的话，会创建一个新的进程来执行这个任务，如果池满的话，任务则会进入等待状态，直到池中有进程结束，才会创建新的进程来执行这个任务。

Pool的构造函数：

Pool(processes=None, initializer=None, initargs=(),maxtasksperchild=None, context=None)

一般只用到第一个参数，processes用于设置进程池的容量，即最多并发的进程数量，如果不写默认使用os.cpu_count()返回的值。

Pool常用函数详解：

• apply(func, args=(), kwds={})：使用堵塞方式调用func，堵塞的意思是一个进程结束，释放回进程池，下一个进程才可以开始，args为传递给func的参数列表，kwds为传递给func的关键字参数列表，该方法在Python 2.3后就不建议使用了。

• apply_async(func, args=(), kwds={}, callback=None,error_callback=None) ：使用非阻塞方式调用func，进程池进程最大数可以同时执行，还支持返回结果后进行回调。

• close()：关闭进程池，使其不再接受新的任务；

• terminate()：结束工作进程，不再处理未处理的任务，不管任务是否完成，立即终止；

• join()：主进程阻塞，等待⼦进程的退出，必须在close或terminate之后使用；

• map(func, iterable, chunksize=None)：这里的map函数和Python内置的高阶函数map类似，只是这里的map方法是在进程池多进程并发进行的，接收一个函数和可迭代对象，把函数作用到每个元素，得到一个新的list返回。

最简单的进程池代码示例如下：

import multiprocessing as mp
import time
def func(msg):
    time.sleep(1)
    print(mp.current_process().name + " : " + msg)
if __name__ == '__main__':
    pool = mp.Pool()
    for i in range(20):
        msg = "Do Something %d" % (i)
        pool.apply_async(func, (msg,))
    pool.close()
    pool.join()
    print("子进程执行任务完毕!")