managers模块可以把多进程分布到多台机器上
依靠网络通信，一个服务进程可以作为调度者，将任务分布到其他多个进程中
代码示例
# -*- coding: utf-8 -*- # @File : task_master.py # @Date : 2018-06-11 # @Author : Peng Shiyu # 思路：通过managers模块把Queue通过网络暴露出去，就可以让其他机器的进程访问Queue了 import time from queue import Queue from multiprocessing.managers import BaseManager # 发送任务的队列 task_queue = Queue() # 接收结果的队列 result_queue = Queue() # 从BaseManager继承的QueueManager class QueueManager(BaseManager): pass # 把两个Queue都注册到网络上, callable参数关联了Queue对象 QueueManager.register("get_task_queue", callable=lambda: task_queue) QueueManager.register("get_result_queue", callable=lambda: result_queue) # 绑定端口5002, 设置验证码'abc' manager = QueueManager(address=("localhost", 5002), authkey=b"abc") manager.start() print("启动服务...") # 获得通过网络访问的Queue对象， # 必须通过manager获得的Queue接口添加 task = manager.get_task_queue() result = manager.get_result_queue() print("放入队列") for i in range(10): time.sleep(1) task.put(i) print("取出结果") for i in range(10): print(result.get(timeout=10)) # 关闭 manager.shutdown() """ 启动服务... 放入队列 取出结果 0 1 4 9 16 25 36 49 64 81 """
# -*- coding: utf-8 -*- # @File : task_worker.py # @Date : 2018-06-11 # @Author : Peng Shiyu import time from multiprocessing.managers import BaseManager # 创建类似的QueueManager class QueueManager(BaseManager): pass # 由于这个QueueManager只从网络上获取Queue，所以注册时只提供名字 QueueManager.register("get_task_queue") QueueManager.register("get_result_queue") # 连接到服务器，也就是运行task_master.py的机器 # 端口和验证码注意保持与task_master.py设置的完全一致 manager = QueueManager(address=("localhost", 5002), authkey=b"abc") # 从网络连接 manager.connect() # 获取Queue的对象 task = manager.get_task_queue() result = manager.get_result_queue() # 从task队列取任务,并把结果写入result队列 for i in range(10): n = task.get(timeout=1) print("获取任务：%s"% n) time.sleep(2) result.put(n*n) if hasattr(manager, "shutdown"): manager.shutdown() """ task_worker-1 获取任务：0 获取任务：2 获取任务：4 获取任务：6 获取任务：8 task_worker-2 获取任务：1 获取任务：3 获取任务：5 获取任务：7 获取任务：9 """
参考: 廖雪峰Python-分布式进程
