Python3简单实现多任务(多进程篇)

简介: python多进程实现多任务优点:稳定性高;提升程序执行效率第一种:进程池快速创建(适合创建大量进程,简单,推荐!)image.pngfrom multiprocessing import Pool # 导入进程池模块i...

python多进程实现多任务
优点:稳定性高;提升程序执行效率

第一种:进程池快速创建(适合创建大量进程,简单,推荐!)

image.png
from multiprocessing import Pool    # 导入进程池模块
import os    # 导入系统模块
import time    #导入时间模块
import random

def to_work(num):

    # 打印进程号
    print("----开始执行任务%d,进程的pid为%d,父进程的pid为%d----"%(num, os.getpid(), os.getppid()))
    # 模拟延时 random.random() 生成0-1之间的数
    time.sleep(random.random())
    print("第%d号进程完成任务%d第一阶段"%(os.getpid(),num))
    time.sleep(random.random())
    print("第%d号进程完成任务%d第二阶段"%(os.getpid(),num))
    time.sleep(random.random())
    print("第%d号进程完成任务%d第三阶段"%(os.getpid(),num))
    time.sleep(random.random())
    print("----任务%d执行完毕----"%(num))


def main():
    # 创建一个最多开启3进程的进程池
    po = Pool(3)
    # 将5个任务添加到进程池
    for i in range(1, 6):
        # async非堵塞添加,to_work为参数名,i为传递的参数,单个参数一定要加逗号!一定要加逗号!一定要加逗号!
        po.apply_async(to_work,(i,))
    
    print("----开始----")

    # 关闭进程池,不再接收新的任务,开始执行任务
    po.close()

    # 主进程等待所有子进程结束
    po.join()
    print("----结束----")



if __name__ == "__main__":
    main()


第二种实现方式(Process创建进程,需要手动管理)

image.png
from multiprocessing import Process
import os
import time
import random


def to_work(num):

    # 打印进程号
    print("----开始执行第%d个子进程,进程的pid为%d,父进程的pid为%d----"%(num, os.getpid(), os.getppid()))
    # 模拟延时 random.random() 生成0-1之间的数
    time.sleep(random.random())
    print("第%d号进程完成第一阶段任务"%(os.getpid()))
    time.sleep(random.random())
    print("第%d号进程完成任第二阶段任务"%(os.getpid()))
    time.sleep(random.random())
    print("第%d号进程完成第三阶段任务"%(os.getpid()))
    time.sleep(random.random())
    print("----第%d个子进程执行完毕----"%(num))


def main():
    # 创建子进程
    son_p1 = Process(target=to_work, args={1,})
    son_p2 = Process(target=to_work, args={2,})
    print("----开始----")
    # 开启子进程
    son_p1.start()
    son_p2.start()
    # 等待子进程结束
    son_p1.join()
    son_p2.join()

    print("----结束----")



if __name__ == "__main__":
    main()



第三种实现方式(windows无法使用,只能在类Unix平台使用,可用于制作"fork炸弹")

image.png
import os
import time
import random

def work_fork(result):
    if result == 0:
        print("子进程%d开始执行,父进程pid为%d"%(os.getpid(),os.getppid()))
        time.sleep(random.random())
        print("子进程任务1")
        time.sleep(random.random())
        print("子进程任务2")
        time.sleep(random.random())
        print("子进程任务3")
        time.sleep(random.random()*2)
        print("子进程任务4")
        time.sleep(random.random())
        print("子进程函数执行完毕")
    else:
        print("父进程开始执行,进程pid为%d,祖先进程pid为%d"%(os.getpid(),os.getppid()))
        time.sleep(random.random())
        print("父进程任务1")
        time.sleep(random.random())
        print("父进程任务2")
        time.sleep(random.random()*2)
        print("父进程任务3")
        time.sleep(random.random())
        print("父进程任务4")
        time.sleep(random.random())
        print("父进程函数执行完毕")


def main():
    result = os.fork()
    work_fork(result)
    print("主进程pid为%d"%(os.getpid()))


if __name__ == "__main__":
    main()


附:fork炸弹


import os

while True:
    os.fork()
目录
相关文章
|
11天前
|
数据采集 缓存 Java
Python vs Java:爬虫任务中的效率比较
Python vs Java:爬虫任务中的效率比较
|
1月前
|
开发框架 并行计算 算法
揭秘Python并发神器:IO密集型与CPU密集型任务的异步革命,你竟还傻傻分不清?
揭秘Python并发神器:IO密集型与CPU密集型任务的异步革命,你竟还傻傻分不清?
32 4
|
18天前
|
监控 并行计算 数据处理
构建高效Python应用:并发与异步编程的实战秘籍,IO与CPU密集型任务一网打尽!
在Python编程的征途中,面对日益增长的性能需求,如何构建高效的应用成为了每位开发者必须面对的课题。并发与异步编程作为提升程序性能的两大法宝,在处理IO密集型与CPU密集型任务时展现出了巨大的潜力。今天,我们将深入探讨这些技术的最佳实践,助你打造高效Python应用。
26 0
|
8天前
|
运维 监控 网络安全
自动化运维的魔法:如何用Python简化日常任务
【10月更文挑战第9天】在数字时代的浪潮中,运维人员面临着日益增长的挑战。本文将揭示如何通过Python脚本实现自动化运维,从而提高效率、减少错误,并让运维工作变得更具创造性。我们将探索一些实用的代码示例,这些示例将展示如何自动化处理文件、监控系统性能以及管理服务器配置等常见运维任务。准备好让你的运维工作升级换代了吗?让我们开始吧!
|
8天前
|
数据采集 开发框架 数据处理
探索Python的灵活性:简化日常编程任务
【10月更文挑战第7天】 【10月更文挑战第9天】 在本文中,我们将深入探讨Python编程语言的强大功能和灵活性。通过具体的代码示例,我们会展示如何利用Python简化日常编程任务,提高效率。无论是数据处理、自动化脚本还是Web开发,Python都能提供简洁而强大的解决方案。我们还将讨论一些最佳实践,帮助你编写更清晰、更高效的代码。
10 1
|
13天前
|
数据挖掘 程序员 调度
探索Python的并发编程:线程与进程的实战应用
【10月更文挑战第4天】 本文深入探讨了Python中实现并发编程的两种主要方式——线程和进程,通过对比分析它们的特点、适用场景以及在实际编程中的应用,为读者提供清晰的指导。同时,文章还介绍了一些高级并发模型如协程,并给出了性能优化的建议。
21 3
|
19天前
|
开发框架 并行计算 .NET
脑洞大开!Python并发与异步编程的哲学思考:IO密集型与CPU密集型任务的智慧选择!
脑洞大开!Python并发与异步编程的哲学思考:IO密集型与CPU密集型任务的智慧选择!
23 1
|
1月前
|
开发框架 并行计算 .NET
燃烧吧,Python!异步编程如何点燃IO密集型任务,让CPU密集型任务也加速狂奔?
燃烧吧,Python!异步编程如何点燃IO密集型任务,让CPU密集型任务也加速狂奔?
19 2
|
10天前
|
存储 Python
Python中的多进程通信实践指南
Python中的多进程通信实践指南
12 0
|
18天前
|
数据采集 消息中间件 Python
Python爬虫-进程间通信
Python爬虫-进程间通信
11 0