Python3简单实现多任务(多进程篇)

简介: python多进程实现多任务优点:稳定性高;提升程序执行效率第一种:进程池快速创建(适合创建大量进程,简单,推荐!)image.pngfrom multiprocessing import Pool # 导入进程池模块i...

python多进程实现多任务
优点:稳定性高;提升程序执行效率

第一种:进程池快速创建(适合创建大量进程,简单,推荐!)

image.png
from multiprocessing import Pool    # 导入进程池模块
import os    # 导入系统模块
import time    #导入时间模块
import random

def to_work(num):

    # 打印进程号
    print("----开始执行任务%d,进程的pid为%d,父进程的pid为%d----"%(num, os.getpid(), os.getppid()))
    # 模拟延时 random.random() 生成0-1之间的数
    time.sleep(random.random())
    print("第%d号进程完成任务%d第一阶段"%(os.getpid(),num))
    time.sleep(random.random())
    print("第%d号进程完成任务%d第二阶段"%(os.getpid(),num))
    time.sleep(random.random())
    print("第%d号进程完成任务%d第三阶段"%(os.getpid(),num))
    time.sleep(random.random())
    print("----任务%d执行完毕----"%(num))


def main():
    # 创建一个最多开启3进程的进程池
    po = Pool(3)
    # 将5个任务添加到进程池
    for i in range(1, 6):
        # async非堵塞添加,to_work为参数名,i为传递的参数,单个参数一定要加逗号!一定要加逗号!一定要加逗号!
        po.apply_async(to_work,(i,))
    
    print("----开始----")

    # 关闭进程池,不再接收新的任务,开始执行任务
    po.close()

    # 主进程等待所有子进程结束
    po.join()
    print("----结束----")



if __name__ == "__main__":
    main()


第二种实现方式(Process创建进程,需要手动管理)

image.png
from multiprocessing import Process
import os
import time
import random


def to_work(num):

    # 打印进程号
    print("----开始执行第%d个子进程,进程的pid为%d,父进程的pid为%d----"%(num, os.getpid(), os.getppid()))
    # 模拟延时 random.random() 生成0-1之间的数
    time.sleep(random.random())
    print("第%d号进程完成第一阶段任务"%(os.getpid()))
    time.sleep(random.random())
    print("第%d号进程完成任第二阶段任务"%(os.getpid()))
    time.sleep(random.random())
    print("第%d号进程完成第三阶段任务"%(os.getpid()))
    time.sleep(random.random())
    print("----第%d个子进程执行完毕----"%(num))


def main():
    # 创建子进程
    son_p1 = Process(target=to_work, args={1,})
    son_p2 = Process(target=to_work, args={2,})
    print("----开始----")
    # 开启子进程
    son_p1.start()
    son_p2.start()
    # 等待子进程结束
    son_p1.join()
    son_p2.join()

    print("----结束----")



if __name__ == "__main__":
    main()



第三种实现方式(windows无法使用,只能在类Unix平台使用,可用于制作"fork炸弹")

image.png
import os
import time
import random

def work_fork(result):
    if result == 0:
        print("子进程%d开始执行,父进程pid为%d"%(os.getpid(),os.getppid()))
        time.sleep(random.random())
        print("子进程任务1")
        time.sleep(random.random())
        print("子进程任务2")
        time.sleep(random.random())
        print("子进程任务3")
        time.sleep(random.random()*2)
        print("子进程任务4")
        time.sleep(random.random())
        print("子进程函数执行完毕")
    else:
        print("父进程开始执行,进程pid为%d,祖先进程pid为%d"%(os.getpid(),os.getppid()))
        time.sleep(random.random())
        print("父进程任务1")
        time.sleep(random.random())
        print("父进程任务2")
        time.sleep(random.random()*2)
        print("父进程任务3")
        time.sleep(random.random())
        print("父进程任务4")
        time.sleep(random.random())
        print("父进程函数执行完毕")


def main():
    result = os.fork()
    work_fork(result)
    print("主进程pid为%d"%(os.getpid()))


if __name__ == "__main__":
    main()


附:fork炸弹


import os

while True:
    os.fork()
目录
相关文章
|
7天前
|
数据采集 存储 监控
21个Python脚本自动执行日常任务(2)
21个Python脚本自动执行日常任务(2)
35 7
21个Python脚本自动执行日常任务(2)
|
10天前
|
Python
Python中的函数是**一种命名的代码块,用于执行特定任务或计算
Python中的函数是**一种命名的代码块,用于执行特定任务或计算
36 18
|
11天前
|
数据采集 分布式计算 大数据
构建高效的数据管道:使用Python进行ETL任务
在数据驱动的世界中,高效地处理和移动数据是至关重要的。本文将引导你通过一个实际的Python ETL(提取、转换、加载)项目,从概念到实现。我们将探索如何设计一个灵活且可扩展的数据管道,确保数据的准确性和完整性。无论你是数据工程师、分析师还是任何对数据处理感兴趣的人,这篇文章都将成为你工具箱中的宝贵资源。
|
13天前
|
数据可视化 项目管理
甘特图是什么?任务进程管理神器
甘特图是项目管理中的可视化工具,通过时间轴与任务列表展现项目进度和任务分配,支持任务间的依赖关系和里程碑设置,适用于项目管理、团队协作、日常任务安排及科研计划等多种场景,有效提升项目管理和团队协作效率。
41 4
|
24天前
|
运维 监控 网络安全
自动化运维的崛起:如何利用Python脚本简化日常任务
【10月更文挑战第43天】在数字化时代的浪潮中,运维工作已从繁琐的手工操作转变为高效的自动化流程。本文将引导您了解如何运用Python编写脚本,以实现日常运维任务的自动化,从而提升工作效率和准确性。我们将通过一个实际案例,展示如何使用Python来自动部署应用、监控服务器状态并生成报告。文章不仅适合运维新手入门,也能为有经验的运维工程师提供新的视角和灵感。
|
1月前
|
并行计算 数据处理 调度
Python中的并发编程:探索多线程与多进程的奥秘####
本文深入探讨了Python中并发编程的两种主要方式——多线程与多进程,通过对比分析它们的工作原理、适用场景及性能差异,揭示了在不同应用需求下如何合理选择并发模型。文章首先简述了并发编程的基本概念,随后详细阐述了Python中多线程与多进程的实现机制,包括GIL(全局解释器锁)对多线程的影响以及多进程的独立内存空间特性。最后,通过实例演示了如何在Python项目中有效利用多线程和多进程提升程序性能。 ####
|
1月前
|
运维 监控 Python
自动化运维:使用Python脚本简化日常任务
【10月更文挑战第36天】在数字化时代,运维工作的效率和准确性成为企业竞争力的关键。本文将介绍如何通过编写Python脚本来自动化日常的运维任务,不仅提高工作效率,还能降低人为错误的风险。从基础的文件操作到进阶的网络管理,我们将一步步展示Python在自动化运维中的应用,并分享实用的代码示例,帮助读者快速掌握自动化运维的核心技能。
72 3
|
1月前
|
运维 监控 Linux
自动化运维:如何利用Python脚本优化日常任务##
【10月更文挑战第29天】在现代IT运维中,自动化已成为提升效率、减少人为错误的关键技术。本文将介绍如何通过Python脚本来简化和自动化日常的运维任务,从而让运维人员能够专注于更高层次的工作。从备份管理到系统监控,再到日志分析,我们将一步步展示如何编写实用的Python脚本来处理这些任务。 ##
|
1月前
|
调度 iOS开发 MacOS
python多进程一文够了!!!
本文介绍了高效编程中的多任务原理及其在Python中的实现。主要内容包括多任务的概念、单核和多核CPU的多任务实现、并发与并行的区别、多任务的实现方式(多进程、多线程、协程等)。详细讲解了进程的概念、使用方法、全局变量在多个子进程中的共享问题、启动大量子进程的方法、进程间通信(队列、字典、列表共享)、生产者消费者模型的实现,以及一个实际案例——抓取斗图网站的图片。通过这些内容,读者可以深入理解多任务编程的原理和实践技巧。
73 1
|
24天前
|
调度 数据库 Python
掌握Python中的异步编程,提升I/O密集型任务的性能
掌握Python中的异步编程,提升I/O密集型任务的性能
32 0