Python 多进程以及进程共享参数

简介: 这段时间在做一款游戏的挂机软件,我发现进入游戏后的逻辑和判断人物死亡的逻辑需要同时进行(因为不知道什么时候就暴毙了),以前我习惯用线程来进行同步,但是我发现由于我的代码中的逻辑比较复杂,且有多个嵌套的无限循环会导致线程阻塞,所以我决定用进程的方式来实现同步运行。

前言

这段时间在做一款游戏的挂机软件,我发现进入游戏后的逻辑和判断人物死亡的逻辑需要同时进行(因为不知道什么时候就暴毙了),以前我习惯用线程来进行同步,但是我发现由于我的代码中的逻辑比较复杂,且有多个嵌套的无限循环会导致线程阻塞,所以我决定用进程的方式来实现同步运行。

进程的概念 multiprocessing

在 Python 中进程是一个独立的运行环境,有自己的内存空间,系统资源和执行状态,你可以给他理解成一个房子,在一段 Python 代码被执行的时候,其实 Python 解释器也会创建一个进程来执行该脚本中的代码,当我们在这个代码中使用多进程的时候,其实是创建了一个子进程去执行代码,而这个脚本的进程则为父进程(相当于生了个孩子)

线程与进程的区别 threading

线程是一个进程中的执行路径,他可以在一个进程中存在多个,且共享进程之间的内存空间和资源,但是他不能并发执行(因为 Python 存在 GIL),而是当 A 线程 不占用资源后,再去执行 B 线程的这样交替执行(对于 IO 操作来说 还是可以进行并发执行的)

为什么采用进程而不用线程

我这里为什么要采用进程而不用线程,因为我主要使用的是 opencv 来识别图片与特征点的,而 opencv 是 CPU 密集型操作,所以对于线程来说,他无法实现并发行执行。

示例代码与解释

结束了上面的“废话”,开始撸代码

创建进程

    import multiprocessing

    def test():
        print("子进程")

    if __name__ == "__main__":
        process = multiprocessing.Process(target=test,args(,))
        print("父进程")
        Process.start()
        process.join()

我们可以看到 创建进程的写法其实是和创建线程差不多的

错误处理

    try:
        process = multiprocessing.Process(target=test,args(,))
        print("父进程")
        process.start()
        process.join()
    except KeyboardInterrupt:
        print("Received KeyboardInterrupt, terminating the process...")
        process.terminate()  # 立即终止所有子进程
    else:
        process.close()  # 关闭进程池,不再接受新的任务
    finally:
        process.join()  # 等待所有子进程退出
        print("所有子进程退出")

进程间共享变量

由于每个进程都开辟了独立的内存空间,所以说他们之间的变量是无法共享的,上面我们说了 执行.py 文件是启动了一个新的 Python 解释器也是开启一个进程,我们进程中的变量和内存空间都是共享的,比如函数中引用的 global 变量 也属于是共享的其实,进程中也提供的办法可以来在不同进程中共享变量,只不过不像是 global 那样了,且根据不同的变量形式划分的了不同的写法

基本数据类型

    shared_val = multiprocessing.Value('i', 0)  # 'i' 表示整数
    shared_val = multiprocessing.Value('b', True)  # 'b' 表示布尔值
    shared_val = multiprocessing.Value('d', 0.0) # d 表示浮点数

我们可以推测出 i 表示整数 是因为 int 是 整数类型 b 表示布尔值 是因为 bool 是 布尔类型 d 表示浮点数 是因为 float 是 浮点类型

数组

PS:这里需要提前引入 ctypes 模块

    shared_array = 10
    # 初始化共享数组
    for i in range(array_size):
        shared_array[i] = i

    shared_array = multiprocessing.Array(ctypes.c_int, array_size)
    # 创建进程
    process = multiprocessing.Process(target=test, args=(shared_array,))

取值

    def test(shared_array):
        print(shared_array[0])
        shared_array[0] = 10

字典

字典我们需要用到 Manager 对象

    # 创建 manager 对象
    manager = multiprocessing.Manager()
    # 创建一个共享字典
    shared_dict = manager.dict()
    # 初始化字典
    shared_dict['a'] = 1
    # 创建进程
    process = multiprocessing.Process(target=test, args=(shared_dict,))

取值

    def test(shared_dict):
        print(shared_dict['a'])
        shared_dict['a'] = 10

队列

队列我们需要用到 Manager 对象 PS:这里需要提前引入 ctypes 模块

    # 创建 manager 对象
    manager = multiprocessing.Manager()
    # 创建一个共享队列
    shared_queue = manager.Queue()
    # 初始化队列
    shared_queue.put(1)
    # 创建进程
    process = multiprocessing.Process(target=test, args=(shared_queue,))

取值

    def test(shared_queue):
        print(shared_queue.get())
        shared_queue.put(10)


相关文章
|
机器学习/深度学习 存储 算法
解锁文件共享软件背后基于 Python 的二叉搜索树算法密码
文件共享软件在数字化时代扮演着连接全球用户、促进知识与数据交流的重要角色。二叉搜索树作为一种高效的数据结构,通过有序存储和快速检索文件,极大提升了文件共享平台的性能。它依据文件名或时间戳等关键属性排序,支持高效插入、删除和查找操作,显著优化用户体验。本文还展示了用Python实现的简单二叉搜索树代码,帮助理解其工作原理,并展望了该算法在分布式计算和机器学习领域的未来应用前景。
|
5月前
|
JSON 缓存 开发者
淘宝商品详情接口(item_get)企业级全解析:参数配置、签名机制与 Python 代码实战
本文详解淘宝开放平台taobao.item_get接口对接全流程,涵盖参数配置、MD5签名生成、Python企业级代码实现及高频问题排查,提供可落地的实战方案,助你高效稳定获取商品数据。
|
7月前
|
算法 数据可视化 数据挖掘
基于EM期望最大化算法的GMM参数估计与三维数据分类系统python源码
本内容展示了基于EM算法的高斯混合模型(GMM)聚类实现,包含完整Python代码、运行效果图及理论解析。程序使用三维数据进行演示,涵盖误差计算、模型参数更新、结果可视化等关键步骤,并附有详细注释与操作视频,适合学习EM算法与GMM模型的原理及应用。
|
7月前
|
监控 编译器 Python
如何利用Python杀进程并保持驻留后台检测
本教程介绍如何使用Python编写进程监控与杀进程脚本,结合psutil库实现后台驻留、定时检测并强制终止指定进程。内容涵盖基础杀进程、多进程处理、自动退出机制、管理员权限启动及图形界面设计,并提供将脚本打包为exe的方法,适用于需持续清理顽固进程的场景。
|
8月前
|
XML JSON 安全
分析参数顺序对Python requests库进行POST请求的影响。
最后,尽管理论上参数顺序对POST请求没影响,但编写代码时仍然建议遵循一定的顺序和规范,比如URL总是放在第一位,随后是data或json,最后是headers,这样可以提高代码的可读性和维护性。在处理复杂的请求时,一致的参数顺序有助于调试和团队协作。
240 9
|
11月前
|
SQL Oracle 关系型数据库
【YashanDB知识库】共享利用Python脚本解决Oracle的SQL脚本@@用法
【YashanDB知识库】共享利用Python脚本解决Oracle的SQL脚本@@用法
|
11月前
|
存储 算法 文件存储
探秘文件共享服务之哈希表助力 Python 算法实现
在数字化时代,文件共享服务不可或缺。哈希表(散列表)通过键值对存储数据,利用哈希函数将键映射到特定位置,极大提升文件上传、下载和搜索效率。例如,在大型文件共享平台中,文件名等信息作为键,物理地址作为值存入哈希表,用户检索时快速定位文件,减少遍历时间。此外,哈希表还用于文件一致性校验,确保传输文件未被篡改。以Python代码示例展示基于哈希表的文件索引实现,模拟文件共享服务的文件索引构建与检索功能。哈希表及其分布式变体如一致性哈希算法,保障文件均匀分布和负载均衡,持续优化文件共享服务性能。
|
11月前
|
SQL Oracle 关系型数据库
【YashanDB知识库】共享利用Python脚本解决Oracle的SQL脚本@@用法
本文来自YashanDB官网,介绍如何处理Oracle客户端sql*plus中使用@@调用同级目录SQL脚本的场景。崖山数据库23.2.x.100已支持@@用法,但旧版本可通过Python脚本批量重写SQL文件,将@@替换为绝对路径。文章通过Oracle示例展示了具体用法,并提供Python脚本实现自动化处理,最后调整批处理脚本以适配YashanDB运行环境。
|
分布式计算 MaxCompute 对象存储
|
存储 算法 Serverless
剖析文件共享工具背后的Python哈希表算法奥秘
在数字化时代,文件共享工具不可或缺。哈希表算法通过将文件名或哈希值映射到存储位置,实现快速检索与高效管理。Python中的哈希表可用于创建简易文件索引,支持快速插入和查找文件路径。哈希表不仅提升了文件定位速度,还优化了存储管理和多节点数据一致性,确保文件共享工具高效运行,满足多用户并发需求,推动文件共享领域向更高效、便捷的方向发展。

热门文章

最新文章

推荐镜像

更多