Python多线程与多进程

简介: 全局解释器锁(GIL)导致了Python多线程无法利用多核CPU并发执行。引入GIL,是为了解决多线程之间数据完整性和状态同步的问题,简化了Python对共享资源的管理;但是也降低了并发编程的性能。

Python并发支持

(1)多线程与多进程对比
image.png
(2)IO密集型与CPU密集型计算对比
image.png
(3)并发编程-常见问题
并发编程中,还有几个绕不开的话题:
使用Lock对资源加锁,防止并发冲突。
使用队列Queue可以实现线程或进程间通信,可以实现生产者-消费者模式
使用线程池或进程池,简化线程或者进程的提交、等待与获取结果。

Python速度慢的原因

在并发编程上,Python比C/C++、Java都慢。主要有以下原因:

解释性语言

1、边解释边执行
Python是动态类型的语言,需要边解释边执行。
C/C++编写完成之后,需要编译为直接可执行的机器码,机器码执行速度非常快。
2、变量的特性
再次就是Python中变量的类型,是不固定的。
它既可以是数字,随时可以切换为字符串或者列表。
这就需要随时检查变量数据类型,所以性能下降。

GIL(全局解释器锁)

全局解释器锁(GIL)导致了Python多线程无法利用多核CPU并发执行。
全局解释器锁(GIL:Global Interpreter Lock的缩写)。
20230307-Python多线程与多进程-流程图.jpg
GIL是Python解释器用于同步线程的一种机制,使得任何时刻仅有一个线程在执行;即便在多核CPU上,GIL的解释器也只允许同一时间执行一个线程。
最开始引入GIL,是为了解决多线程之间数据完整性和状态同步的问题,简化了Python对共享资源的管理;但是也降低了并发编程的性能。现在想要去除,却比较难了。

CPU密集型计算案例

CPU密集型计算

key = 100000000 * 100000
num_list = [random.randint(key, 10 * key) for i in range(1000)]

# 计算一个数是否是质数
def is_prime(num: int) -> bool:
    if num < 2:
        return False
    if num == 2:
        return True
    if num % 2 == 0:
        return False
    sqrt_num = int(math.floor(math.sqrt(num)))
    for i in range(3, sqrt_num + 1, 2):
        if num % i == 0:
            return False
    return True

这里定义一个判断质数的方法,判断1000个数(10万亿 ~ 100万亿之间的随机数)

三种方式对比

单线程、多线程、多进程处理这个CPU密集型计算;统计三种方法耗时。

# 单线程处理
def single_thread():
    for num in num_list:
        is_prime(num)

# 多线程处理
def multi_threads():
    with ThreadPoolExecutor() as pool:
        pool.map(is_prime, num_list)

# 多进程处理
def multi_process():
    with ProcessPoolExecutor() as pool:
        pool.map(is_prime, num_list)

主执行方法

# 处理耗时统计
if __name__ == "__main__":
    start = time.time()
    single_thread()
    end = time.time()
    print(f"single thread cost : {end - start}")

    start = time.time()
    multi_threads()
    end = time.time()
    print(f"multi threads cost : {end - start}")

    start = time.time()
    multi_process()
    end = time.time()
    print(f"multi process cost : {end - start}")

执行结果对比

single thread cost : 8.104012489318848
multi threads cost : 8.150990724563599
multi process cost : 1.85487961769104

结论:
对于CPU密集型任务,
(1)多线程可能因为线程切换,比单线程性能还差。
(2)多进程性能明显优于多线程。

相关文章
|
2月前
|
调度 开发者 Python
深入浅出操作系统:进程与线程的奥秘
在数字世界的底层,操作系统扮演着不可或缺的角色。它如同一位高效的管家,协调和控制着计算机硬件与软件资源。本文将拨开迷雾,深入探索操作系统中两个核心概念——进程与线程。我们将从它们的诞生谈起,逐步剖析它们的本质、区别以及如何影响我们日常使用的应用程序性能。通过简单的比喻,我们将理解这些看似抽象的概念,并学会如何在编程实践中高效利用进程与线程。准备好跟随我一起,揭开操作系统的神秘面纱,让我们的代码运行得更加流畅吧!
|
17天前
|
并行计算 安全 Java
Python GIL(全局解释器锁)机制对多线程性能影响的深度分析
在Python开发中,GIL(全局解释器锁)一直备受关注。本文基于CPython解释器,探讨GIL的技术本质及其对程序性能的影响。GIL确保同一时刻只有一个线程执行代码,以保护内存管理的安全性,但也限制了多线程并行计算的效率。文章分析了GIL的必要性、局限性,并介绍了多进程、异步编程等替代方案。尽管Python 3.13计划移除GIL,但该特性至少要到2028年才会默认禁用,因此理解GIL仍至关重要。
90 16
Python GIL(全局解释器锁)机制对多线程性能影响的深度分析
|
4天前
|
Python
python3多线程中使用线程睡眠
本文详细介绍了Python3多线程编程中使用线程睡眠的基本方法和应用场景。通过 `time.sleep()`函数,可以使线程暂停执行一段指定的时间,从而控制线程的执行节奏。通过实际示例演示了如何在多线程中使用线程睡眠来实现计数器和下载器功能。希望本文能帮助您更好地理解和应用Python多线程编程,提高程序的并发能力和执行效率。
32 20
|
1月前
|
消息中间件 调度
如何区分进程、线程和协程?看这篇就够了!
本课程主要探讨操作系统中的进程、线程和协程的区别。进程是资源分配的基本单位,具有独立性和隔离性;线程是CPU调度的基本单位,轻量且共享资源,适合并发执行;协程更轻量,由程序自身调度,适合I/O密集型任务。通过学习这些概念,可以更好地理解和应用它们,以实现最优的性能和资源利用。
61 11
|
1月前
|
Java Linux 调度
硬核揭秘:线程与进程的底层原理,面试高分必备!
嘿,大家好!我是小米,29岁的技术爱好者。今天来聊聊线程和进程的区别。进程是操作系统中运行的程序实例,有独立内存空间;线程是进程内的最小执行单元,共享内存。创建进程开销大但更安全,线程轻量高效但易引发数据竞争。面试时可强调:进程是资源分配单位,线程是CPU调度单位。根据不同场景选择合适的并发模型,如高并发用线程池。希望这篇文章能帮你更好地理解并回答面试中的相关问题,祝你早日拿下心仪的offer!
38 6
|
2月前
|
消息中间件 Unix Linux
【C语言】进程和线程详解
在现代操作系统中,进程和线程是实现并发执行的两种主要方式。理解它们的区别和各自的应用场景对于编写高效的并发程序至关重要。
86 6
|
2月前
|
调度 开发者
深入理解:进程与线程的本质差异
在操作系统和计算机编程领域,进程和线程是两个核心概念。它们在程序执行和资源管理中扮演着至关重要的角色。本文将深入探讨进程与线程的区别,并分析它们在现代软件开发中的应用和重要性。
81 5
|
2月前
|
算法 调度 开发者
深入理解操作系统:进程与线程的管理
在数字世界的复杂编织中,操作系统如同一位精明的指挥家,协调着每一个音符的奏响。本篇文章将带领读者穿越操作系统的幕后,探索进程与线程管理的奥秘。从进程的诞生到线程的舞蹈,我们将一起见证这场微观世界的华丽变奏。通过深入浅出的解释和生动的比喻,本文旨在揭示操作系统如何高效地处理多任务,确保系统的稳定性和效率。让我们一起跟随代码的步伐,走进操作系统的内心世界。
|
2月前
|
调度 开发者
核心概念解析:进程与线程的对比分析
在操作系统和计算机编程领域,进程和线程是两个基本而核心的概念。它们是程序执行和资源管理的基础,但它们之间存在显著的差异。本文将深入探讨进程与线程的区别,并分析它们在现代软件开发中的应用和重要性。
82 4
|
3月前
|
数据采集 存储 数据处理
Python中的多线程编程及其在数据处理中的应用
本文深入探讨了Python中多线程编程的概念、原理和实现方法,并详细介绍了其在数据处理领域的应用。通过对比单线程与多线程的性能差异,展示了多线程编程在提升程序运行效率方面的显著优势。文章还提供了实际案例,帮助读者更好地理解和掌握多线程编程技术。

热门文章

最新文章