Python的多线程与多进程详解

简介: 全局解释器锁(GIL)导致了Python多线程无法利用多核CPU并发执行。引入GIL,是为了解决多线程之间数据完整性和状态同步的问题,简化了Python对共享资源的管理;但是也降低了并发编程的性能。

Python并发支持
(1)多线程与多进程对比
image.png

(2)IO密集型与CPU密集型计算对比
image.png

(3)并发编程-常见问题
并发编程中,还有几个绕不开的话题:
使用Lock对资源加锁,防止并发冲突。
使用队列Queue可以实现线程或进程间通信,可以实现生产者-消费者模式
使用线程池或进程池,简化线程或者进程的提交、等待与获取结果。

Python速度慢的原因
在并发编程上,Python比C/C++、Java都慢。主要有以下原因:

解释性语言
1、边解释边执行
Python是动态类型的语言,需要边解释边执行。
C/C++编写完成之后,需要编译为直接可执行的机器码,机器码执行速度非常快。
2、变量的特性
再次就是Python中变量的类型,是不固定的。
它既可以是数字,随时可以切换为字符串或者列表。
这就需要随时检查变量数据类型,所以性能下降。

GIL(全局解释器锁)
全局解释器锁(GIL)导致了Python多线程无法利用多核CPU并发执行。
全局解释器锁(GIL:Global Interpreter Lock的缩写)。
image.png

GIL是Python解释器用于同步线程的一种机制,使得任何时刻仅有一个线程在执行;即便在多核CPU上,GIL的解释器也只允许同一时间执行一个线程。
最开始引入GIL,是为了解决多线程之间数据完整性和状态同步的问题,简化了Python对共享资源的管理;但是也降低了并发编程的性能。现在想要去除,却比较难了。

CPU密集型计算案例
CPU密集型计算

key = 100000000 * 100000
num_list = [random.randint(key, 10 * key) for i in range(1000)]

# 计算一个数是否是质数
def is_prime(num: int) -> bool:
    if num < 2:
        return False
    if num == 2:
        return True
    if num % 2 == 0:
        return False
    sqrt_num = int(math.floor(math.sqrt(num)))
    for i in range(3, sqrt_num + 1, 2):
        if num % i == 0:
            return False
    return True

这里定义一个判断质数的方法,判断1000个数(10万亿 ~ 100万亿之间的随机数)

三种方式对比
单线程、多线程、多进程处理这个CPU密集型计算;统计三种方法耗时。

单线程处理

def single_thread():

for num in num_list:
    is_prime(num)

多线程处理

def multi_threads():

with ThreadPoolExecutor() as pool:
    pool.map(is_prime, num_list)

多进程处理

def multi_process():

with ProcessPoolExecutor() as pool:
    pool.map(is_prime, num_list)

主执行方法

处理耗时统计

if name == "__main__":

start = time.time()
single_thread()
end = time.time()
print(f"single thread cost : {end - start}")

start = time.time()
multi_threads()
end = time.time()
print(f"multi threads cost : {end - start}")

start = time.time()
multi_process()
end = time.time()
print(f"multi process cost : {end - start}")

执行结果对比
single thread cost : 8.104012489318848
multi threads cost : 8.150990724563599
multi process cost : 1.85487961769104
结论:
对于CPU密集型任务,
(1)多线程可能因为线程切换,比单线程性能还差。
(2)多进程性能明显优于多线程。

相关文章
|
8天前
|
分布式计算 并行计算 安全
在Python Web开发中,Python的全局解释器锁(Global Interpreter Lock,简称GIL)是一个核心概念,它直接影响了Python程序在多线程环境下的执行效率和性能表现
【6月更文挑战第30天】Python的GIL是CPython中的全局锁,限制了多线程并行执行,尤其是在多核CPU上。GIL确保同一时间仅有一个线程执行Python字节码,导致CPU密集型任务时多线程无法充分利用多核,反而可能因上下文切换降低性能。然而,I/O密集型任务仍能受益于线程交替执行。为利用多核,开发者常选择多进程、异步IO或使用不受GIL限制的Python实现。在Web开发中,理解GIL对于优化并发性能至关重要。
26 0
|
3天前
|
消息中间件 安全 Java
线程和进程的区别及应用场景
线程和进程的区别及应用场景
|
5天前
|
监控 Unix 开发者
Python 3.9的多进程优化策略具体是如何实现的?
【7月更文挑战第2天】Python 3.9的多进程优化策略具体是如何实现的?
10 1
|
5天前
|
开发者 Python
Python 3.9的异步编程和多进程优化有哪些改进?
【7月更文挑战第2天】Python 3.9的异步编程和多进程优化有哪些改进?
10 1
|
7天前
|
消息中间件 安全 Java
线程和进程的区别及应用场景
线程和进程的区别及应用场景
|
2天前
|
安全 Java 调度
Python创建和结束线程
【7月更文挑战第1天】 - 启动线程:`thread.start()`,等待线程:`thread.join()`。 - 无法直接结束线程,通常通过设置标志位(如全局变量`is_running`)让线程自行退出。 - 使用`Event`对象(`stop_event.is_set()`)提供安全的线程结束方式。 - 异常处理:`try-except`捕获线程中异常,避免意外终止。
6 0
|
2天前
|
Java 调度 Windows
Java面试之程序、进程、线程、管程和并发、并行的概念
Java面试之程序、进程、线程、管程和并发、并行的概念
8 0
|
6天前
|
安全 Java 开发者
Python中的多线程高级使用方法
**Python多线程高级指南摘要** 本文探讨了Python中多线程的高级技术,尽管GIL限制了并行执行,但多线程仍适用于IO密集型任务和提升UI响应。内容包括: - 使用`threading`模块导入和创建线程,示例展示了如何启动多个线程执行函数。 - 高级用法涉及线程池,通过`ThreadPoolExecutor`管理线程,简化大量线程的创建和控制。 - 线程同步:介绍锁和条件变量的概念,以及如何使用它们确保数据一致性。 - 避免死锁的策略,如使用`try/finally`确保锁的正确释放 - 线程局部数据(Thread Local Data)允许每个线程拥有独立的数据副本,避免冲突
|
6天前
|
Java UED Python
Python多线程编程实战技巧与性能优化策略
Python多线程编程实战技巧与性能优化策略
|
2月前
|
安全 Java 数据处理
Python网络编程基础(Socket编程)多线程/多进程服务器编程
【4月更文挑战第11天】在网络编程中,随着客户端数量的增加,服务器的处理能力成为了一个重要的考量因素。为了处理多个客户端的并发请求,我们通常需要采用多线程或多进程的方式。在本章中,我们将探讨多线程/多进程服务器编程的概念,并通过一个多线程服务器的示例来演示其实现。