Python基础系列讲解——线程锁Lock的使用介绍

简介: Python基础系列讲解——线程锁Lock的使用介绍

我们知道Python的线程是封装了底层操作系统的线程,在Linux系统中是Pthread(全称为POSIX Thread),在Windows中是Windows Thread。因此Python的线程是完全受操作系统的管理的。但是在计算密集型的任务中多线程反而比单线程更慢。

这是为什么呢?

在CPython 解释器中执行线程时,每一个线程开始执行时,都会锁住 GIL,以阻止别的线程执行。同样的,每一个线程执行完一段后,会释放 GIL,以允许别的线程开始利用资源。毕竟,如果Python线程在开始的时候锁住GIL而不去释放GIL,那别的线程就没有运行的机会了。

为什么要这么处理呢?

我们先来介绍下竞争条件(race condition)这个概念。竞争条件是指两个或者多个线程同时竞争访问的某个资源(该资源本身不能被同时访问),有可能因为时间上存在先后原因而出现问题,这种情况叫做竞争条件(Race Condition)。(Python中进程是有独立的资源分配,线程是共用资源分配)

回到CPython上,CPython是使用引用计数器来管理内存的,所有创建的对象,都会有一个引用计数来记录有多少个指针指向它。如下所示:

a_val = []
def ReferCount():
print(sys.getrefcount(a_val)) # 2
b = a_val
c = a_val
print(sys.getrefcount(a_val)) # 4
当引用计数为0时,CPython解释器会自动释放内存。这样一来,如果有两个Python线程同时引用了一个变量,就会造成引用计数的竞争条件(race condition)。因此引用计数变量需要在两个线程同时增加或减少时从竞争条件中得到保护。如果发生了这种情况,可能会导致泄露的内存永远不会被释放,更严重的是当一个对象的引用仍然存在的情况下错误地释放内存,导致Python程序崩溃或带来各种诡异的问题。

以下是官方给的解释:
In CPython, the global interpreter lock, or GIL, is a mutex that prevents multiple native threads from executing Python bytecodes at once. This lock is necessary mainly because CPython’s memory management is not thread-safe. (However, since the GIL exists, other features have grown to depend on the guarantees that it enforces.)

如何绕过GIL的限制?

目前像NumPy的矩阵运算这些高性能的应用场景是通过C/C++来实现Python库,可以避免CPython解释器的GIL限制。另一方面,当涉及到对性能非常严格的应用场景时,可以把关键代码用C/C++来实现,然后通过Python调用这些程序,以此摆脱GIL的限制。

有了GIL机制是否还需要考虑竞争条件吗?

GIL的设计是为了方便CPython解释器层面的编写者,而不是Python应用层面的程序员。作为Python的使用者,我们还是需要用Lock等工具来锁住资源,来确保线程安全。

接下来我们就介绍下如何使用Lock机制。

Lock的使用主要有以下几个方法:

mutex = threading.Lock() # 创建锁
mutex.acquire([timeout]) # 锁定
mutex.release() # 释放
例如以下例程:

g_count = 0

def func(str_val):
global g_count
for i in range(1000000):
g_count += 1
print(str_val+':g_count=%s' % g_count)

def test_func_lock():

t1 = threading.Thread(target=func,args=['func1'])
t2 = threading.Thread(target=func,args=['func2'])
t1.start()
t2.start()
t1.join()
t2.join()
最终返回的结果有这些情况:

func2:g_count=1509057 func1:g_count=1489782
func1:g_count=1305421 func2:g_count=1684556
func2:g_count=1545063 func1:g_count=1547995
……
理论上最后的结果应该是2000000,由于线程被调用执行的顺序并不确定,同时存在执行递增语句时切换线程,导致最后的结果并不是正确结果。

我们通过建立一个线程锁来解决这个问题。如下所示:

g_count = 0
lock = threading.Lock()
def func(str_val):
global g_count
for i in range(1000000):
lock.acquire()
g_count += 1
lock.release()
print(str_val+':g_count=%s' % g_count)
执行结果为:func2:g_count=1988364 func1:g_count=2000000

比如线程t1使用lock.acquire()获得了这个锁,那么线程t2就无法再获得该锁了,只会阻塞在 lock.acquire()处,直到锁被线程t1释放,即执行lock.release()。如此一来就不会出现执行了一半就暂停去执行别的线程的情况,最后结果是正确的2000000。

最后给大家推荐一个更精简的锁的用法:

def threading_lock_test():
# 创建锁
lock = threading.Lock()

# 使用锁的老方法
lock.acquire()
try:
print('Critical section 1')
print('Critical section 2')
finally:
lock.release()

# 使用锁的新方法
with lock:
print('Critical section 1')
print('Critical section 2')

_
Python基础系列讲解——线程锁Lock的使用介绍

相关文章
|
2月前
|
安全 数据处理 开发者
Python中的多线程编程:从入门到精通
本文将深入探讨Python中的多线程编程,包括其基本原理、应用场景、实现方法以及常见问题和解决方案。通过本文的学习,读者将对Python多线程编程有一个全面的认识,能够在实际项目中灵活运用。
|
26天前
|
供应链 安全 NoSQL
PHP 互斥锁:如何确保代码的线程安全?
在多线程和高并发环境中,确保代码段互斥执行至关重要。本文介绍了 PHP 互斥锁库 `wise-locksmith`,它提供多种锁机制(如文件锁、分布式锁等),有效解决线程安全问题,特别适用于电商平台库存管理等场景。通过 Composer 安装后,开发者可以利用该库确保在高并发下数据的一致性和安全性。
37 6
|
26天前
|
数据采集 存储 数据处理
Python中的多线程编程及其在数据处理中的应用
本文深入探讨了Python中多线程编程的概念、原理和实现方法,并详细介绍了其在数据处理领域的应用。通过对比单线程与多线程的性能差异,展示了多线程编程在提升程序运行效率方面的显著优势。文章还提供了实际案例,帮助读者更好地理解和掌握多线程编程技术。
|
1月前
|
并行计算 数据处理 调度
Python中的并发编程:探索多线程与多进程的奥秘####
本文深入探讨了Python中并发编程的两种主要方式——多线程与多进程,通过对比分析它们的工作原理、适用场景及性能差异,揭示了在不同应用需求下如何合理选择并发模型。文章首先简述了并发编程的基本概念,随后详细阐述了Python中多线程与多进程的实现机制,包括GIL(全局解释器锁)对多线程的影响以及多进程的独立内存空间特性。最后,通过实例演示了如何在Python项目中有效利用多线程和多进程提升程序性能。 ####
|
1月前
|
Java 开发者
在Java多线程编程的世界里,Lock接口正逐渐成为高手们的首选,取代了传统的synchronized关键字
在Java多线程编程的世界里,Lock接口正逐渐成为高手们的首选,取代了传统的synchronized关键字
46 4
|
1月前
|
Java Unix 调度
python多线程!
本文介绍了线程的基本概念、多线程技术、线程的创建与管理、线程间的通信与同步机制,以及线程池和队列模块的使用。文章详细讲解了如何使用 `_thread` 和 `threading` 模块创建和管理线程,介绍了线程锁 `Lock` 的作用和使用方法,解决了多线程环境下的数据共享问题。此外,还介绍了 `Timer` 定时器和 `ThreadPoolExecutor` 线程池的使用,最后通过一个具体的案例展示了如何使用多线程爬取电影票房数据。文章还对比了进程和线程的优缺点,并讨论了计算密集型和IO密集型任务的适用场景。
75 4
|
1月前
|
监控 JavaScript 前端开发
python中的线程和进程(一文带你了解)
欢迎来到瑞雨溪的博客,这里是一位热爱JavaScript和Vue的大一学生分享技术心得的地方。如果你从我的文章中有所收获,欢迎关注我,我将持续更新更多优质内容,你的支持是我前进的动力!🎉🎉🎉
23 0
|
1月前
|
数据采集 Java Python
爬取小说资源的Python实践:从单线程到多线程的效率飞跃
本文介绍了一种使用Python从笔趣阁网站爬取小说内容的方法,并通过引入多线程技术大幅提高了下载效率。文章首先概述了环境准备,包括所需安装的库,然后详细描述了爬虫程序的设计与实现过程,包括发送HTTP请求、解析HTML文档、提取章节链接及多线程下载等步骤。最后,强调了性能优化的重要性,并提醒读者遵守相关法律法规。
62 0
|
2月前
|
Python
Python中的多线程与多进程
本文将探讨Python中多线程和多进程的基本概念、使用场景以及实现方式。通过对比分析,我们将了解何时使用多线程或多进程更为合适,并提供一些实用的代码示例来帮助读者更好地理解这两种并发编程技术。
|
2月前
|
Java Python
python知识点100篇系列(16)-python中如何获取线程的返回值
【10月更文挑战第3天】本文介绍了两种在Python中实现多线程并获取返回值的方法。第一种是通过自定义线程类继承`Thread`类,重写`run`和`join`方法来实现;第二种则是利用`concurrent.futures`库,通过`ThreadPoolExecutor`管理线程池,简化了线程管理和结果获取的过程,推荐使用。示例代码展示了这两种方法的具体实现方式。
python知识点100篇系列(16)-python中如何获取线程的返回值