猪行天下之Python基础——9.2 Python多线程与多进程(中)(二)

简介: 内容简述: 1、threading模块详解 2、queue模块详解

Lock指令锁,有两种状态(锁定与非锁定),以及两个基本函数:


使用acquire()设置为locked状态,使用release()设置为unlocked状态。acquire()函数有两个可选参数:blocking=True:是否堵塞当前线程等待;

timeout=None:堵塞等待时间。如果成功获得lock,acquire返回True,否则返回False,超时也是返回False。使用起来也很简单,在访问共享资源的地方acquire一下,用完release就好。使用代码示例如下:


import threading
file_name = "test.txt"
lock = threading.Lock()
# 定义一个写入文件的方法(加锁)
def write_to_file(msg):
    if lock.acquire():
        try:
            with open(file_name, "a+", encoding="utf-8") as f:
                f.write(msg + "\n")
        except OSError as reason:
            print(str(reason))
        finally:
            lock.release()
class MyThread(threading.Thread):
    def __init__(self, msg):
        super().__init__()
        self.msg = msg
    def run(self):
        write_to_file(self.name + "~" + self.msg)
if __name__ == '__main__':
    for i in range(1, 101):
        t = MyThread(str(i)).start()


这里把循环次数改成了101,反复执行多次,test.txt中写入顺序也是正确的,加锁有效。另外有一点要注意:如果锁的状态是unlocked,此时调用release会抛出RuntimeError异常!


RLock可重入锁,和Lock类似,但RLock却可以被同一个线程请求多次! 举个例子:在一个线程里调用Lock对象的acquire方法两次。


lock.acquire()
lock.acquire()
lock.release()
lock.release()


你会发现程序卡住不动,因为已经发生了死锁,但是方法调用是在同一个线程里的,这很不合理吧。这个时候就可以引入RLock了,使用RLock编写一样代码,只需把threading.Lock()改成threading.RLock(),即可解决这个问题。


虽然使用RLock可以规避同一个线程引起的死锁问题,但是acquire和release函数要成对出现,即有多少个acquire就要有多少个release,才能够正真释放锁


⑤ 条件变量(Condition)


上面的互斥锁Lock和RLock只是最简单的同步机制,Python为我们提供了Condition(条件变量),以便于处理复杂线程同步问题,比如最经典的生产者与消费者问题。


Condition除了提供与Lock类似的acquire()与release()函数外,还提供了wait()与notify()函数。


用法简介:


  • 1.调用`threading.Condition`获得一个条件变量对象;


  • 2.线程调用acquire获得Condition对象


  • 3.进行条件判断,不满足条件调用wait函数,满足条件,进行一些处理改变条件后,调用notify函数通知处于wait状态的线程,重新进行条件判断。


代码示例如下(实现一个简单的消费者和生产者):


import threading
import time
condition = threading.Condition()
products = 0  # 商品数量
# 定义生产者线程类
class Producer(threading.Thread):
    def run(self):
        global products
        while True:
            if condition.acquire():
                if products >= 99:
                    condition.wait()
                else:
                    products += 2
                    print(self.name + "生产了2个产品,当前剩余产品数为:" + str(products))
                    condition.notify()
                condition.release()
                time.sleep(2)
# 定义消费者线程类
class Consumer(threading.Thread):
    def run(self):
        global products
        while True:
            if condition.acquire():
                if products < 4:
                    condition.wait()
                else:
                    products -= 4
                    print(self.name + "消耗了4个产品,当前剩余产品数为:" + str(products))
                    condition.notify()
            condition.release()
            time.sleep(2)
if __name__ == '__main__':
    # 创建五个生产者线程
    for i in range(5):
        p = Producer()
        p.start()
    # 创建两个消费者线程
    for j in range(2):
        c = Consumer()
        c.start()


部分运行结果如下


Thread-1生产了2个产品,当前剩余产品数为:2
Thread-2生产了2个产品,当前剩余产品数为:4
Thread-3生产了2个产品,当前剩余产品数为:6
Thread-4生产了2个产品,当前剩余产品数为:8
Thread-5生产了2个产品,当前剩余产品数为:10
Thread-6消耗了4个产品,当前剩余产品数为:6
Thread-7消耗了4个产品,当前剩余产品数为:2
Thread-1生产了2个产品,当前剩余产品数为:4
Thread-5生产了2个产品,当前剩余产品数为:6
Thread-3生产了2个产品,当前剩余产品数为:8
Thread-7消耗了4个产品,当前剩余产品数为:4
Thread-6消耗了4个产品,当前剩余产品数为:0
Thread-4生产了2个产品,当前剩余产品数为:2


Condition维护着一个互斥锁对象(默认是RLock),也可以自己实例化一个在Condition实例化的时候通过构造函数传入,所以,调用的Condition的acquire与release函数,其实调用就是这个锁对象的acquire与release函数。


Condition提供的其他函数:


  • wait(timeout=None):释放锁,同时线程被挂起,直到收到通知被唤醒
    或超时(如果设置了timeout),当线程被唤醒并重新占有锁时,程序才继续执行;


  • wait_for(predicate, timeout=None):等待知道条件为True,predicate应该是
    一个回调函数,返回布尔值,timeout用于指定超时时间,返回值为回调函数返回
    的布尔值,或者超时,返回False(3.2新增);


  • notify(n=1):默认唤醒一个正在的等待线程,notify并不释放锁!!!


  • notify_all():唤醒所有等待线程,进入就绪状态,等待获得锁,notify_all 同样不释放锁!!!


注:上述函数只有在acquire之后才能调用,不然会报RuntimeError异常。


⑥ 信号量(Semaphore)


信号量,也是一个简单易懂的东西,举个形象的例子:


厕所里有五个坑位,每有个人去厕所就会占用一个坑位,所剩余的坑位-1,当五个坑都被人占满时,新来的人就只能在外面等候,直到有人出来为止。这里的五个坑位就是信号量,蹲坑的人就是线程,初始值为5,来人-1,走人+1,超过最大值,新来的处于堵塞状态,我们写下代码来还原这个过程。


信号量使用代码示例如下


import threading
import time
import random
s = threading.Semaphore(5)  # 粪坑
class Human(threading.Thread):
    def run(self):
        s.acquire()  # 占坑
        print("蹲坑 - " + self.name + " - " + str(time.ctime()))
        time.sleep(random.randrange(1, 3))
        print("走人 - " + self.name + " - " + str(time.ctime()))
        s.release()  # 走人
if __name__ == '__main__':
    for i in range(10):
        human = Human()
        human.start()


运行结果如下


蹲坑 - Thread-1 - Tue Jul 17 19:59:15 2018
蹲坑 - Thread-2 - Tue Jul 17 19:59:15 2018
蹲坑 - Thread-3 - Tue Jul 17 19:59:15 2018
蹲坑 - Thread-4 - Tue Jul 17 19:59:15 2018
蹲坑 - Thread-5 - Tue Jul 17 19:59:15 2018
走人 - Thread-1 - Tue Jul 17 19:59:16 2018
蹲坑 - Thread-6 - Tue Jul 17 19:59:16 2018
走人 - Thread-2 - Tue Jul 17 19:59:16 2018
走人 - Thread-3 - Tue Jul 17 19:59:16 2018
蹲坑 - Thread-8 - Tue Jul 17 19:59:16 2018
走人 - Thread-5 - Tue Jul 17 19:59:16 2018
蹲坑 - Thread-7 - Tue Jul 17 19:59:16 2018
蹲坑 - Thread-9 - Tue Jul 17 19:59:16 2018
走人 - Thread-4 - Tue Jul 17 19:59:17 2018
蹲坑 - Thread-10 - Tue Jul 17 19:59:17 2018
走人 - Thread-6 - Tue Jul 17 19:59:17 2018
走人 - Thread-8 - Tue Jul 17 19:59:17 2018
走人 - Thread-9 - Tue Jul 17 19:59:17 2018
走人 - Thread-7 - Tue Jul 17 19:59:18 2018
走人 - Thread-10 - Tue Jul 17 19:59:19 2018


相关文章
|
2月前
|
调度 开发者 Python
深入浅出操作系统:进程与线程的奥秘
在数字世界的底层,操作系统扮演着不可或缺的角色。它如同一位高效的管家,协调和控制着计算机硬件与软件资源。本文将拨开迷雾,深入探索操作系统中两个核心概念——进程与线程。我们将从它们的诞生谈起,逐步剖析它们的本质、区别以及如何影响我们日常使用的应用程序性能。通过简单的比喻,我们将理解这些看似抽象的概念,并学会如何在编程实践中高效利用进程与线程。准备好跟随我一起,揭开操作系统的神秘面纱,让我们的代码运行得更加流畅吧!
|
18天前
|
消息中间件 调度
如何区分进程、线程和协程?看这篇就够了!
本课程主要探讨操作系统中的进程、线程和协程的区别。进程是资源分配的基本单位,具有独立性和隔离性;线程是CPU调度的基本单位,轻量且共享资源,适合并发执行;协程更轻量,由程序自身调度,适合I/O密集型任务。通过学习这些概念,可以更好地理解和应用它们,以实现最优的性能和资源利用。
52 11
|
17天前
|
Java Linux 调度
硬核揭秘:线程与进程的底层原理,面试高分必备!
嘿,大家好!我是小米,29岁的技术爱好者。今天来聊聊线程和进程的区别。进程是操作系统中运行的程序实例,有独立内存空间;线程是进程内的最小执行单元,共享内存。创建进程开销大但更安全,线程轻量高效但易引发数据竞争。面试时可强调:进程是资源分配单位,线程是CPU调度单位。根据不同场景选择合适的并发模型,如高并发用线程池。希望这篇文章能帮你更好地理解并回答面试中的相关问题,祝你早日拿下心仪的offer!
32 6
|
2月前
|
消息中间件 Unix Linux
【C语言】进程和线程详解
在现代操作系统中,进程和线程是实现并发执行的两种主要方式。理解它们的区别和各自的应用场景对于编写高效的并发程序至关重要。
73 6
|
2月前
|
调度 开发者
深入理解:进程与线程的本质差异
在操作系统和计算机编程领域,进程和线程是两个核心概念。它们在程序执行和资源管理中扮演着至关重要的角色。本文将深入探讨进程与线程的区别,并分析它们在现代软件开发中的应用和重要性。
72 5
|
2月前
|
算法 调度 开发者
深入理解操作系统:进程与线程的管理
在数字世界的复杂编织中,操作系统如同一位精明的指挥家,协调着每一个音符的奏响。本篇文章将带领读者穿越操作系统的幕后,探索进程与线程管理的奥秘。从进程的诞生到线程的舞蹈,我们将一起见证这场微观世界的华丽变奏。通过深入浅出的解释和生动的比喻,本文旨在揭示操作系统如何高效地处理多任务,确保系统的稳定性和效率。让我们一起跟随代码的步伐,走进操作系统的内心世界。
|
2月前
|
调度 开发者
核心概念解析:进程与线程的对比分析
在操作系统和计算机编程领域,进程和线程是两个基本而核心的概念。它们是程序执行和资源管理的基础,但它们之间存在显著的差异。本文将深入探讨进程与线程的区别,并分析它们在现代软件开发中的应用和重要性。
71 4
|
3月前
|
数据采集 存储 数据处理
Python中的多线程编程及其在数据处理中的应用
本文深入探讨了Python中多线程编程的概念、原理和实现方法,并详细介绍了其在数据处理领域的应用。通过对比单线程与多线程的性能差异,展示了多线程编程在提升程序运行效率方面的显著优势。文章还提供了实际案例,帮助读者更好地理解和掌握多线程编程技术。
|
3月前
|
并行计算 数据处理 调度
Python中的并发编程:探索多线程与多进程的奥秘####
本文深入探讨了Python中并发编程的两种主要方式——多线程与多进程,通过对比分析它们的工作原理、适用场景及性能差异,揭示了在不同应用需求下如何合理选择并发模型。文章首先简述了并发编程的基本概念,随后详细阐述了Python中多线程与多进程的实现机制,包括GIL(全局解释器锁)对多线程的影响以及多进程的独立内存空间特性。最后,通过实例演示了如何在Python项目中有效利用多线程和多进程提升程序性能。 ####
|
3月前
|
监控 JavaScript 前端开发
python中的线程和进程(一文带你了解)
欢迎来到瑞雨溪的博客,这里是一位热爱JavaScript和Vue的大一学生分享技术心得的地方。如果你从我的文章中有所收获,欢迎关注我,我将持续更新更多优质内容,你的支持是我前进的动力!🎉🎉🎉
41 0

热门文章

最新文章