多线程与多进程(二)

简介: 多线程与多进程

线程锁

线程锁可以将临界区内的代码锁住,在同一时刻下,只有获得锁的线程可以进入,至于究竟哪个线程可以获得这把锁,则是由操作系统调度,或者是两个线程之间进行竞争,谁能先接触到锁,谁就能获得这把锁。

f20dc0537db0078837829b694a5e8824_640_wx_fmt=png&wxfrom=5&wx_lazy=1&wx_co=1.png

使用锁,来保证在检查tasks中是否有元素时,tasks不能被修改。将上面的pop函数改写一下

lock = threading.Lock()
def pop():
    global tasks
    while tasks:
        time.sleep(2)
        # 获得锁
        lock.acquire()
        if tasks:
            print(tasks.pop())
        else:
            break
        # 释放锁
        lock.release()

通过使用线程锁将检查tasks和tasks.pop()两个动作锁起来,确保只有一个线程可以运行这两行代码,从而保证检查结果和检查后的结果一致。使用线程锁是为了避免资源竞争,但是如果锁使用的不合适,会让你的多线程程序退化为单线程程序。

如果我们将上面的pop函数改为下面这种,使用锁将整段代码全部锁住,那么这段代码和直接使用一个for循环相比速度差别不大,甚至会变得更慢(存在线程调度)。

def pop():
    global tasks
    lock.acquire()
    while tasks:
        time.sleep(2)
        if tasks:
            print(tasks.pop())
        else:
            break
    lock.release()

所以,线程锁使用一般在一些不是很耗时,但是会存在资源竞争的地方,程序中的一些耗时操作一般不放入临界区内。

87f1f2d6a1dc4cbba1ce94a7757dcbd7_640_wx_fmt=png&wxfrom=5&wx_lazy=1&wx_co=1.png

进程

在python中多进程是没有GIL锁的,也就是说,多进程可以同时使用多个CPU核。说的形象一定就是,使用多线程,你的CPU使用率最多能到30%,而多进程可以达到90%以上。

ccb6e305266508fbcf51dc30c5a5d154_640_wx_fmt=png&wxfrom=5&wx_lazy=1&wx_co=1.png

进程的创建

进程与线程的创建一致,只是不再是使用Thread而是使用Process,创建方法与线程一样,也可以通过三种方式进行创建,这里请读者自行实现。

import multiprocessing
# target即为进程内部要运行的函数
# args为函数所需要的参数,要以tuple类型传入
thread = multiprocessing.Process(target=compress, args=(picture_id, ))

进程的启动方式

与线程不同,进程的实现更依赖于操作系统,python中进程有三种启动方式

  • spawn(unix和windows系统都可以使用)
  • fork(只有unix系统可以使用)
  • forkserver(只有unix系统可以使用)

三种启动方式,其中fork的效率最高,spawn的效率最低。使用set_start_method方法可以设置特定的启动方法,注意,这个方法只能被调用一次,一般会放在if __name__ == '__main__':下面。这里分析spawnfork两种启动方式的差别。

spawn

spawn的启动方式是通过将一份代码使用python解释器运行多次,其中主进程的__name____main__,而通过主进程启动子进程的__name____mp_main__

from multiprocessing import (
    Process, 
    set_start_method
)
import os
print('Hello, world. __name__: %s' % __name__)
def func():
    print(os.getpid())
if __name__ == '__main__':
    set_start_method('spawn')
    p1 = Process(target=func)
    p2 = Process(target=func)
    p1.start()
    p2.start()
    p1.join()
    p2.join()

069f2542b5ce0e23c1adcd1089c5aa43_640_wx_fmt=png&wxfrom=5&wx_lazy=1&wx_co=1.png

你会发现,hello,world被打印了三次,也印证了spawn方式是通过将同一份代码执行了三次。分别是主进程一次,和两个子进程各执行了一次。

fork

fork则是使用的系统调用,在调用fork的位置直接获得子进程和父进程

from multiprocessing import (
    Process, 
    set_start_method
)
import os
print('Hello, world. __name__: %s' % __name__)
def func():
    print(os.getpid())
if __name__ == '__main__':
    set_start_method('fork')
    p1 = Process(target=func)
    p2 = Process(target=func)
    p1.start()
    p2.start()
    p1.join()
    p2.join()

4721c6f7e7d14218985764c5ecf42e6e_640_wx_fmt=png&wxfrom=5&wx_lazy=1&wx_co=1.png

fork方式只打印了一次hello,world,即在主进程启动的时候,在主进程创建子进程的时候,没有将整个代码重新运行一遍,而是只在创建时,直接获得了子进程。熟悉linux系统中fork的同学应该会比较熟悉这种方式。所以同样的一份代码,放到windows系统是可以运行,但是放到Linux系统或者是苹果的macos系统的上就不能运行了,原因就出在了进程的启动方式不同。在编写多进程代码时,这一点要格外注意。

相关文章
|
2月前
|
UED 开发者 Python
探索操作系统的心脏:理解进程与线程
【8月更文挑战第31天】在数字世界的海洋中,操作系统犹如一艘巨轮,其稳定航行依赖于精密的进程与线程机制。本文将揭开这一机制的神秘面纱,通过深入浅出的语言和直观的代码示例,引领读者从理论到实践,体验进程与线程的魅力。我们将从基础概念出发,逐步深入到它们之间的联系与区别,最后探讨如何在编程实践中高效运用这些知识。无论你是初学者还是有经验的开发者,这篇文章都将为你的技术之旅增添新的航标。
|
5天前
|
存储 消息中间件 资源调度
「offer来了」进程线程有啥关系?10个知识点带你巩固操作系统基础知识
该文章总结了操作系统基础知识中的十个关键知识点,涵盖了进程与线程的概念及区别、进程间通信方式、线程同步机制、死锁现象及其预防方法、进程状态等内容,并通过具体实例帮助理解这些概念。
「offer来了」进程线程有啥关系?10个知识点带你巩固操作系统基础知识
|
4天前
|
资源调度 算法 调度
深入浅出操作系统之进程与线程管理
【9月更文挑战第29天】在数字世界的庞大舞台上,操作系统扮演着不可或缺的角色,它如同一位精通多门艺术的导演,精心指挥着每一个进程和线程的演出。本文将通过浅显的语言,带你走进操作系统的内心世界,探索进程和线程的管理奥秘,让你对这位幕后英雄有更深的了解。
|
8天前
|
Java
直接拿来用:进程&进程池&线程&线程池
直接拿来用:进程&进程池&线程&线程池
|
9天前
|
负载均衡 Java 调度
探索Python的并发编程:线程与进程的比较与应用
本文旨在深入探讨Python中的并发编程,重点比较线程与进程的异同、适用场景及实现方法。通过分析GIL对线程并发的影响,以及进程间通信的成本,我们将揭示何时选择线程或进程更为合理。同时,文章将提供实用的代码示例,帮助读者更好地理解并运用这些概念,以提升多任务处理的效率和性能。
|
19天前
|
开发者 Python
深入浅出操作系统:进程与线程的奥秘
【8月更文挑战第46天】在数字世界的幕后,操作系统扮演着至关重要的角色。本文将揭开进程与线程这两个核心概念的神秘面纱,通过生动的比喻和实际代码示例,带领读者理解它们的定义、区别以及如何在编程中运用这些知识来优化软件的性能。无论你是初学者还是有一定经验的开发者,这篇文章都将为你提供新的视角和实用技巧。
|
3天前
|
数据采集 消息中间件 并行计算
进程、线程与协程:并发执行的三种重要概念与应用
进程、线程与协程:并发执行的三种重要概念与应用
11 0
|
3天前
|
数据采集 Linux 调度
Python之多线程与多进程
Python之多线程与多进程
10 0
|
26天前
|
存储 Java 数据处理
进程中的线程调度
进程是应用程序运行的基本单位,包括主线程、用户线程和守护线程。计算机由存储器和处理器协同操作,操作系统设计为分时和分任务模式。在个人PC普及后,基于用户的时间片异步任务操作系统确保了更好的体验和性能。线程作为进程的调度单元,通过覆写`Thread`类的`run`方法来处理任务数据,并由系统调度框架统一管理。微服务架构进一步将应用分解为多个子服务,在不同节点上执行,提高数据处理效率与容错性,特别是在大规模数据存储和处理中表现显著。例如,利用微服务框架可以优化算法,加速业务逻辑处理,并在不同区块间分配海量数据存储任务。
|
8天前
|
存储 算法 Java
关于python3的一些理解(装饰器、垃圾回收、进程线程协程、全局解释器锁等)
该文章深入探讨了Python3中的多个重要概念,包括装饰器的工作原理、垃圾回收机制、进程与线程的区别及全局解释器锁(GIL)的影响等,并提供了详细的解释与示例代码。
15 0