多线程与多进程(二)

简介: 多线程与多进程

线程锁

线程锁可以将临界区内的代码锁住,在同一时刻下,只有获得锁的线程可以进入,至于究竟哪个线程可以获得这把锁,则是由操作系统调度,或者是两个线程之间进行竞争,谁能先接触到锁,谁就能获得这把锁。

f20dc0537db0078837829b694a5e8824_640_wx_fmt=png&wxfrom=5&wx_lazy=1&wx_co=1.png

使用锁,来保证在检查tasks中是否有元素时,tasks不能被修改。将上面的pop函数改写一下

lock = threading.Lock()
def pop():
    global tasks
    while tasks:
        time.sleep(2)
        # 获得锁
        lock.acquire()
        if tasks:
            print(tasks.pop())
        else:
            break
        # 释放锁
        lock.release()

通过使用线程锁将检查tasks和tasks.pop()两个动作锁起来,确保只有一个线程可以运行这两行代码,从而保证检查结果和检查后的结果一致。使用线程锁是为了避免资源竞争,但是如果锁使用的不合适,会让你的多线程程序退化为单线程程序。

如果我们将上面的pop函数改为下面这种,使用锁将整段代码全部锁住,那么这段代码和直接使用一个for循环相比速度差别不大,甚至会变得更慢(存在线程调度)。

def pop():
    global tasks
    lock.acquire()
    while tasks:
        time.sleep(2)
        if tasks:
            print(tasks.pop())
        else:
            break
    lock.release()

所以,线程锁使用一般在一些不是很耗时,但是会存在资源竞争的地方,程序中的一些耗时操作一般不放入临界区内。

87f1f2d6a1dc4cbba1ce94a7757dcbd7_640_wx_fmt=png&wxfrom=5&wx_lazy=1&wx_co=1.png

进程

在python中多进程是没有GIL锁的,也就是说,多进程可以同时使用多个CPU核。说的形象一定就是,使用多线程,你的CPU使用率最多能到30%,而多进程可以达到90%以上。

ccb6e305266508fbcf51dc30c5a5d154_640_wx_fmt=png&wxfrom=5&wx_lazy=1&wx_co=1.png

进程的创建

进程与线程的创建一致,只是不再是使用Thread而是使用Process,创建方法与线程一样,也可以通过三种方式进行创建,这里请读者自行实现。

import multiprocessing
# target即为进程内部要运行的函数
# args为函数所需要的参数,要以tuple类型传入
thread = multiprocessing.Process(target=compress, args=(picture_id, ))

进程的启动方式

与线程不同,进程的实现更依赖于操作系统,python中进程有三种启动方式

  • spawn(unix和windows系统都可以使用)
  • fork(只有unix系统可以使用)
  • forkserver(只有unix系统可以使用)

三种启动方式,其中fork的效率最高,spawn的效率最低。使用set_start_method方法可以设置特定的启动方法,注意,这个方法只能被调用一次,一般会放在if __name__ == '__main__':下面。这里分析spawnfork两种启动方式的差别。

spawn

spawn的启动方式是通过将一份代码使用python解释器运行多次,其中主进程的__name____main__,而通过主进程启动子进程的__name____mp_main__

from multiprocessing import (
    Process, 
    set_start_method
)
import os
print('Hello, world. __name__: %s' % __name__)
def func():
    print(os.getpid())
if __name__ == '__main__':
    set_start_method('spawn')
    p1 = Process(target=func)
    p2 = Process(target=func)
    p1.start()
    p2.start()
    p1.join()
    p2.join()

069f2542b5ce0e23c1adcd1089c5aa43_640_wx_fmt=png&wxfrom=5&wx_lazy=1&wx_co=1.png

你会发现,hello,world被打印了三次,也印证了spawn方式是通过将同一份代码执行了三次。分别是主进程一次,和两个子进程各执行了一次。

fork

fork则是使用的系统调用,在调用fork的位置直接获得子进程和父进程

from multiprocessing import (
    Process, 
    set_start_method
)
import os
print('Hello, world. __name__: %s' % __name__)
def func():
    print(os.getpid())
if __name__ == '__main__':
    set_start_method('fork')
    p1 = Process(target=func)
    p2 = Process(target=func)
    p1.start()
    p2.start()
    p1.join()
    p2.join()

4721c6f7e7d14218985764c5ecf42e6e_640_wx_fmt=png&wxfrom=5&wx_lazy=1&wx_co=1.png

fork方式只打印了一次hello,world,即在主进程启动的时候,在主进程创建子进程的时候,没有将整个代码重新运行一遍,而是只在创建时,直接获得了子进程。熟悉linux系统中fork的同学应该会比较熟悉这种方式。所以同样的一份代码,放到windows系统是可以运行,但是放到Linux系统或者是苹果的macos系统的上就不能运行了,原因就出在了进程的启动方式不同。在编写多进程代码时,这一点要格外注意。

相关文章
|
2月前
|
Java 测试技术 API
【JUC】(1)带你重新认识进程与线程!!让你深层次了解线程运行的睡眠与打断!!
JUC是什么?你可以说它就是研究Java方面的并发过程。本篇是JUC专栏的第一章!带你了解并行与并发、线程与程序、线程的启动与休眠、打断和等待!全是干货!快快快!
522 2
|
2月前
|
JSON 网络协议 安全
【Java】(10)进程与线程的关系、Tread类;讲解基本线程安全、网络编程内容;JSON序列化与反序列化
几乎所有的操作系统都支持进程的概念,进程是处于运行过程中的程序,并且具有一定的独立功能,进程是系统进行资源分配和调度的一个独立单位一般而言,进程包含如下三个特征。独立性动态性并发性。
193 1
|
2月前
|
JSON 网络协议 安全
【Java基础】(1)进程与线程的关系、Tread类;讲解基本线程安全、网络编程内容;JSON序列化与反序列化
几乎所有的操作系统都支持进程的概念,进程是处于运行过程中的程序,并且具有一定的独立功能,进程是系统进行资源分配和调度的一个独立单位一般而言,进程包含如下三个特征。独立性动态性并发性。
215 1
|
10月前
|
存储 Linux API
【Linux进程概念】—— 操作系统中的“生命体”,计算机里的“多线程”
在计算机系统的底层架构中,操作系统肩负着资源管理与任务调度的重任。当我们启动各类应用程序时,其背后复杂的运作机制便悄然展开。程序,作为静态的指令集合,如何在系统中实现动态执行?本文带你一探究竟!
【Linux进程概念】—— 操作系统中的“生命体”,计算机里的“多线程”
|
8月前
|
并行计算 Linux
Linux内核中的线程和进程实现详解
了解进程和线程如何工作,可以帮助我们更好地编写程序,充分利用多核CPU,实现并行计算,提高系统的响应速度和计算效能。记住,适当平衡进程和线程的使用,既要拥有独立空间的'兄弟',也需要在'家庭'中分享和并行的成员。对于这个世界,现在,你应该有一个全新的认识。
305 67
|
调度 开发者 Python
深入浅出操作系统:进程与线程的奥秘
在数字世界的底层,操作系统扮演着不可或缺的角色。它如同一位高效的管家,协调和控制着计算机硬件与软件资源。本文将拨开迷雾,深入探索操作系统中两个核心概念——进程与线程。我们将从它们的诞生谈起,逐步剖析它们的本质、区别以及如何影响我们日常使用的应用程序性能。通过简单的比喻,我们将理解这些看似抽象的概念,并学会如何在编程实践中高效利用进程与线程。准备好跟随我一起,揭开操作系统的神秘面纱,让我们的代码运行得更加流畅吧!
|
6月前
|
调度 开发工具 Android开发
【HarmonyOS Next】鸿蒙应用进程和线程详解
进程的定义: 进程是系统进行资源分配的基本单位,是操作系统结构的基础。 在鸿蒙系统中,一个应用下会有三类进程:
233 0
|
9月前
|
SQL 监控 网络协议
YashanDB进程线程体系
YashanDB进程线程体系
|
11月前
|
消息中间件 调度
如何区分进程、线程和协程?看这篇就够了!
本课程主要探讨操作系统中的进程、线程和协程的区别。进程是资源分配的基本单位,具有独立性和隔离性;线程是CPU调度的基本单位,轻量且共享资源,适合并发执行;协程更轻量,由程序自身调度,适合I/O密集型任务。通过学习这些概念,可以更好地理解和应用它们,以实现最优的性能和资源利用。
366 11
|
11月前
|
Java Linux 调度
硬核揭秘:线程与进程的底层原理,面试高分必备!
嘿,大家好!我是小米,29岁的技术爱好者。今天来聊聊线程和进程的区别。进程是操作系统中运行的程序实例,有独立内存空间;线程是进程内的最小执行单元,共享内存。创建进程开销大但更安全,线程轻量高效但易引发数据竞争。面试时可强调:进程是资源分配单位,线程是CPU调度单位。根据不同场景选择合适的并发模型,如高并发用线程池。希望这篇文章能帮你更好地理解并回答面试中的相关问题,祝你早日拿下心仪的offer!
267 6