11.python并发入门(part1 初识进程与线程,并发,并行,同步,异步)

简介:

一、什么是进程?

在说什么是进程之前,需要先插入一个进程切换的概念!

进程,可以理解为一个正在运行的程序。

现在考虑一个场景,假如有两个程序A和B,程序A在执行到一半的过程中,需要读取大量的数据输入(I/O操作),而此时CPU只能静静地等待任务A读取完数据才能继续执行,这样就白白浪费了CPU资源。你是不是已经想到在程序A读取数据的过程中,让程序B去执行,当程序A读取完数据之后,让程序B暂停。这当然没问题,但这里有一个关键词:切换。

既然是切换,那么这就涉及到了状态的保存,状态的恢复,加上程序A与程序B所需要的系统资源(内存,硬盘,键盘等等)是不一样的。自然而然的就需要有一个东西去记录程序A和程序B分别需要什么资源,怎样去识别程序A和程序B等等既然是切换,那么这就涉及到了状态的保存,状态的恢复,加上程序A与程序B所需要的系统资源(内存,硬盘,键盘等等)是不一样的。自然而然的就需要有一个东西去记录程序A和程序B分别需要什么资源,怎样去识别程序A和程序B等等既然是切换,那么这就涉及到了状态的保存,状态的恢复,加上程序A与程序B所需要的系统资源(内存,硬盘,键盘等等)是不一样的。自然而然的就需要有一个东西去记录程序A和程序B分别需要什么资源,怎样去识别程序A和程序B等等


简单说了进程切换的概念,接下来就来说说进程的定义吧。

进程,一般由三部分组成,分别是程序,数据集(这个程序里的数据),进程控制块三个部分组成,

我们编写的程序用来描述进程要完成哪些功能以及如何完成;数据集则是程序在执行过程中所需要使用的资源;进程控制块用来记录进程的外部特征,描述进程的执行变化过程,系统可以利用它来控制和管理进程,它是系统感知进程存在的唯一标志。

二、什么是线程?

1.多线程的引入

假如,一个编辑器程序,需要去接收键盘的输入,还需要把内容输出到屏幕上,还需要把内容写到硬盘中,如果只有单进程的话,就会造成同一时间只能做一件事的情况,(比如说,在将文本保存到硬盘,还没有保存完之前不能做其他事情)。

接下来可以试试开多个线程,为这个程序的每一个功能去开一个线程,进程A去接收用户键盘的输入,进程B把用户输入的内容显示在屏幕上,进程C负责把文本数据保存到硬盘。

这里进程A,B,C间的协作涉及到了进程通信问题,而且有共同都需要拥有的东西,这个东西就是文本的内容!!(这也就是之前提到进程中数据集的概念!)

若是这几个进程之间要互相协作,必须要把数据资源保存给每个进程!,有多个进程,原来的数据集就会有多份!


在这就需要引入一个概念,也就是说不同进程之间的数据集都是独立的!默认是无法共享的!

这几个进程在不停切换的时候,会造成性能上的损失,这是因为进程和进程之间的数据资源都是独立的!!


遇到这种情况,推荐使用多线程。

还拿刚说到的文本编辑器的程序来举例,假如有一种机制,可以分别使任务A,任务B,任务C共享一个数据集,这样,在cpu上下文切换的时候,所需要保存和恢复的内容就会少很多!并且又可以减少进程之间通信所带来的损耗! 这种机制就是多线程!!


我们可以把多线程理解为一个轻量级的多进程。

线程是cpu的最小执行单元,同时也是程序执行的最小单元。


线程是由“线程id”,“程序计数器”,“集合”,“堆栈” 共同组成的。

线程的引入减小了程序并发执行时的开销,提高了操作系统的并发性能。


不过需要注意的是!!线程并没有自己的数据集!!


三、进程和线程之间的关系。

1.线程可以理解为是进程的实体。

2.一个进程中至少必须包含一个线程。

3.一个线程只能分配给一个进程,一个进程可以有多个线程。(我们也可以理解为进程是线程的容器。)

4.cpu在分配资源(数据集)的时候,只能把资源分配给进程!!!

5.真正放在cpu上运行的是线程。


四、并行与并发的概念。

并行处理(Parallel Processing) :并行处理是计算机可以同时执行多个处理的一种计算方法。

(并行处理的主要目的是节省大型和复杂问题的解决时间)


并发处理(concurrency Processing):指一个时间段中有几个程序都处于已启动运行到运行完毕之间,且这几个程序都是在同一个CPU上运行,但任一个时刻点上只有一个程序在CPU上运行。


并发的关键是你有处理多个任务的能力,不一定要同时。并行的关键是你有同时处理多个任务的能力。所以说,并行是并发的子集。



五、同步与异步

同步就是指一个进程在执行某个请求的时候,若该请求需要一段时间才能返回信息,那么这个进程将会一直等待下去,直到收到返回信息才继续执行下去;异步是指进程不需要一直等下去,而是继续执行下面的操作,不管其他进程的状态。当有消息返回时系统会通知进程进行处理,这样可以提高执行的效率。举个例子,打电话时就是同步通信,发短息时就是异步通信。


六、补充说明。

  1. 什么情况下会触发进程的切换?

    1.1出现I/O操作

    1.2这个进程运行的时间超出了cpu分配给它的时间片。

  2. 进程和线程。

    2.1 进程:资源管理单位(线程的容器)。

    2.2 线程:最小的执行单位。


3.多线程和多进程的应用场景。

对于计算密集型的任务,在python中使用多线程是完全没有意义的!!甚至可能会让程序变得更慢,在python下,对于计算密集型的任务,推荐使用多进程!(这种现象完全是全局解释器锁的特性导致的。)


对于I/O密集型的任务,推荐使用多线程。



      本文转自苏浩智 51CTO博客,原文链接:http://blog.51cto.com/suhaozhi/1923953,如需转载请自行联系原作者






相关文章
|
17天前
|
Java 程序员 调度
【JAVA 并发秘籍】进程、线程、协程:揭秘并发编程的终极武器!
【8月更文挑战第25天】本文以问答形式深入探讨了并发编程中的核心概念——进程、线程与协程,并详细介绍了它们在Java中的应用。文章不仅解释了每个概念的基本原理及其差异,还提供了实用的示例代码,帮助读者理解如何在Java环境中实现这些并发机制。无论你是希望提高编程技能的专业开发者,还是准备技术面试的求职者,都能从本文获得有价值的见解。
32 1
|
1月前
|
Go 调度 开发者
[go 面试] 深入理解进程、线程和协程的概念及区别
[go 面试] 深入理解进程、线程和协程的概念及区别
|
4天前
|
存储 Java 数据处理
进程中的线程调度
进程是应用程序运行的基本单位,包括主线程、用户线程和守护线程。计算机由存储器和处理器协同操作,操作系统设计为分时和分任务模式。在个人PC普及后,基于用户的时间片异步任务操作系统确保了更好的体验和性能。线程作为进程的调度单元,通过覆写`Thread`类的`run`方法来处理任务数据,并由系统调度框架统一管理。微服务架构进一步将应用分解为多个子服务,在不同节点上执行,提高数据处理效率与容错性,特别是在大规模数据存储和处理中表现显著。例如,利用微服务框架可以优化算法,加速业务逻辑处理,并在不同区块间分配海量数据存储任务。
|
27天前
|
算法 Java
JUC(1)线程和进程、并发和并行、线程的状态、lock锁、生产者和消费者问题
该博客文章综合介绍了Java并发编程的基础知识,包括线程与进程的区别、并发与并行的概念、线程的生命周期状态、`sleep`与`wait`方法的差异、`Lock`接口及其实现类与`synchronized`关键字的对比,以及生产者和消费者问题的解决方案和使用`Condition`对象替代`synchronized`关键字的方法。
JUC(1)线程和进程、并发和并行、线程的状态、lock锁、生产者和消费者问题
|
18天前
|
Java Windows
【Azure Developer】Windows中通过pslist命令查看到Java进程和线程信息,但为什么和代码中打印出来的进程号不一致呢?
【Azure Developer】Windows中通过pslist命令查看到Java进程和线程信息,但为什么和代码中打印出来的进程号不一致呢?
|
14天前
|
机器学习/深度学习 并行计算 算法
Python中最简单易用的并行加速技巧
Python中最简单易用的并行加速技巧
|
14天前
|
数据采集 Java Python
python 递归锁、信号量、事件、线程队列、进程池和线程池、回调函数、定时器
python 递归锁、信号量、事件、线程队列、进程池和线程池、回调函数、定时器
|
2月前
|
运维 关系型数据库 MySQL
掌握taskset:优化你的Linux进程,提升系统性能
在多核处理器成为现代计算标准的今天,运维人员和性能调优人员面临着如何有效利用这些处理能力的挑战。优化进程运行的位置不仅可以提高性能,还能更好地管理和分配系统资源。 其中,taskset命令是一个强大的工具,它允许管理员将进程绑定到特定的CPU核心,减少上下文切换的开销,从而提升整体效率。
掌握taskset:优化你的Linux进程,提升系统性能
|
2月前
|
弹性计算 Linux 区块链
Linux系统CPU异常占用(minerd 、tplink等挖矿进程)
Linux系统CPU异常占用(minerd 、tplink等挖矿进程)
61 4
Linux系统CPU异常占用(minerd 、tplink等挖矿进程)
|
1月前
|
算法 Linux 调度
探索进程调度:Linux内核中的完全公平调度器
【8月更文挑战第2天】在操作系统的心脏——内核中,进程调度算法扮演着至关重要的角色。本文将深入探讨Linux内核中的完全公平调度器(Completely Fair Scheduler, CFS),一个旨在提供公平时间分配给所有进程的调度器。我们将通过代码示例,理解CFS如何管理运行队列、选择下一个运行进程以及如何对实时负载进行响应。文章将揭示CFS的设计哲学,并展示其如何在现代多任务计算环境中实现高效的资源分配。
下一篇
DDNS