线程,进程,协程

简介: 线程,进程,协程

线程,进程,协程


1.1 进程


进程:是CPU对程序的一次执行过程、一次执行任务。虚拟的地址空间、可执行的代码、操作系统的接口、安全的上下文(记录启动该进程的用户和权限等等)、唯一的进程ID、环境变量、优先级类、最小和最大的工作空间(内存空间),是支配线程的最小单位。一个程序可以有多个进程。


1.2 线程


线程:是进程中执行运算的最小单位,是进程中的一个实体。一个标准的线程由线程ID,当前指令指针(PC),寄存器集合和堆栈组成。一个程序至少有一个进程,一个进程至少有一个线程。操作系统分配CPU的基本单位。线程也是executed content(执行上下文), cpu执行所需要的指令。cpu不断进行交换进行任务并且制造出看似并发进行的任务,线程不断切换所需要的信息都存储在executed content。


1.3 携程


协程:比线程更小的执行单元,又称微线程,在单线程上执行多个任务,自带CPU上下文

用函数切换,开销极小。不通过操作系统调度,

没有进程、线程的切换开销。(gevent,monkey.patchall)


小结


一个程序跑起来至少有一个进程,有独立的内存空间,数据栈。每个进程中至少有一个主线程负责程序的逻辑执行。


一个程序中有多个任务在处理不同的事情,每个事情都可以安排一个线程进行处理,负责到底。

协程是一种各司其职的,有分工的线程,他们处理特定的事情完成后交给其他协程


想要使用协程,那么我们的任务必须有等待。当我们要完成的任务有耗时任务,属于IO密集型任务时,我们使用协程来执行任务会节省很多的资源。


线程和进程的区别


1.同一个进程中的线程共享同一内存空间,但进程之间的内存空间是独立的。


2.同一个进程中的所有线程的数据是共享的,但进程之间的数据是独立的。


3.对主线程的修改可能会影响其他线程的行为,但是父进程的修改(除了删除以外)不会影响其他子进程。


4.线程是一个上下文的执行指令,而进程则是与运算相关的一簇资源。


5.同一进程的线程之间可以相互通信,不同进程不能直接通信,需要借助管道


6.创建一个线程的开销小,创建一个进程需要对父进程进行一次复制


7.同一个进程之中,线程可以相互操作,可以进行平级操作。进程只能操作其子进程


8.线程启动速度块,进程启动速度慢


1.4线程安全


多线程环境中,共享数据同一时间只能有一个线程来操作。


1.5原子操作


原子操作就是不会因为进程并发或者线程并发而导致被中断的操作


1.6并行和并发


  1. 1.并行:多个CPU核心,不同的程序就分配给不同的CPU来运行。可以让多个程序同时执行。(多进程)

  2. 2.并发:单个CPU核心,在一个时间切片里一次只能运行一个程序,如果需要运行多个程序,则串行执行,遇到IO阻塞就切换,即计算机在逻辑上能处理多任务的能力。(多进程,多线程)

1.7多线程, 多进程场景


多进程:密集CPU任务,需要充分使用多核CPU资源(服务器,大量的并行计算)的时候,用多进程。 multiprocessing


缺陷:多个进程之间通信成本高,切换开销大。


多线程:密集I/O任务(网络I/O,磁盘I/O,数据库I/O)使用多线程合适。

threading.Thread、multiprocessing.dummy


缺陷:同一个时间切片只能运行一个线程,不能做到高并行,但是可以做到高并发。


1.8互斥锁、递归锁、升序锁


GIL保证原子操作线程安全


1.互斥锁,互斥锁是用来解决IO密集型场景产生的计算错误,即目的是为了保护共享的数据,同一时间只能有一个线程来修改共享的数据。


2. 递归锁:锁中套了一把锁


3. 升序锁:解决了死锁的问题,给每个锁分配一个id,按照升序的方式让线程按顺序使用多个锁


1.9进程间通讯


1Queue: multiprocessing 中的Queue模块,通过queue.get(), queue.put()


2 Manager: mutiprocessing 中的Manager模块,

manager = Manager()
pname = current_process().name
pid = current_process().pid
print('当前进程是{}_{}'.format(pid, pname))
print(m_dict)
m_dict[pid] = pname
m_list.append(pid)
  1. 3.**进程池:**维护一个进程list, 当有空闲的进程可用的时候就获取,没有可用的时候程序就必须等待直到有可用进程。进程池有同步(appy)和异步(apply_async)
pool = Pool(3)#定义进程池中进程数量
pool.apply_async(func, args=(,), callback=)#当func执行完之后自动执行callback方法
pool.close()
pool.join()

2.0死锁


迭代死锁:该情况是一个线程“迭代”请求同一个资源,直接就会造成死锁。这种死锁产生的原因是我们标准互斥锁threading.Lock的缺点导致的。


标准的锁对象(threading.Lock)并不关心当前是哪个线程占有了该锁;如果该锁已经被占有了,那么任何其它尝试获取该锁的线程都会被阻塞,包括已经占有该锁的线程也会被阻塞。


互相等待死锁:两个进程想要获得的锁已经被对方进程获得,只能互相等待无法释放的锁。


2.1协程的条件


1.必须在只有一个单线程里实现并发


2.修改共享数据不需加锁


3.用户程序里自己保存多个控制流的上下文栈


4.一个协程遇到IO操作自动切换到其它协程


相关文章
|
9月前
|
Java 测试技术 API
【JUC】(1)带你重新认识进程与线程!!让你深层次了解线程运行的睡眠与打断!!
JUC是什么?你可以说它就是研究Java方面的并发过程。本篇是JUC专栏的第一章!带你了解并行与并发、线程与程序、线程的启动与休眠、打断和等待!全是干货!快快快!
1210 2
|
9月前
|
JSON 网络协议 安全
【Java】(10)进程与线程的关系、Tread类;讲解基本线程安全、网络编程内容;JSON序列化与反序列化
几乎所有的操作系统都支持进程的概念,进程是处于运行过程中的程序,并且具有一定的独立功能,进程是系统进行资源分配和调度的一个独立单位一般而言,进程包含如下三个特征。独立性动态性并发性。
426 1
|
9月前
|
JSON 网络协议 安全
【Java基础】(1)进程与线程的关系、Tread类;讲解基本线程安全、网络编程内容;JSON序列化与反序列化
几乎所有的操作系统都支持进程的概念,进程是处于运行过程中的程序,并且具有一定的独立功能,进程是系统进行资源分配和调度的一个独立单位一般而言,进程包含如下三个特征。独立性动态性并发性。
392 1
|
并行计算 Linux
Linux内核中的线程和进程实现详解
了解进程和线程如何工作,可以帮助我们更好地编写程序,充分利用多核CPU,实现并行计算,提高系统的响应速度和计算效能。记住,适当平衡进程和线程的使用,既要拥有独立空间的'兄弟',也需要在'家庭'中分享和并行的成员。对于这个世界,现在,你应该有一个全新的认识。
473 67
|
12月前
|
数据采集 监控 调度
干货分享“用 多线程 爬取数据”:单线程 + 协程的效率反超 3 倍,这才是 Python 异步的正确打开方式
在 Python 爬虫中,多线程因 GIL 和切换开销效率低下,而协程通过用户态调度实现高并发,大幅提升爬取效率。本文详解协程原理、实战对比多线程性能,并提供最佳实践,助你掌握异步爬虫核心技术。
|
调度 开发工具 Android开发
【HarmonyOS Next】鸿蒙应用进程和线程详解
进程的定义: 进程是系统进行资源分配的基本单位,是操作系统结构的基础。 在鸿蒙系统中,一个应用下会有三类进程:
453 0
|
SQL 监控 网络协议
YashanDB进程线程体系
YashanDB进程线程体系
|
数据采集 Java 数据处理
Python实用技巧:轻松驾驭多线程与多进程,加速任务执行
在Python编程中,多线程和多进程是提升程序效率的关键工具。多线程适用于I/O密集型任务,如文件读写、网络请求;多进程则适合CPU密集型任务,如科学计算、图像处理。本文详细介绍这两种并发编程方式的基本用法及应用场景,并通过实例代码展示如何使用threading、multiprocessing模块及线程池、进程池来优化程序性能。结合实际案例,帮助读者掌握并发编程技巧,提高程序执行速度和资源利用率。
797 0
|
Linux 数据库 Perl
【YashanDB 知识库】如何避免 yasdb 进程被 Linux OOM Killer 杀掉
本文来自YashanDB官网,探讨Linux系统中OOM Killer对数据库服务器的影响及解决方法。当内存接近耗尽时,OOM Killer会杀死占用最多内存的进程,这可能导致数据库主进程被误杀。为避免此问题,可采取两种方法:一是在OS层面关闭OOM Killer,通过修改`/etc/sysctl.conf`文件并重启生效;二是豁免数据库进程,由数据库实例用户借助`sudo`权限调整`oom_score_adj`值。这些措施有助于保护数据库进程免受系统内存管理机制的影响。
|
Linux Shell
Linux 进程前台后台切换与作业控制
进程前台/后台切换及作业控制简介: 在 Shell 中,启动的程序默认为前台进程,会占用终端直到执行完毕。例如,执行 `./shella.sh` 时,终端会被占用。为避免不便,可将命令放到后台运行,如 `./shella.sh &`,此时终端命令行立即返回,可继续输入其他命令。 常用作业控制命令: - `fg %1`:将后台作业切换到前台。 - `Ctrl + Z`:暂停前台作业并放到后台。 - `bg %1`:让暂停的后台作业继续执行。 - `kill %1`:终止后台作业。 优先级调整:
1585 5

热门文章

最新文章