线程,进程,协程
1.1 进程
进程:是CPU对程序的一次执行过程、一次执行任务。虚拟的地址空间、可执行的代码、操作系统的接口、安全的上下文(记录启动该进程的用户和权限等等)、唯一的进程ID、环境变量、优先级类、最小和最大的工作空间(内存空间),是支配线程的最小单位。一个程序可以有多个进程。
1.2 线程
线程:是进程中执行运算的最小单位,是进程中的一个实体。一个标准的线程由线程ID,当前指令指针(PC),寄存器集合和堆栈组成。一个程序至少有一个进程,一个进程至少有一个线程。操作系统分配CPU的基本单位。线程也是executed content(执行上下文), cpu执行所需要的指令。cpu不断进行交换进行任务并且制造出看似并发进行的任务,线程不断切换所需要的信息都存储在executed content。
1.3 携程
协程:比线程更小的执行单元,又称微线程,在单线程上执行多个任务,自带CPU上下文
用函数切换,开销极小。不通过操作系统调度,
没有进程、线程的切换开销。(gevent,monkey.patchall)
小结
一个程序跑起来至少有一个进程,有独立的内存空间,数据栈。每个进程中至少有一个主线程负责程序的逻辑执行。
一个程序中有多个任务在处理不同的事情,每个事情都可以安排一个线程进行处理,负责到底。
协程是一种各司其职的,有分工的线程,他们处理特定的事情完成后交给其他协程
想要使用协程,那么我们的任务必须有等待。当我们要完成的任务有耗时任务,属于IO密集型任务时,我们使用协程来执行任务会节省很多的资源。
线程和进程的区别
1.同一个进程中的线程共享同一内存空间,但进程之间的内存空间是独立的。
2.同一个进程中的所有线程的数据是共享的,但进程之间的数据是独立的。
3.对主线程的修改可能会影响其他线程的行为,但是父进程的修改(除了删除以外)不会影响其他子进程。
4.线程是一个上下文的执行指令,而进程则是与运算相关的一簇资源。
5.同一进程的线程之间可以相互通信,不同进程不能直接通信,需要借助管道
6.创建一个线程的开销小,创建一个进程需要对父进程进行一次复制
7.同一个进程之中,线程可以相互操作,可以进行平级操作。进程只能操作其子进程
8.线程启动速度块,进程启动速度慢
1.4线程安全
多线程环境中,共享数据同一时间只能有一个线程来操作。
1.5原子操作
原子操作就是不会因为进程并发或者线程并发而导致被中断的操作
1.6并行和并发
- 1.并行:多个CPU核心,不同的程序就分配给不同的CPU来运行。可以让多个程序同时执行。(多进程)
- 2.并发:单个CPU核心,在一个时间切片里一次只能运行一个程序,如果需要运行多个程序,则串行执行,遇到IO阻塞就切换,即计算机在逻辑上能处理多任务的能力。(多进程,多线程)
1.7多线程, 多进程场景
多进程:密集CPU任务,需要充分使用多核CPU资源(服务器,大量的并行计算)的时候,用多进程。 multiprocessing
缺陷:多个进程之间通信成本高,切换开销大。
多线程:密集I/O任务(网络I/O,磁盘I/O,数据库I/O)使用多线程合适。
threading.Thread、multiprocessing.dummy
缺陷:同一个时间切片只能运行一个线程,不能做到高并行,但是可以做到高并发。
1.8互斥锁、递归锁、升序锁
GIL保证原子操作线程安全
1.互斥锁,互斥锁是用来解决IO密集型场景产生的计算错误,即目的是为了保护共享的数据,同一时间只能有一个线程来修改共享的数据。
2. 递归锁:锁中套了一把锁
3. 升序锁:解决了死锁的问题,给每个锁分配一个id,按照升序的方式让线程按顺序使用多个锁
1.9进程间通讯
1Queue: multiprocessing 中的Queue模块,通过queue.get(), queue.put()
2 Manager: mutiprocessing 中的Manager模块,
manager = Manager() pname = current_process().name pid = current_process().pid print('当前进程是{}_{}'.format(pid, pname)) print(m_dict) m_dict[pid] = pname m_list.append(pid)
- 3.**进程池:**维护一个进程list, 当有空闲的进程可用的时候就获取,没有可用的时候程序就必须等待直到有可用进程。进程池有同步(appy)和异步(apply_async)
pool = Pool(3)#定义进程池中进程数量 pool.apply_async(func, args=(,), callback=)#当func执行完之后自动执行callback方法 pool.close() pool.join()
2.0死锁
迭代死锁:该情况是一个线程“迭代”请求同一个资源,直接就会造成死锁。这种死锁产生的原因是我们标准互斥锁threading.Lock的缺点导致的。
标准的锁对象(threading.Lock)并不关心当前是哪个线程占有了该锁;如果该锁已经被占有了,那么任何其它尝试获取该锁的线程都会被阻塞,包括已经占有该锁的线程也会被阻塞。
互相等待死锁:两个进程想要获得的锁已经被对方进程获得,只能互相等待无法释放的锁。
2.1协程的条件
1.必须在只有一个单线程里实现并发
2.修改共享数据不需加锁
3.用户程序里自己保存多个控制流的上下文栈
4.一个协程遇到IO操作自动切换到其它协程