36. Python 多进程-阿里云开发者社区

开发者社区> 科技小能手> 正文

36. Python 多进程

简介:
+关注继续查看

多进程概念:

进程是程序在计算机上的一次执行活动。当你运行一个程序,你就启动了一个进程。显然,程序是死的(静态的),进程是活的(动态的)。进程可以分为系统进程和用户进程。凡是用于完成操作系统的各种功能的进程就是系统进程,它们就是处于运行状态下的操作系统本身;用户进程就不必我多讲了吧,所有由你启动的进程都是用户进程。进程是操作系统进行资源分配的单位。

它的思想简单介绍如下:在操作系统的管理下,所有正在运行的进程轮流使用CPU,每个进程允许占用CPU的时间非常短(比如10毫秒),这样用户根本感觉不出来CPU是在轮流为多个进程服务,就好象所有的进程都在不间断地运行一样。但实际上在任何一个时间内有且仅有一个进程占有CPU。

#多进程允许我们充分的利用cpu

多进程和多线程的区别:

多进程使用的是CPU的多个核,适合运算密集型

充分利用多个CPU跑进程,系统执行率会更高

进程的范围比线程的范围大,进程是相互独立的个体,一个进程挂了,不会影响其他进程的使用。

多线程使用的是CPU的一个核,适合IO密集型

线程是属于进程下面的,线程之间存在共享资源,当一个线程挂了,会导致相关的线程挂掉。

组件:

multiprocess模块

支持创建子进程,通信,共享数据,执行不同形式的同步,提供Process(创建子进程)、Pipe(管道[默认为双向,可以单向])、Lock(进程锁[当一个进程读文件,会锁定不让其他进程读,当这个进程读完,会解开锁,让其他进程读文件])等组件。


多进程 multiprocess模块方法:

1
2
3
4
5
import multiprocessing
= multiprocessing.cpu_count()       #统计cpu的个数
= multiprocessing.active_children() #统计存在的子进程
print (p)
print (m)


常用的进程方法:

is_alive()           判断进程是否存活

run() 启动进程

start() 启动进程,会自动调用run方法,这个常用

join(timeout) 等待进程结束或者直到超时

常用的属性:

name 进程名字

pid 进程的pid

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
import multiprocessing
import time
 
def worker_1(interval):
    time.sleep(interval)
    print ("hello world")
     
if __name__ == "__main__":
    = multiprocessing.Process(target=worker_1, args=(5,))
           #target 代表目标函数名字,没有括号
           #args 代表worker_1所需要的参数,args所接收的参数类型是tuple,单元素要加逗号
    c.start()                     #启动进程
    print (c.is_alive())        #确定进程是否存活
    c.join(timeout=1)          #等待子进程执行完毕,或者超时退出
    print ("end main")



多进程实例:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
import time
import multiprocessing
 
def worker(name, interval):
    print ("work {0} start".format(name))
    time.sleep(interval)
    print ("work {0} end".format(name))
     
if __name__ == "__main__":
    print ("main start")
    print ("统计cpu有{0}核").format(multiprocessing.cpu_count())
    p1 = multiprocessing.Process(target=worker, args=("worker1"2))
    p2 = multiprocessing.Process(target=worker, args=("worker2"3))
    p3 = multiprocessing.Process(target=worker, args=("worker3"4))
    p1.start()
    p2.start()
    p3.start()
    for in multiprocessing.active_children():
        print ("pid名称{0},pid号{1}".format(p.name, p.pid))
    print("main end")

打印结果:

main start

统计cpu有4核

pid名称Process-1,pid号6388

pid名称Process-3,pid号3176

pid名称Process-2,pid号1268

main end

work worker1 start

work worker3 start                  ## p1,p2,p3启动以后都是独立运行的,先后可以不是顺序,有的启动快,有的启动慢

work worker2 start

work worker1 end

work worker2 end

work worker3 end                  ## 关闭进程必须按照启动的顺序P1,P2,P3的顺序。



本文转自 听丶飞鸟说 51CTO博客,原文链接:http://blog.51cto.com/286577399/2048829

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
python多进程批量读取图片以及对图片批量旋转等数据增强
深度学习里面最重要的是数据,而有时候数据很少,又或者样本不均衡等问题,这时候就需要对图像进行一系列的数据增强,旋转就是常用的数据增强方式.至于python如何对图像旋转,在之前的文章就有所介绍, python对图像旋转显示等 这里不详细细谈,一般直接想到的就是添加一个循环,按照循序读取图片,如果图.
3430 0
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
8947 0
Python的线程与进程
看过《Python分布式计算》,觉得线程和进程,最大的区别还是在于 —— 二者是如何与内存交互的。线程是共享式的内存架构,进程是分布式的内存架构,这才是问题的本质。
653 0
Python多线程与多进程浅析之二
Python 多线程 Step by Step Python 在 CPU 密集运算的场景,多个线程并不能提高太多性能,而对于 I/O 阻塞的场景,可以使得运行效率获得几倍的提高。我们接下来会详细的分析一下。
1787 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
10541 0
Python编程:multiprocessing多进程
Python编程:multiprocessing多进程
24 0
python中的进程池
1.进程池的概念 python中,进程池内部会维护一个进程序列。当需要时,程序会去进程池中获取一个进程。 如果进程池序列中没有可供使用的进程,那么程序就会等待,直到进程池中有可用进程为止。 2.进程池的内置方法 apply 从进程池里取一个进程并同步执行 apply_async 从进程池里取出一个...
639 0
在python中单线程,多线程,多进程对CPU的利用率实测以及GIL原理分析
首先关于在python中单线程,多线程,多进程对cpu的利用率实测如下:   单线程,多线程,多进程测试代码使用死循环。   1)单线程:   2)多线程:   3)多进程:   查看cpu使用效率:   开始观察分别执行时候cpu的使用效率: 1)单线程执行的时候:   2)多线程执行的时候:   3)多进程执行的时候:   总结: 1)单进程单线程时,对于双核CPU的利用率只能利用一个核,没有充分利用两个核。
1947 0
23706
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《Nacos架构&原理》
立即下载
《看见新力量:二》电子书
立即下载
云上自动化运维(CloudOps)白皮书
立即下载