python-- 进程管道 Pipe、进程 Manager

简介: python-- 进程管道 Pipe、进程 Manager

进程管道 Pipe


管道之间通信是不安全的

from multiprocessing import Pipe
con1,con2 = Pipe()

管道是用于多进程之间通信的一种方式。如果在单进程中使用管道,那么就是con1收数据,就是con2发数据。如果是con1发数据,就是con2收数据如果在多进程中使用管道,那么就必须是父进程使用con1收,子进程就必须使用con2发

父进程使用con1发,子进程就必须使用con2收

父进程使用con2收,子进程就必须使用con1发

父进程使用con2发,子进程就必须使用con1收

在管道中有一个著名的错误叫做EOFError。是指,父进程中如果关闭了发送端,子进程还继续接收数据,那么就会引发EOFError。

from multiprocessing import Pipe, Process
def func(con):
    con1, con2 = con
    con1.close()  # 子进程使用con2和父进程通信,所以
    while 1:
        try:
            print(con2.recv())  # 当主进程的con1发数据时,子进程要死循环的去接收。
        except EOFError:  # 如果主进程的con1发完数据并关闭con1,子进程的con2继续接收时,就会报错,使用try的方式,获取错误
            con2.close()  # 获取到错误,就是指子进程已经把管道中所有数据都接收完了,所以用这种方式去关闭管道
            break
if __name__ == '__main__':
    con1, con2 = Pipe()
    p = Process(target=func, args=((con1, con2),))
    p.start()
    con2.close()  # 在父进程中,使用con1去和子进程通信,所以不需要con2,就提前关闭
    for i in range(10):  # 生产数据
        con1.send(i)  # 给子进程的con2发送数据
    con1.close()  # 生产完数据,关闭父进程这一端的管道

结果:

0
1
2
3
4
5
6
7
8
9

from multiprocessing import Process, Pipe
def f(conn):
    conn.send([42, None, 'hello fromchild'])
    conn.send([42, None, 'hello fromchild2'])
    print("from parent:", conn.recv())
    conn.close()
if __name__ == '__main__':
    parent_conn, child_conn = Pipe()  # 需要两个参数接收
    p = Process(target=f, args=(child_conn,))
    p.start()
    print(parent_conn.recv())
    print(parent_conn.recv())
    parent_conn.send("范冰冰")

结果:

[42, None, 'hello fromchild']
[42, None, 'hello fromchild2']
from parent: 范冰冰

parent_conn, child_conn = Pipe()生成管道实例,相当于socket通信,一头在主进程,一头在子进程,就可以实现进程之间的数据的传递


进程 Manager


Queue,Pipe只能实现进程之间数据的传递,Manager可以进行数据之间的共享

from multiprocessing import Manager, Value
m = Manager()
num = m.dict({键: 值})
num = m.list([1, 2, 3])

from multiprocessing import Process, Manager
def func(num):
    num[0] -= 1  # num[0] = 1
    print('子进程中的num的值是', num)
if __name__ == '__main__':
    m = Manager()
    num = m.list([1, 2, 3])
    p = Process(target=func, args=(num,))
    p.start()
    p.join()
    print('父进程中的num的值是', num)

结果:

子进程中的num的值是 [0, 2, 3]
父进程中的num的值是 [0, 2, 3]

相关文章
|
21天前
|
安全 Java 数据处理
Python网络编程基础(Socket编程)多线程/多进程服务器编程
【4月更文挑战第11天】在网络编程中,随着客户端数量的增加,服务器的处理能力成为了一个重要的考量因素。为了处理多个客户端的并发请求,我们通常需要采用多线程或多进程的方式。在本章中,我们将探讨多线程/多进程服务器编程的概念,并通过一个多线程服务器的示例来演示其实现。
|
2月前
|
Linux Shell
【Linux 进程间通讯 管道】使用Linux管道进行linux进程间通信
【Linux 进程间通讯 管道】使用Linux管道进行linux进程间通信
33 1
|
2月前
|
并行计算 安全 Unix
Python教程第8章 | 线程与进程
本章主要讲解了线程与进程的概念,多线程的运用以及Python进程的相关案例学习
37 0
|
2月前
|
分布式计算 并行计算 Java
浅析Python自带的线程池和进程池
浅析Python自带的线程池和进程池
102 0
|
2月前
|
安全 Python
Python中的并发编程:多线程与多进程技术探究
本文将深入探讨Python中的并发编程技术,重点介绍多线程和多进程两种并发处理方式的原理、应用场景及优缺点,并结合实例分析如何在Python中实现并发编程,以提高程序的性能和效率。
|
1月前
|
数据采集 数据库 C++
python并发编程:并发编程中是选择多线程呢?还是多进程呢?还是多协程呢?
python并发编程:并发编程中是选择多线程呢?还是多进程呢?还是多协程呢?
20 0
|
3天前
|
消息中间件 Linux 调度
Python的进程锁,进程队列
Python的进程锁,进程队列
118 3
|
3天前
|
数据采集 监控 调度
Python的进程,以及进程同步,守护进程详细解读
Python的进程,以及进程同步,守护进程详细解读
133 4
|
8天前
|
Java 数据库连接 数据处理
Python从入门到精通:3.1.2多线程与多进程编程
Python从入门到精通:3.1.2多线程与多进程编程
|
8天前
|
消息中间件 安全 调度
Python从入门到精通:3.1.1多线程与多进程——进程和线程的概念
Python从入门到精通:3.1.1多线程与多进程——进程和线程的概念