11 Python 进程与线程编程

简介: 11 Python 进程与线程编程

1、什么是进程和线程?

首先我们要知道进程是系统进行资源分配和调度的基本单位,而线程是进程的一个执行路径,一个进程中至少有一个线程,进程中的多个线程共享进程的资源。

比如我们打开一个 csdn 的软件,其实就打开一个叫csdn 的进程,既然一个进程汇中至少要有一个线程,那肯定就会有多线程,什么是多线程?

1、多线程是指从软硬件上实现多条执行路径的技术。


2、多线程用在哪里,有什么好处?

例如铁路12306购票系统。

例如过年回家抢票,不可能只有你一个人在买票,那每个人进来的时候都要有一个执行路径,那这个之后就需要用到多线程。

2、创建多进程

在python 中创建多进程我们要知道一个模块-- multiprocessing

函数

介绍

参数

返回值

Process

创建一个进程

target(函数),args(函数的参数)

进程对象

start

执行进程

join

阻塞程序

kill

杀死进程

is_alive

进程是否存活

bool

接下来我们进入代码实操。

2.1 创建

image.png

我们创建了两个函数,并将两个都放在主函数里面执行,我们来看看执行的结果。

image.png

从控制台打印的结果可以看出,我们的两个函数和主函数都是在同一个进程内,接下来我们要进入正题,我们这里要稍微改造一下代码。

image.png

我们创建了一个进程去执行 work_a 函数,我们来看看执行的结果。

image.png

从执行结果来看我们work_a 已经执行在另外一个进程中了,work_b 和 主函数 的 函数id 是一样的,

说明它们实在同一个进程中的。

而我们也发现执行的时间少了一半,因为我们的进程之间是无不干扰的,你跑你的,我跑我的,两个一起跑,这大大提升了我们的执行效率。

image.png

我们现在给 work_b 也 放到一个进程中去,看看执行的效果是怎么样的。

image.png

我们可以看到时间直接打印了,这是为什么呢?

前面我们有说到。进程之间是无不干扰的,然后 name 是主进程,主进程没有了干扰,所以就直接执行了。

2.2 阻塞

如果我们想要让两个

子进程先执行完毕再执行主进程这个就可以使用到join。

我们来优化一下代码。

image.png

再来看看执行效果。

image.png

从执行结果来看,我们确实是实现了先执行完子线程再执行主线程,至于为什么控制台看起来优点乱,是因为有的进程它执行的时间是一致的。重叠在一起了。

3、 进程池和进程锁

由于每个进程都会消耗内存和cpu 资源,所以我们不能无限创建进程,这样有可能会发生系统的死机的情况。

为了解决这个问题,我们可以使用多线程来替代,或者进程池。

还有多进程还存在同时修改一个文件的时候,会出现问题,解决方方法就是给这个文件上一把锁。

3.1 进程池

我们现在知道,进程不能创建太多,太多容易造成系统死机 ,所以我们要固定进程的创建数量,这个时候借助进程池的帮助。

我们可以认为进程池就是个池子,在这个池子创建好一定数量的进程 。

image.png

比如上面这张图中的一个正方形的池子,里面有六个进程,这六个进程会伴随着进程池一起被创建。

我们要知道,普通的进程都要经历创建和关闭,这一建一关都要损耗一定的性能,而进程池中的性能,只需要经历一次创建就能一直往下使用,这也就避免了创建和关闭的性能损耗,伴随着进程池关闭,进程也会随之关闭。

了解了进程池的作用,我们就来了解如何去创建进程池。

函数名

介绍

参数

返回值

Pool

进程池创建

Processcount

进程池创建

apply_async

任务加入进程池(异步)

参数

close

关闭进程池

join

等待进程池任务结束

进入代码实操。

image.png

看看执行效果。

image.png

从执行效果来看,我们可以看到,有五个不同的进程id,这说明我们确实是在进程池创建了五个不同的进程,还有就是进程的执行,并没有按照顺序,这是因为它用了异步的处理方法,谁先干完活,谁就去接新的任务。

上面我们是用了sleep 去阻塞主进程的执行效率。因为如果不阻塞的话,主进程立马就执行完毕并关闭。这样子进程根本没有时间执行。

可不可以不用sleep就能实现子进程执行完再关闭,当然可以,这就可以使用到我们的joinl了,使用join往往伴随着 我们的close。

我们来看看代码:

image.png

执行效果是一样的,需要注意的是,在某些场景中,我们是需要主进程一直启动着,只要有任务进来就执行,这个时候我们就不需要使用close,但如果是那种一次性的脚本任务,就需要使用到close 去关闭主进程了。

接下来我们来看看如何获得进程中的返回值。

image.png

3.2 进程锁

了解完进程池,我们就可以来了解一下进程锁了,其实锁,大家都理解,我们可以给大门上一把锁。

举个栗子,很多人冲向一个厕所,但是厕所只有一个马桶,肯定不能支持这么多人进去,所以第一个人进去之后,就把门锁上了,只有等第一个人解决完之后出来把锁解了,第二个人才能进去,第二个人再把门锁上,后面的以此类推。

了解了进程锁,我们就来看看如果使用进程锁进行加锁与解锁。

函数名

介绍

参数

返回值

acquire

上锁

release

开锁(解锁)

image.png

使用方式还是很简单的,执行效果得大家去试试看了,它会一个一个的执行,而不是像前面五个五个的执行。

4、进程之间的通信

进程之间的通信依赖于队列,所以我们来看看如何创建队列。

我们依然要用到 multiprocessing这个模块。

函数名

介绍

参数

返回值

Queue

队列的创建

mac_count

队列对象

put

信息放入队列

message

get

获取队列信息

str

# coding:utf-8
import time
import json
import multiprocessing
# 声明一个类
class Work(object):
    def __init__(self, q):
        self.q = q  # 初始化,创建队列
    def send(self, message):
        if not isinstance(message, str):
            message = json.dumps(message)
        self.q.put(message)  # 信息放入队列
    def send_all(self):
        for i in range(20):
            self.q.put(i)  # 信息放入队列
            time.sleep(1)
    def receive(self):
        while 1:
            result = self.q.get()  # 获取队列信息
            try:
                res = json.loads(result)
            except:
                res = result
            print('recv is %s' % res)
if __name__ == '__main__':
    q = multiprocessing.Queue()  # 队列
    work = Work(q)  # 实例化类
    send = multiprocessing.Process(target=work.send, args=({'name': '一切总会归于平淡'},))  # 创建线程
    recv = multiprocessing.Process(target=work.receive)  # 创建线程
    send_all_p = multiprocessing.Process(target=work.send_all)  # 创建线程
    send.start()  # 启动线程
    recv.start()  # 启动线程
    send_all_p.start()  # 启动线程
    send_all_p.join()  # 阻塞执行时间最长的线程
    recv.terminate()  # 关闭队列

执行结果:

image.png

这样我们就通过队列实现进程之间的通信了。

5、线程的创建

在python中有很多的多线程模块,其中最常用的就是 -- threading。

函数名

说明

用法

Thread

创建线程

Thread(target,args)

start

启动线程

start()

join

阻塞直到线程执行结束

join(timout=None)

getName

获取线程的名字

getName()

setName

设置线程的名字

setNmae(name)

is_alive

判断线程是否存活

is_alive()

setDaemon

守护线程

setDaemon(True)

看完上面的介绍,其实大家发现,线程中的方法跟我们进程中的大同小异。

接下来我们看代码演示。


image.png

现在我们还没有用到多线程,执行时间是10秒,接下来我们创建线程去提高我们代码执行的效率。

image.png

我们再看看执行效果。

image.png

哇,只花了一秒就执行完毕了。

6、线程池的创建

线程池和进程池的原理是相同的,这里就不再给大家做解释了。

我们使用Python 的配置包 -- concurrent 来帮助我们完成创建下线程池的任务。

方法名

说明

举例

futures.ThreadPoolExecutor

创建线程池

tpool = ThreadPoolExecutor(max_workers)

submit

往线程池中加入任务

submit(target,args)

done

线程池中的某个线程是否完成了任务

done()

result

获取当前线程执行任务的结果

result()

上代码

image.png

7、异步

要了解异步,我们就要只要什么是同步。

平常我们的代码是从上往下执行的,就像 1,2,3,4 ......,2要等1 执行完才能轮到2 后面的也都一样,如果其中一个要执行的特别久就容易发生阻塞。

而异步不需要这样,2不需要等1执行2完,它就可以进入执行状态,而且就算其中有一个发生了阻塞,后面的也不会受到影响,听来是不是优点类似与多进程和多线程?

确实如此,异步和多进程和多线程它们类似于兄弟,让我们看看它们之间有何相同有何不同。

首先我们要知道,异步实际上也是一种线程。只不过它是一种比较轻量级的线程,我们将其称为 ‘协程’;所以协程也是进程下的一部分,但和多线程,多进程不同的是,多线程和多进程不能获取函数的返回值,但是异步可以获取。

7.1 async 与 await 关键字

名字

说明

用法

async

定义异步

async def  方法名():

await

执行异步

async def 方法名():  retult = await 方法名()

注意 :

使用await,方法必须被 async 定义。

这里有一个问题,我们知道最上层的代码一定不是个函数,它无法定义async,例如我们的主程序。

image.png

这里我们要借助一个帮手,asyncio,这个帮手它有太多使用异步的方法,这篇就只介绍两种。

函数名

介绍

参数

返回值

gather

将异步函数批量执行

asyncfunc

List 函数的返回值

run

执行主导异步函数

[task]

执行函数的返回结果

image.png

看看执行结果:

image.png

可以看我们确实是实现了异步操作,而它们都是在同一个进程。

2、gevent

这个模块是需要下载的。

pip install gevent

函数名

介绍

参数

返回值

spawn

创建协程对象

Func,args

协程对象

joinall

批量处理协程对象

[spawnobj]

[spawnobj]

image.png

执行效果:

image.png

Python 进程与线程编程.md

Python 进程与线程编程.pdf

目录
相关文章
|
1天前
|
设计模式 开发者 Python
Python编程中的设计模式:工厂方法模式###
本文深入浅出地探讨了Python编程中的一种重要设计模式——工厂方法模式。通过具体案例和代码示例,我们将了解工厂方法模式的定义、应用场景、实现步骤以及其优势与潜在缺点。无论你是Python新手还是有经验的开发者,都能从本文中获得关于如何在实际项目中有效应用工厂方法模式的启发。 ###
|
1天前
|
Java Unix 调度
python多线程!
本文介绍了线程的基本概念、多线程技术、线程的创建与管理、线程间的通信与同步机制,以及线程池和队列模块的使用。文章详细讲解了如何使用 `_thread` 和 `threading` 模块创建和管理线程,介绍了线程锁 `Lock` 的作用和使用方法,解决了多线程环境下的数据共享问题。此外,还介绍了 `Timer` 定时器和 `ThreadPoolExecutor` 线程池的使用,最后通过一个具体的案例展示了如何使用多线程爬取电影票房数据。文章还对比了进程和线程的优缺点,并讨论了计算密集型和IO密集型任务的适用场景。
13 4
|
2天前
|
数据采集 机器学习/深度学习 人工智能
Python编程入门:从基础到实战
【10月更文挑战第24天】本文将带你进入Python的世界,从最基础的语法开始,逐步深入到实际的项目应用。我们将一起探索Python的强大功能和灵活性,无论你是编程新手还是有经验的开发者,都能在这篇文章中找到有价值的内容。让我们一起开启Python的奇妙之旅吧!
|
4天前
|
设计模式 监控 数据库连接
Python编程中的设计模式之美:提升代码质量与可维护性####
【10月更文挑战第21天】 一段简短而富有启发性的开头,引出文章的核心价值所在。 在编程的世界里,设计模式如同建筑师手中的蓝图,为软件的设计和实现提供了一套经过验证的解决方案。本文将深入浅出地探讨Python编程中几种常见的设计模式,通过实例展示它们如何帮助我们构建更加灵活、可扩展且易于维护的代码。 ####
|
1天前
|
数据库 开发者 Python
“Python异步编程革命:如何从编程新手蜕变为并发大师,掌握未来技术的制胜法宝”
【10月更文挑战第25天】介绍了Python异步编程的基础和高级技巧。文章从同步与异步编程的区别入手,逐步讲解了如何使用`asyncio`库和`async`/`await`关键字进行异步编程。通过对比传统多线程,展示了异步编程在I/O密集型任务中的优势,并提供了最佳实践建议。
7 1
|
1天前
|
调度 iOS开发 MacOS
python多进程一文够了!!!
本文介绍了高效编程中的多任务原理及其在Python中的实现。主要内容包括多任务的概念、单核和多核CPU的多任务实现、并发与并行的区别、多任务的实现方式(多进程、多线程、协程等)。详细讲解了进程的概念、使用方法、全局变量在多个子进程中的共享问题、启动大量子进程的方法、进程间通信(队列、字典、列表共享)、生产者消费者模型的实现,以及一个实际案例——抓取斗图网站的图片。通过这些内容,读者可以深入理解多任务编程的原理和实践技巧。
9 1
|
4天前
|
Python
Python编程中正则表达式的使用
【10月更文挑战第22天】正则表达式,一种强大的文本处理工具,在Python编程中有着广泛的应用。本文将介绍如何使用Python中的re库来使用正则表达式,包括如何创建、匹配、查找和替换字符串等。通过学习本文,你将能够掌握Python中正则表达式的基本使用方法。
|
2天前
|
Linux 调度
探索操作系统核心:进程与线程管理
【10月更文挑战第24天】在数字世界的心脏,操作系统扮演着至关重要的角色。它不仅是计算机硬件与软件之间的桥梁,更是管理和调度资源的大管家。本文将深入探讨操作系统的两大基石——进程与线程,揭示它们如何协同工作以确保系统运行得井井有条。通过深入浅出的解释和直观的代码示例,我们将一起解锁操作系统的管理奥秘,理解其对计算任务高效执行的影响。
|
4月前
|
运维 关系型数据库 MySQL
掌握taskset:优化你的Linux进程,提升系统性能
在多核处理器成为现代计算标准的今天,运维人员和性能调优人员面临着如何有效利用这些处理能力的挑战。优化进程运行的位置不仅可以提高性能,还能更好地管理和分配系统资源。 其中,taskset命令是一个强大的工具,它允许管理员将进程绑定到特定的CPU核心,减少上下文切换的开销,从而提升整体效率。
掌握taskset:优化你的Linux进程,提升系统性能
|
4月前
|
弹性计算 Linux 区块链
Linux系统CPU异常占用(minerd 、tplink等挖矿进程)
Linux系统CPU异常占用(minerd 、tplink等挖矿进程)
137 4
Linux系统CPU异常占用(minerd 、tplink等挖矿进程)