11 Python 进程与线程编程

简介: 11 Python 进程与线程编程

1、什么是进程和线程?

首先我们要知道进程是系统进行资源分配和调度的基本单位,而线程是进程的一个执行路径,一个进程中至少有一个线程,进程中的多个线程共享进程的资源。

比如我们打开一个 csdn 的软件,其实就打开一个叫csdn 的进程,既然一个进程汇中至少要有一个线程,那肯定就会有多线程,什么是多线程?

1、多线程是指从软硬件上实现多条执行路径的技术。


2、多线程用在哪里,有什么好处?

例如铁路12306购票系统。

例如过年回家抢票,不可能只有你一个人在买票,那每个人进来的时候都要有一个执行路径,那这个之后就需要用到多线程。

2、创建多进程

在python 中创建多进程我们要知道一个模块-- multiprocessing

函数

介绍

参数

返回值

Process

创建一个进程

target(函数),args(函数的参数)

进程对象

start

执行进程

join

阻塞程序

kill

杀死进程

is_alive

进程是否存活

bool

接下来我们进入代码实操。

2.1 创建

image.png

我们创建了两个函数,并将两个都放在主函数里面执行,我们来看看执行的结果。

image.png

从控制台打印的结果可以看出,我们的两个函数和主函数都是在同一个进程内,接下来我们要进入正题,我们这里要稍微改造一下代码。

image.png

我们创建了一个进程去执行 work_a 函数,我们来看看执行的结果。

image.png

从执行结果来看我们work_a 已经执行在另外一个进程中了,work_b 和 主函数 的 函数id 是一样的,

说明它们实在同一个进程中的。

而我们也发现执行的时间少了一半,因为我们的进程之间是无不干扰的,你跑你的,我跑我的,两个一起跑,这大大提升了我们的执行效率。

image.png

我们现在给 work_b 也 放到一个进程中去,看看执行的效果是怎么样的。

image.png

我们可以看到时间直接打印了,这是为什么呢?

前面我们有说到。进程之间是无不干扰的,然后 name 是主进程,主进程没有了干扰,所以就直接执行了。

2.2 阻塞

如果我们想要让两个

子进程先执行完毕再执行主进程这个就可以使用到join。

我们来优化一下代码。

image.png

再来看看执行效果。

image.png

从执行结果来看,我们确实是实现了先执行完子线程再执行主线程,至于为什么控制台看起来优点乱,是因为有的进程它执行的时间是一致的。重叠在一起了。

3、 进程池和进程锁

由于每个进程都会消耗内存和cpu 资源,所以我们不能无限创建进程,这样有可能会发生系统的死机的情况。

为了解决这个问题,我们可以使用多线程来替代,或者进程池。

还有多进程还存在同时修改一个文件的时候,会出现问题,解决方方法就是给这个文件上一把锁。

3.1 进程池

我们现在知道,进程不能创建太多,太多容易造成系统死机 ,所以我们要固定进程的创建数量,这个时候借助进程池的帮助。

我们可以认为进程池就是个池子,在这个池子创建好一定数量的进程 。

image.png

比如上面这张图中的一个正方形的池子,里面有六个进程,这六个进程会伴随着进程池一起被创建。

我们要知道,普通的进程都要经历创建和关闭,这一建一关都要损耗一定的性能,而进程池中的性能,只需要经历一次创建就能一直往下使用,这也就避免了创建和关闭的性能损耗,伴随着进程池关闭,进程也会随之关闭。

了解了进程池的作用,我们就来了解如何去创建进程池。

函数名

介绍

参数

返回值

Pool

进程池创建

Processcount

进程池创建

apply_async

任务加入进程池(异步)

参数

close

关闭进程池

join

等待进程池任务结束

进入代码实操。

image.png

看看执行效果。

image.png

从执行效果来看,我们可以看到,有五个不同的进程id,这说明我们确实是在进程池创建了五个不同的进程,还有就是进程的执行,并没有按照顺序,这是因为它用了异步的处理方法,谁先干完活,谁就去接新的任务。

上面我们是用了sleep 去阻塞主进程的执行效率。因为如果不阻塞的话,主进程立马就执行完毕并关闭。这样子进程根本没有时间执行。

可不可以不用sleep就能实现子进程执行完再关闭,当然可以,这就可以使用到我们的joinl了,使用join往往伴随着 我们的close。

我们来看看代码:

image.png

执行效果是一样的,需要注意的是,在某些场景中,我们是需要主进程一直启动着,只要有任务进来就执行,这个时候我们就不需要使用close,但如果是那种一次性的脚本任务,就需要使用到close 去关闭主进程了。

接下来我们来看看如何获得进程中的返回值。

image.png

3.2 进程锁

了解完进程池,我们就可以来了解一下进程锁了,其实锁,大家都理解,我们可以给大门上一把锁。

举个栗子,很多人冲向一个厕所,但是厕所只有一个马桶,肯定不能支持这么多人进去,所以第一个人进去之后,就把门锁上了,只有等第一个人解决完之后出来把锁解了,第二个人才能进去,第二个人再把门锁上,后面的以此类推。

了解了进程锁,我们就来看看如果使用进程锁进行加锁与解锁。

函数名

介绍

参数

返回值

acquire

上锁

release

开锁(解锁)

image.png

使用方式还是很简单的,执行效果得大家去试试看了,它会一个一个的执行,而不是像前面五个五个的执行。

4、进程之间的通信

进程之间的通信依赖于队列,所以我们来看看如何创建队列。

我们依然要用到 multiprocessing这个模块。

函数名

介绍

参数

返回值

Queue

队列的创建

mac_count

队列对象

put

信息放入队列

message

get

获取队列信息

str

# coding:utf-8
import time
import json
import multiprocessing
# 声明一个类
class Work(object):
    def __init__(self, q):
        self.q = q  # 初始化,创建队列
    def send(self, message):
        if not isinstance(message, str):
            message = json.dumps(message)
        self.q.put(message)  # 信息放入队列
    def send_all(self):
        for i in range(20):
            self.q.put(i)  # 信息放入队列
            time.sleep(1)
    def receive(self):
        while 1:
            result = self.q.get()  # 获取队列信息
            try:
                res = json.loads(result)
            except:
                res = result
            print('recv is %s' % res)
if __name__ == '__main__':
    q = multiprocessing.Queue()  # 队列
    work = Work(q)  # 实例化类
    send = multiprocessing.Process(target=work.send, args=({'name': '一切总会归于平淡'},))  # 创建线程
    recv = multiprocessing.Process(target=work.receive)  # 创建线程
    send_all_p = multiprocessing.Process(target=work.send_all)  # 创建线程
    send.start()  # 启动线程
    recv.start()  # 启动线程
    send_all_p.start()  # 启动线程
    send_all_p.join()  # 阻塞执行时间最长的线程
    recv.terminate()  # 关闭队列

执行结果:

image.png

这样我们就通过队列实现进程之间的通信了。

5、线程的创建

在python中有很多的多线程模块,其中最常用的就是 -- threading。

函数名

说明

用法

Thread

创建线程

Thread(target,args)

start

启动线程

start()

join

阻塞直到线程执行结束

join(timout=None)

getName

获取线程的名字

getName()

setName

设置线程的名字

setNmae(name)

is_alive

判断线程是否存活

is_alive()

setDaemon

守护线程

setDaemon(True)

看完上面的介绍,其实大家发现,线程中的方法跟我们进程中的大同小异。

接下来我们看代码演示。


image.png

现在我们还没有用到多线程,执行时间是10秒,接下来我们创建线程去提高我们代码执行的效率。

image.png

我们再看看执行效果。

image.png

哇,只花了一秒就执行完毕了。

6、线程池的创建

线程池和进程池的原理是相同的,这里就不再给大家做解释了。

我们使用Python 的配置包 -- concurrent 来帮助我们完成创建下线程池的任务。

方法名

说明

举例

futures.ThreadPoolExecutor

创建线程池

tpool = ThreadPoolExecutor(max_workers)

submit

往线程池中加入任务

submit(target,args)

done

线程池中的某个线程是否完成了任务

done()

result

获取当前线程执行任务的结果

result()

上代码

image.png

7、异步

要了解异步,我们就要只要什么是同步。

平常我们的代码是从上往下执行的,就像 1,2,3,4 ......,2要等1 执行完才能轮到2 后面的也都一样,如果其中一个要执行的特别久就容易发生阻塞。

而异步不需要这样,2不需要等1执行2完,它就可以进入执行状态,而且就算其中有一个发生了阻塞,后面的也不会受到影响,听来是不是优点类似与多进程和多线程?

确实如此,异步和多进程和多线程它们类似于兄弟,让我们看看它们之间有何相同有何不同。

首先我们要知道,异步实际上也是一种线程。只不过它是一种比较轻量级的线程,我们将其称为 ‘协程’;所以协程也是进程下的一部分,但和多线程,多进程不同的是,多线程和多进程不能获取函数的返回值,但是异步可以获取。

7.1 async 与 await 关键字

名字

说明

用法

async

定义异步

async def  方法名():

await

执行异步

async def 方法名():  retult = await 方法名()

注意 :

使用await,方法必须被 async 定义。

这里有一个问题,我们知道最上层的代码一定不是个函数,它无法定义async,例如我们的主程序。

image.png

这里我们要借助一个帮手,asyncio,这个帮手它有太多使用异步的方法,这篇就只介绍两种。

函数名

介绍

参数

返回值

gather

将异步函数批量执行

asyncfunc

List 函数的返回值

run

执行主导异步函数

[task]

执行函数的返回结果

image.png

看看执行结果:

image.png

可以看我们确实是实现了异步操作,而它们都是在同一个进程。

2、gevent

这个模块是需要下载的。

pip install gevent

函数名

介绍

参数

返回值

spawn

创建协程对象

Func,args

协程对象

joinall

批量处理协程对象

[spawnobj]

[spawnobj]

image.png

执行效果:

image.png

Python 进程与线程编程.md

Python 进程与线程编程.pdf

目录
相关文章
|
3天前
|
机器学习/深度学习 人工智能 TensorFlow
人工智能浪潮下的自我修养:从Python编程入门到深度学习实践
【10月更文挑战第39天】本文旨在为初学者提供一条清晰的道路,从Python基础语法的掌握到深度学习领域的探索。我们将通过简明扼要的语言和实际代码示例,引导读者逐步构建起对人工智能技术的理解和应用能力。文章不仅涵盖Python编程的基础,还将深入探讨深度学习的核心概念、工具和实战技巧,帮助读者在AI的浪潮中找到自己的位置。
|
3天前
|
机器学习/深度学习 数据挖掘 Python
Python编程入门——从零开始构建你的第一个程序
【10月更文挑战第39天】本文将带你走进Python的世界,通过简单易懂的语言和实际的代码示例,让你快速掌握Python的基础语法。无论你是编程新手还是想学习新语言的老手,这篇文章都能为你提供有价值的信息。我们将从变量、数据类型、控制结构等基本概念入手,逐步过渡到函数、模块等高级特性,最后通过一个综合示例来巩固所学知识。让我们一起开启Python编程之旅吧!
|
3天前
|
存储 Python
Python编程入门:打造你的第一个程序
【10月更文挑战第39天】在数字时代的浪潮中,掌握编程技能如同掌握了一门新时代的语言。本文将引导你步入Python编程的奇妙世界,从零基础出发,一步步构建你的第一个程序。我们将探索编程的基本概念,通过简单示例理解变量、数据类型和控制结构,最终实现一个简单的猜数字游戏。这不仅是一段代码的旅程,更是逻辑思维和问题解决能力的锻炼之旅。准备好了吗?让我们开始吧!
|
4天前
|
机器学习/深度学习 存储 算法
探索Python编程:从基础到高级应用
【10月更文挑战第38天】本文旨在引导读者从Python的基础知识出发,逐渐深入到高级编程概念。通过简明的语言和实际代码示例,我们将一起探索这门语言的魅力和潜力,理解它如何帮助解决现实问题,并启发我们思考编程在现代社会中的作用和意义。
|
5天前
|
机器学习/深度学习 数据挖掘 开发者
Python编程入门:理解基础语法与编写第一个程序
【10月更文挑战第37天】本文旨在为初学者提供Python编程的初步了解,通过简明的语言和直观的例子,引导读者掌握Python的基础语法,并完成一个简单的程序。我们将从变量、数据类型到控制结构,逐步展开讲解,确保即使是编程新手也能轻松跟上。文章末尾附有完整代码示例,供读者参考和实践。
|
5月前
|
监控 Linux 应用服务中间件
探索Linux中的`ps`命令:进程监控与分析的利器
探索Linux中的`ps`命令:进程监控与分析的利器
126 13
|
4月前
|
运维 关系型数据库 MySQL
掌握taskset:优化你的Linux进程,提升系统性能
在多核处理器成为现代计算标准的今天,运维人员和性能调优人员面临着如何有效利用这些处理能力的挑战。优化进程运行的位置不仅可以提高性能,还能更好地管理和分配系统资源。 其中,taskset命令是一个强大的工具,它允许管理员将进程绑定到特定的CPU核心,减少上下文切换的开销,从而提升整体效率。
掌握taskset:优化你的Linux进程,提升系统性能
|
4月前
|
弹性计算 Linux 区块链
Linux系统CPU异常占用(minerd 、tplink等挖矿进程)
Linux系统CPU异常占用(minerd 、tplink等挖矿进程)
162 4
Linux系统CPU异常占用(minerd 、tplink等挖矿进程)
|
3月前
|
算法 Linux 调度
探索进程调度:Linux内核中的完全公平调度器
【8月更文挑战第2天】在操作系统的心脏——内核中,进程调度算法扮演着至关重要的角色。本文将深入探讨Linux内核中的完全公平调度器(Completely Fair Scheduler, CFS),一个旨在提供公平时间分配给所有进程的调度器。我们将通过代码示例,理解CFS如何管理运行队列、选择下一个运行进程以及如何对实时负载进行响应。文章将揭示CFS的设计哲学,并展示其如何在现代多任务计算环境中实现高效的资源分配。
|
4月前
|
存储 缓存 安全
【Linux】冯诺依曼体系结构与操作系统及其进程
【Linux】冯诺依曼体系结构与操作系统及其进程
171 1

热门文章

最新文章