python|简单探讨一下线程间通信之队列

简介: python|简单探讨一下线程间通信之队列

为什么需要线程间通信


一个人的力量是有限的,但是团队合作可以发挥更大的作用。而团队协作需要交流和通信来有效的分配任务和协调工作,来保证保时保量的完成工作。

为什么线程间需要通信呢?这就好比一个团队需要完成一个工作,但是这个工作周期性比较长,复杂度也比较高,此时就需要团队协作了,领导就把工作分为了n份,abc员工每次领取1份工作,做完了再向老板同步,并且领取新的工作,这样的话,工作很快就做完了嘛。


将线程代入上面的例子,在某些任务中,可能需要多个线程来完成同样的任务,所以线程间通信是为了线程之间的协作和同步,更快的完成任务。



线程间通信方式有哪些


python多线程编程中,线程间通信方法主要有以下几种:


  • 共享变量

这是最常用,也是用的最多的方式,这个很好理解,在同一进程中,多个线程有一部分内存是共用进程的,所以多个线程可以使用“共享变量”的方式共享同一份数据,通过对该变量的读写操作来实现线程间通信。


  • 队列

python中,为我们提供了队列的标准库Queue,它是标准库中的一个安全队列的实现。作用是可以在多个线程间共享数据,主要用法为通过get方法将数据放入队列,get方法将数据从队列中取出来,


  • 管道

python管道是通过multiprocessing库中的Pipe实现的,可以在2个线程之间任意传递数据,而且是双向通信的,主要用法为通过send方法发送数据,通过recv方法接收数据。

除此之外,还有其他方法,例如 借助第三方工具,比如redis等。




线程间通信案例之队列


共享变量,我们之前就已经用过了,比如上一节,我们自己实现了python的读写锁,就用到了共享变量的方式。这里就不再过多阐述了。这里将介绍一下管道的案例:


队列多用于生产者消费者,在python中,是使用queue模块下的Queue方法,创建一个新的队列语句为:

queues = queue.Queue()

其中,Queue可以传入一个maxsize,它将作为队列的最大值,默认的话,是无限制。


想要往队列中写入数据的话,使用put方法即可,例如,向队列写入字符串"123",我们仅需要调用put方法即可,例如:

queues.put("123")


而想要从队列中获取数据的话,需要使用get方法,例如:

data = queues.get()
print(data)

除此之外,还有队列其他常用的方法,如: qsize()会返回队列中元素的数量,empty()会判断队列是否为空,full()会判断队列是否已经满了。


这里举一个文件分发下载的例子,我们需要定义一个生产者,用于发布任务,定义多个消费者,用于执行任务,代码如下:image.png


在上述代码中,我们定义了生产者和消费者2个类,其初始方法__init__会传入队列信息,生产者有定义了2个方法,一个是put,是将元素放入队列中,还有一个是qsize,是返回当前队列的个数。而消费者只定义了一个方法get,上面写了一个死循环,向队列获取数据,每获取到一个数据,休息15秒。


在主函数中,我们定义了一个公共的队列queues,而后定义了生产者p和消费者q,二者都传入了同一个队列queues。最后我们写了3个线程,用于执行消费者qget方法。 和 调用一个生产者方法put


执行结果为:


网络异常,图片无法展示
|


上述结果展现的是,生产者生成数据,而消费者接收。file_0file_9都只被消费了一次,可见队列是自己保证了线程竞争问题的。



总结


本篇文章介绍了为什么需要线程间通信,以及通信方式有哪些,最后每种通信方式都举了一个例子,总的来说,最常用的还是共享变量的方式来进行线程间通信,但是此方法需要自己来保证线程竞争问题,除此之外,还有队列和管道,此二者不用担心线程竞争,但是前则更适用于生产者-消费者模型,后者更适用于两线程间相互通信。



相关文章
|
2月前
|
数据采集 存储 JSON
Python爬取知乎评论:多线程与异步爬虫的性能优化
Python爬取知乎评论:多线程与异步爬虫的性能优化
|
2月前
|
人工智能 安全 调度
Python并发编程之线程同步详解
并发编程在Python中至关重要,线程同步确保多线程程序正确运行。本文详解线程同步机制,包括互斥锁、信号量、事件、条件变量和队列,探讨全局解释器锁(GIL)的影响及解决线程同步问题的最佳实践,如避免全局变量、使用线程安全数据结构、精细化锁的使用等。通过示例代码帮助开发者理解并提升多线程程序的性能与可靠性。
|
2月前
|
数据采集 监控 调度
干货分享“用 多线程 爬取数据”:单线程 + 协程的效率反超 3 倍,这才是 Python 异步的正确打开方式
在 Python 爬虫中,多线程因 GIL 和切换开销效率低下,而协程通过用户态调度实现高并发,大幅提升爬取效率。本文详解协程原理、实战对比多线程性能,并提供最佳实践,助你掌握异步爬虫核心技术。
|
3月前
|
JSON 算法 Java
打造终端里的下载利器:Python实现可恢复式多线程下载器
在数字时代,大文件下载已成为日常需求。本文教你用Python打造专业级下载器,支持断点续传、多线程加速、速度限制等功能,显著提升终端下载体验。内容涵盖智能续传、多线程分块下载、限速控制及Rich库构建现代终端界面,助你从零构建高效下载工具。
192 1
|
2月前
|
数据采集 存储 Java
多线程Python爬虫:加速大规模学术文献采集
多线程Python爬虫:加速大规模学术文献采集
|
3月前
|
数据采集 网络协议 前端开发
Python多线程爬虫模板:从原理到实战的完整指南
多线程爬虫通过并发请求大幅提升数据采集效率,适用于大规模网页抓取。本文详解其原理与实现,涵盖任务队列、线程池、会话保持、异常处理、反爬对抗等核心技术,并提供可扩展的Python模板代码,助力高效稳定的数据采集实践。
142 0
|
Python Linux 测试技术
python多进程通信实例分析
python多进程通信实例分析操作系统会为每一个创建的进程分配一个独立的地址空间,不同进程的地址空间是完全隔离的,因此如果不加其他的措施,他们完全感觉不到彼此的存在。那么进程之间怎么进行通信?他们之间的关联是怎样的?实现原理是什么?本文就来借助Python简单的聊一下进程之间的通信?还是那句话,原理是相同的,希望能透过具体的例子来体会一下本质的东西。
3118 0
|
3月前
|
Python
Python编程基石:整型、浮点、字符串与布尔值完全解读
本文介绍了Python中的四种基本数据类型:整型(int)、浮点型(float)、字符串(str)和布尔型(bool)。整型表示无大小限制的整数,支持各类运算;浮点型遵循IEEE 754标准,需注意精度问题;字符串是不可变序列,支持多种操作与方法;布尔型仅有True和False两个值,可与其他类型转换。掌握这些类型及其转换规则是Python编程的基础。
207 33
|
2月前
|
数据采集 分布式计算 大数据
不会Python,还敢说搞大数据?一文带你入门大数据编程的“硬核”真相
不会Python,还敢说搞大数据?一文带你入门大数据编程的“硬核”真相
77 1

推荐镜像

更多