python|简单探讨一下线程间通信之队列

简介: python|简单探讨一下线程间通信之队列

为什么需要线程间通信


一个人的力量是有限的,但是团队合作可以发挥更大的作用。而团队协作需要交流和通信来有效的分配任务和协调工作,来保证保时保量的完成工作。

为什么线程间需要通信呢?这就好比一个团队需要完成一个工作,但是这个工作周期性比较长,复杂度也比较高,此时就需要团队协作了,领导就把工作分为了n份,abc员工每次领取1份工作,做完了再向老板同步,并且领取新的工作,这样的话,工作很快就做完了嘛。


将线程代入上面的例子,在某些任务中,可能需要多个线程来完成同样的任务,所以线程间通信是为了线程之间的协作和同步,更快的完成任务。



线程间通信方式有哪些


python多线程编程中,线程间通信方法主要有以下几种:


  • 共享变量

这是最常用,也是用的最多的方式,这个很好理解,在同一进程中,多个线程有一部分内存是共用进程的,所以多个线程可以使用“共享变量”的方式共享同一份数据,通过对该变量的读写操作来实现线程间通信。


  • 队列

python中,为我们提供了队列的标准库Queue,它是标准库中的一个安全队列的实现。作用是可以在多个线程间共享数据,主要用法为通过get方法将数据放入队列,get方法将数据从队列中取出来,


  • 管道

python管道是通过multiprocessing库中的Pipe实现的,可以在2个线程之间任意传递数据,而且是双向通信的,主要用法为通过send方法发送数据,通过recv方法接收数据。

除此之外,还有其他方法,例如 借助第三方工具,比如redis等。




线程间通信案例之队列


共享变量,我们之前就已经用过了,比如上一节,我们自己实现了python的读写锁,就用到了共享变量的方式。这里就不再过多阐述了。这里将介绍一下管道的案例:


队列多用于生产者消费者,在python中,是使用queue模块下的Queue方法,创建一个新的队列语句为:

queues = queue.Queue()

其中,Queue可以传入一个maxsize,它将作为队列的最大值,默认的话,是无限制。


想要往队列中写入数据的话,使用put方法即可,例如,向队列写入字符串"123",我们仅需要调用put方法即可,例如:

queues.put("123")


而想要从队列中获取数据的话,需要使用get方法,例如:

data = queues.get()
print(data)

除此之外,还有队列其他常用的方法,如: qsize()会返回队列中元素的数量,empty()会判断队列是否为空,full()会判断队列是否已经满了。


这里举一个文件分发下载的例子,我们需要定义一个生产者,用于发布任务,定义多个消费者,用于执行任务,代码如下:image.png


在上述代码中,我们定义了生产者和消费者2个类,其初始方法__init__会传入队列信息,生产者有定义了2个方法,一个是put,是将元素放入队列中,还有一个是qsize,是返回当前队列的个数。而消费者只定义了一个方法get,上面写了一个死循环,向队列获取数据,每获取到一个数据,休息15秒。


在主函数中,我们定义了一个公共的队列queues,而后定义了生产者p和消费者q,二者都传入了同一个队列queues。最后我们写了3个线程,用于执行消费者qget方法。 和 调用一个生产者方法put


执行结果为:


网络异常,图片无法展示
|


上述结果展现的是,生产者生成数据,而消费者接收。file_0file_9都只被消费了一次,可见队列是自己保证了线程竞争问题的。



总结


本篇文章介绍了为什么需要线程间通信,以及通信方式有哪些,最后每种通信方式都举了一个例子,总的来说,最常用的还是共享变量的方式来进行线程间通信,但是此方法需要自己来保证线程竞争问题,除此之外,还有队列和管道,此二者不用担心线程竞争,但是前则更适用于生产者-消费者模型,后者更适用于两线程间相互通信。



相关文章
|
6天前
|
安全 Python
告别低效编程!Python线程与进程并发技术详解,让你的代码飞起来!
【7月更文挑战第9天】Python并发编程提升效率:**理解并发与并行,线程借助`threading`模块处理IO密集型任务,受限于GIL;进程用`multiprocessing`实现并行,绕过GIL限制。示例展示线程和进程创建及同步。选择合适模型,注意线程安全,利用多核,优化性能,实现高效并发编程。
20 3
|
1天前
|
消息中间件 安全 数据处理
Python中的并发编程:理解多线程与多进程的区别与应用
在Python编程中,理解并发编程是提高程序性能和响应速度的关键。本文将深入探讨多线程和多进程的区别、适用场景及实际应用,帮助开发者更好地利用Python进行并发编程。
|
2天前
|
缓存 并行计算 监控
了解 Python 线程
【7月更文挑战第8天】在Python多线程编程中,`threading`模块允许我们获取当前线程名字,通过`current_thread().name`获取。线程名字有助于调试、日志和资源管理。示例代码展示了如何创建线程并打印其名字。在实际应用中,线程命名应清晰、唯一且避免特殊字符,以提高代码可读性和维护性。多线程编程需注意线程安全、死锁、性能优化等问题。通过合理设计和测试,可以利用多线程提高程序并发性和效率。
6 1
|
5天前
|
数据库 数据安全/隐私保护 C++
Python并发编程实战:线程(threading)VS进程(multiprocessing),谁才是并发之王?
【7月更文挑战第10天】Python并发对比:线程轻量级,适合I/O密集型任务,但受GIL限制;进程绕过GIL,擅CPU密集型,但通信成本高。选择取决于应用场景,线程利于数据共享,进程利于多核利用。并发无“王者”,灵活运用方为上策。
|
5天前
|
设计模式 安全 Java
Java面试题:请解释Java中的线程池以及为什么要使用线程池?请解释Java中的内存模型以及如何避免内存泄漏?请解释Java中的并发工具包以及如何实现一个简单的线程安全队列?
Java面试题:请解释Java中的线程池以及为什么要使用线程池?请解释Java中的内存模型以及如何避免内存泄漏?请解释Java中的并发工具包以及如何实现一个简单的线程安全队列?
10 1
|
1天前
|
网络协议 安全 Python
我们将使用Python的内置库`http.server`来创建一个简单的Web服务器。虽然这个示例相对简单,但我们可以围绕它展开许多讨论,包括HTTP协议、网络编程、异常处理、多线程等。
我们将使用Python的内置库`http.server`来创建一个简单的Web服务器。虽然这个示例相对简单,但我们可以围绕它展开许多讨论,包括HTTP协议、网络编程、异常处理、多线程等。
5 0
|
1天前
|
安全 API Python
`multiprocessing`是Python的一个标准库,用于支持生成进程,并通过管道和队列、信号量、锁和条件变量等同步原语进行进程间通信(IPC)。
`multiprocessing`是Python的一个标准库,用于支持生成进程,并通过管道和队列、信号量、锁和条件变量等同步原语进行进程间通信(IPC)。
5 0
|
5天前
|
设计模式 安全 NoSQL
Java面试题:设计一个线程安全的单例模式,并解释其内存占用和垃圾回收机制;使用生产者消费者模式实现一个并发安全的队列;设计一个支持高并发的分布式锁
Java面试题:设计一个线程安全的单例模式,并解释其内存占用和垃圾回收机制;使用生产者消费者模式实现一个并发安全的队列;设计一个支持高并发的分布式锁
9 0
|
5天前
|
Python Windows
从菜鸟到大神:一篇文章带你彻底搞懂Python并发编程——线程篇与进程篇的深度较量!
【7月更文挑战第10天】Python并发编程对比线程与进程。线程适合IO密集型任务,利用`threading`模块,但GIL限制CPU并行。进程适用于CPU密集型任务,通过`multiprocessing`实现,独立内存空间,启动成本高。例子展示了如何创建和管理线程与进程以提高效率。选择取决于任务类型和资源需求。
14 0
|
5天前
|
设计模式 安全 Java
Java面试题:设计模式如单例模式、工厂模式、观察者模式等在多线程环境下线程安全问题,Java内存模型定义了线程如何与内存交互,包括原子性、可见性、有序性,并发框架提供了更高层次的并发任务处理能力
Java面试题:设计模式如单例模式、工厂模式、观察者模式等在多线程环境下线程安全问题,Java内存模型定义了线程如何与内存交互,包括原子性、可见性、有序性,并发框架提供了更高层次的并发任务处理能力
17 1

相关实验场景

更多