【从零学习python 】81.Python多线程通信与队列的应用

简介: 【从零学习python 】81.Python多线程通信与队列的应用

线程间通信

线程之间有时需要进行通信,而操作系统提供了多种机制来实现进程间的通信。其中,我们经常使用的一种方式是使用队列(Queue)。

Queue的原理

Queue是一个先进先出(First In First Out)的队列。主线程中创建一个Queue对象,并作为参数传递给子线程。通过put()方法将数据放入队列中,通过get()方法从队列中取出数据。在调用get()方法后,队列中的数据会被同时删除。我们可以使用multiprocessing模块中的Queue实现多线程之间的数据传递。

import threading
import time
from queue import Queue
# 生产者函数,用于将数据放入队列中
def producer(queue):
    for i in range(100):
        print('{}存入了{}'.format(threading.current_thread().name, i))
        queue.put(i)
        time.sleep(0.1)
# 消费者函数,用于从队列中取出数据
def consumer(queue):
    for x in range(100):
        value = queue.get()
        print('{}取到了{}'.format(threading.current_thread().name, value))
        time.sleep(0.1)
        if not value:
            return
if __name__ == '__main__':
    # 创建一个队列对象
    queue = Queue()
    # 创建多个线程,并将队列对象作为参数传递给线程函数
    t1 = threading.Thread(target=producer, args=(queue,))
    t2 = threading.Thread(target=consumer, args=(queue,))
    t3 = threading.Thread(target=consumer, args=(queue,))
    t4 = threading.Thread(target=consumer, args=(queue,))
    t6 = threading.Thread(target=consumer, args=(queue,))
    # 启动线程
    t1.start()
    t2.start()
    t3.start()
    t4.start()
    t6.start()

在上述示例中,我们创建了一个Queue对象,并将其作为参数传递给多个线程。其中,producer函数用于将数据放入队列中,consumer函数用于从队列中取出数据。通过多个消费者线程的执行,可以实现多个线程之间对于共享队列的并发访问和通信。

具体代码解释如下:

  1. 导入所需的模块:threading用于创建和管理线程,time用于添加延迟效果,Queue用于创建队列对象。
  2. 定义生产者函数producer(queue),接收一个队列对象作为输入参数。该函数用于将数据放入队列中。
  3. 在生产者函数中使用一个循环,从0到99,将每个数字依次放入队列中。
  4. 使用threading.current_thread().name获取当前线程的名称,并打印存入的值。
  5. 使用queue.put(i)将数据放入队列中。
  6. 使用time.sleep(0.1)添加延迟效果。
  7. 定义消费者函数consumer(queue),同样接收一个队列对象作为输入参数。该函数用于从队列中取出数据。
  8. 在消费者函数中使用一个循环,从0到99,依次从队列中取出数据。
  9. 使用queue.get()获取队列中的数据,同时也会将该数据从队列中删除。
  10. 使用threading.current_thread().name获取当前线程的名称,并打印取出的值。
  11. 使用time.sleep(0.1)添加延迟效果。
  12. 如果取出的值为假值(即空),则返回函数,结束线程的执行。
  13. 在主程序中,创建一个队列对象queue
  14. 创建多个线程,并将队列对象作为参数传递给线程函数,分别创建了一个生产者线程和多个消费者线程。
  15. 启动线程,通过t.start()方法启动各个线程的执行。

通过以上代码,我们可以实现多个线程之间的通信,实现了生产者线程将数据放入队列中,多个消费者线程从队列中取出数据的过程。这样,我们就完成了线程间的通信。

相关文章
|
2月前
|
数据采集 存储 JSON
Python爬取知乎评论:多线程与异步爬虫的性能优化
Python爬取知乎评论:多线程与异步爬虫的性能优化
|
2月前
|
数据采集 监控 调度
干货分享“用 多线程 爬取数据”:单线程 + 协程的效率反超 3 倍,这才是 Python 异步的正确打开方式
在 Python 爬虫中,多线程因 GIL 和切换开销效率低下,而协程通过用户态调度实现高并发,大幅提升爬取效率。本文详解协程原理、实战对比多线程性能,并提供最佳实践,助你掌握异步爬虫核心技术。
|
3月前
|
JSON 算法 Java
打造终端里的下载利器:Python实现可恢复式多线程下载器
在数字时代,大文件下载已成为日常需求。本文教你用Python打造专业级下载器,支持断点续传、多线程加速、速度限制等功能,显著提升终端下载体验。内容涵盖智能续传、多线程分块下载、限速控制及Rich库构建现代终端界面,助你从零构建高效下载工具。
238 1
|
2月前
|
数据采集 存储 Java
多线程Python爬虫:加速大规模学术文献采集
多线程Python爬虫:加速大规模学术文献采集
|
3月前
|
数据采集 网络协议 前端开发
Python多线程爬虫模板:从原理到实战的完整指南
多线程爬虫通过并发请求大幅提升数据采集效率,适用于大规模网页抓取。本文详解其原理与实现,涵盖任务队列、线程池、会话保持、异常处理、反爬对抗等核心技术,并提供可扩展的Python模板代码,助力高效稳定的数据采集实践。
183 0
|
7月前
|
Python
python3多线程中使用线程睡眠
本文详细介绍了Python3多线程编程中使用线程睡眠的基本方法和应用场景。通过 `time.sleep()`函数,可以使线程暂停执行一段指定的时间,从而控制线程的执行节奏。通过实际示例演示了如何在多线程中使用线程睡眠来实现计数器和下载器功能。希望本文能帮助您更好地理解和应用Python多线程编程,提高程序的并发能力和执行效率。
238 20
|
7月前
|
数据采集 Java 数据处理
Python实用技巧:轻松驾驭多线程与多进程,加速任务执行
在Python编程中,多线程和多进程是提升程序效率的关键工具。多线程适用于I/O密集型任务,如文件读写、网络请求;多进程则适合CPU密集型任务,如科学计算、图像处理。本文详细介绍这两种并发编程方式的基本用法及应用场景,并通过实例代码展示如何使用threading、multiprocessing模块及线程池、进程池来优化程序性能。结合实际案例,帮助读者掌握并发编程技巧,提高程序执行速度和资源利用率。
349 0
|
10天前
|
数据采集 机器学习/深度学习 人工智能
Python:现代编程的首选语言
Python:现代编程的首选语言
181 102
|
10天前
|
数据采集 机器学习/深度学习 算法框架/工具
Python:现代编程的瑞士军刀
Python:现代编程的瑞士军刀
179 104

推荐镜像

更多