【Python】模块之queue

简介:    Queue类即是一个队列的同步实现。队列长度可为无限或者有限。可通过Queue的构造函数的可选参数maxsize来设定队列长度。如果maxsize小于1就表示队列长度无限。
   Queue类即是一个队列的同步实现。队列长度可为无限或者有限。可通过Queue的构造函数的可选参数maxsize来设定队列长度。如果maxsize小于1就表示队列长度无限。
创建一个 队列 对象 最大长度为10
from Queue import Queue
q = Queue(maxsize = 10)
 
import Queue
q = Queue.Queue(maxsize = 10)
 
python queue模块有三种队列:
1、python queue模块的FIFO队列先进先出。其构造函数
   class Queue.Queue(maxsize)  
2、LIFO类似于堆。即先进后出。其构造函数
   class Queue.LifoQueue(maxsize)   
3、还有一种是优先级队列级别越低越先出来。其构造函数 
   class Queue.PriorityQueue(maxsize)   

Queue的常用方法:
   Queue.qsize() #返回队列的大小 
   Queue.empty() #如果队列为空,返回True,反之False 
   Queue.full()  #如果队列满了,返回True,反之False
   Queue.full 与 maxsize 大小对应 
   Queue.get([block[, timeout]]) #获取队列,timeout等待时间,调用队列对象的get()方法从队头删除并返回一个项目。可选参数为block,默认为True。如果队列为空且block为True,get()就使调用线程暂停,直至有项目可用。如果队列为空且block为False,队列将引发Empty异常。 
   Queue.get_nowait() #相当Queue.get(False)
   Queue.put(item)    #非阻塞写入队列,timeout等待时间,调用队列对象的put()方法在队尾插入一个项目。
   put()有两个参数,第一个item为必需的,为插入项目的值;第二个block为可选参数,默认为1。如果队列当前为空且block为1,put()方法就使调用线程暂停,直到空出一个数据单元。如果block为0,put方法将引发Full异常。
   Queue.put_nowait(item) #相当Queue.put(item, False)
   Queue.task_done()   #在完成一项工作之后,Queue.task_done() 函数向任务已经完成的队列发送一个信号Queue.join() 实际上意味着等到队列为空,再执行别的操作.

如下代码实现了比较经典的生产者和消费者模型:
from Queue import Queue
import random
import threading
import time

#Producer thread
class Producer(threading.Thread):
    def __init__(self, t_name, queue):
        threading.Thread.__init__(self, name=t_name)
        self.data=queue
    def run(self):
        for i in range(5):
            print "%s: %s is producing %d to the queue!" %(time.ctime(), self.getName(), i)
            self.data.put(i)
            time.sleep(random.randrange(10)/5)
        print "%s: %s finished!" %(time.ctime(), self.getName())

#Consumer thread
class Consumer(threading.Thread):
    def __init__(self, t_name, queue):
        threading.Thread.__init__(self, name=t_name)
        self.data=queue
    def run(self):
        for i in range(5):
            val = self.data.get()
            print "%s: %s is consuming. %d in the queue is consumed!" %(time.ctime(), self.getName(), val)
            time.sleep(random.randrange(10))
        print "%s: %s finished!" %(time.ctime(), self.getName())

#Main thread
def main():
    queue = Queue()
    producer = Producer('Pro.', queue)
    consumer = Consumer('Con.', queue)
    producer.start()
    consumer.start()
    producer.join()
    consumer.join()
    print 'All threads terminate!'
 
if __name__ == '__main__':
    main()

程序输出
[root@rac1 python]# python prdcust.py   
start consumer
start producer
producing...1
producing...2
producing...3
producing...4
producing...5
5
consuming...4
consuming...3
consuming...2
consuming...1
consuming...0
0
0
参考
目录
相关文章
|
6月前
|
安全 开发者 Python
python队列(Queue)
python队列(Queue)
296 1
|
Python
117 python高级 - 进程间通信Queue
117 python高级 - 进程间通信Queue
43 0
|
3月前
|
数据采集 存储 安全
如何确保Python Queue的线程和进程安全性:使用锁的技巧
本文探讨了在Python爬虫技术中使用锁来保障Queue(队列)的线程和进程安全性。通过分析`queue.Queue`及`multiprocessing.Queue`的基本线程与进程安全特性,文章指出在特定场景下使用锁的重要性。文中还提供了一个综合示例,该示例利用亿牛云爬虫代理服务、多线程技术和锁机制,实现了高效且安全的网页数据采集流程。示例涵盖了代理IP、User-Agent和Cookie的设置,以及如何使用BeautifulSoup解析HTML内容并将其保存为文档。通过这种方式,不仅提高了数据采集效率,还有效避免了并发环境下的数据竞争问题。
如何确保Python Queue的线程和进程安全性:使用锁的技巧
|
6月前
|
安全
python_threading多线程、queue安全队列
python_threading多线程、queue安全队列
56 2
|
4月前
|
数据采集 Python
Python多进程:如何在不依赖Queue的情况下传递结果
本文探讨了在Python中使用多进程技术采集抖音短视频数据时,如何在不依赖队列(Queue)的情况下传递结果。文章首先介绍了多进程提高数据采集效率的背景,然后指出了队列在处理大量数据时可能成为性能瓶颈,并增加了系统复杂性。作为解决方案,提出了使用管道、共享内存和临时文件等替代方法。文章通过一个实战案例,详细演示了如何配置爬虫代理、设置请求头、实现定时器装饰器、抓取视频数据以及通过管道在子进程间传递结果。最后,文章总结了使用这些替代方案可以有效提高数据采集的效率和可靠性。
Python多进程:如何在不依赖Queue的情况下传递结果
|
3月前
|
Python
【python】】Python 的 queue 模块使用笔记
【python】】Python 的 queue 模块使用笔记
41 0
|
5月前
|
安全 Python
对于Python队列(Queue)的深入阐述
对于Python队列(Queue)的深入阐述
python-- 多进程队列 Queue、生成者和消费者
python-- 多进程队列 Queue、生成者和消费者
|
Python
【Python零基础入门篇 · 33】:进程的基础操作、进程间的通信-Queue、进程池的构建
【Python零基础入门篇 · 33】:进程的基础操作、进程间的通信-Queue、进程池的构建
105 1
【Python零基础入门篇 · 33】:进程的基础操作、进程间的通信-Queue、进程池的构建
|
算法 安全 Python
Python数据结构与算法(9)---优先级队列queue
Python数据结构与算法(9)---优先级队列queue
117 0
Python数据结构与算法(9)---优先级队列queue
下一篇
无影云桌面