python_threading多线程、queue安全队列

简介: python_threading多线程、queue安全队列

多线程


image.png

image.png

threading库

常用方法

  • currentThread() 返回当前的线程变量
  • enumerate() 返回一个正在运行的线程list
  • activeCount() 返回正在运行的吸纳从数量(类似len(enumerate))

thread类

查询定义的thread类中start、run等方法

thread类

  • run() 线程活动的方法
  • start() 启动线程
  • join([time]) 阻塞调用线程直至线程的joiin()方法被调用终止
  • isActive 是否执行
  • getName() 但返回线程的名字
  • setName() 设置线程的名字

例:单线程、多线程分别执行两个函数的过程

import threading,time
def coding():
    for t in range(0,2):
        print('正在写python!')
        run_count()
        time.sleep(1)#延迟1s
def game():
    for t in range(0,2):
        print('游戏中!')
        run_count()
        time.sleep(1)#延迟1秒
def run_count():
    print('当前线程数量:',threading.active_count())
def single_thread():#单线程
    coding()
    game()
def muti_thread():#多线程
    fun1=threading.Thread(target=coding)
    fun2=threading.Thread(target=game)
    fun1.start()
    fun2.start()
if __name__=='__main__':
    print('单线程')
    single_thread()#
    print('多线程')
    muti_thread()

继承thread类

重构上面的代码

import threading,time
class codeWork(threading.Thread):#继承thread.Thread类
    def __init__(self,name):
        threading.Thread.__init__(self)
        self.name=name#名字自定义
    def run(self):
        the_thread=threading.current_thread()
        for i in range(2):
            print('正在写python!',the_thread.name)
            time.sleep(1)
class gameWork(threading.Thread):
    def __init__(self,name):
        threading.Thread.__init__(self)
        self.name=name#名字自定义
    def run(self):
        the_thread=threading.current_thread()
        for i in range(2):
            print('游戏中',the_thread.name)
            time.sleep(1)
def muti_thread():
    th1=codeWork('写代码的进程')
    th2=gameWork('游戏的进程')
    th1.start()
    th2.start()
if __name__=='__main__':
    muti_thread()

全局变量的问题

不加线程锁

因为多线程执行的不确定性,粗暴的更改全局变量可能会造成bug

例:多线程执行value++,查看全局变量value的值

import threading
value=0
class global_Work1(threading.Thread):#继承thread.Thread类
    def __init__(self,name):
        threading.Thread.__init__(self)
        self.name=name#名字自定义
    def run(self):
        the_thread=threading.current_thread()
        global value  # 定义全局变量
        for i in range(1,20):
            value+=1
            print('全局变量c:',value,'\t运行的进程:',threading.active_count(),the_thread.name)
class global_Work2(threading.Thread):#继承thread.Thread类
    def __init__(self,name):
        threading.Thread.__init__(self)
        self.name=name#名字自定义
    def run(self):
        the_thread=threading.current_thread()
        global value  # 定义全局变量
        for i in range(1,20):
            value+=1
            print('全局变量c:',value,'\t运行的进程:',threading.active_count(),the_thread.name)
def muti_thread():
    th1=global_Work1('全局变量测试1')
    th2 = global_Work1('全局变量测试2')
    th1.start()
    th2.start()
if __name__=='__main__':
    # global c  # 定义全局变量
    muti_thread()

添加线程锁Lock(线程同步)

threading.Lock()

  • acquire()
  • release()

queue线程安全队列

内置的线程安全模块queue(同步、安全,fifo)

  • qsize() 队列大小
  • empty() 队列是否为空
  • full() 队列是否满了
  • get()队列的最后一个数据
  • put() 数据加入队列

例:queue同步执行

import queue
import threading
import time
exitFlag = 0
class myThread(threading.Thread):
    def __init__(self, threadID, name, q):
        threading.Thread.__init__(self)
        self.threadID = threadID
        self.name = name
        self.q = q
    def run(self):
        print("开始 " + self.name)
        process_data(self.name, self.q)
        print("退出 " + self.name)
def process_data(threadName, q):
    while not exitFlag:
        queueLock.acquire()
        if not workQueue.empty():
            data = q.get()
            queueLock.release()#获取线程之后释放锁
            print("%s 运行 %s" % (threadName, data))
        else:
            queueLock.release()
        time.sleep(1)
if __name__=='__main__':
    threadList = ["Thread-1", "Thread-2", "Thread-3"]
    nameList = ["线程1", "线程2", "线程3", "线程4", "线程5"]  #
    queueLock = threading.Lock()  # 线程锁
    workQueue = queue.Queue(10)  # 大小为10的队列
    threads = []
    threadID = 1
    # 创建新线程
    for tName in threadList:  # 分配线程名字
        thread = myThread(threadID, tName, workQueue)
        thread.start()
        threads.append(thread)
        threadID += 1
    # 填充队列
    queueLock.acquire()  # 加锁
    for word in nameList:
        workQueue.put(word)
    queueLock.release()  # 解锁
    # 等待队列清空
    while not workQueue.empty():
        pass#占位
    # 通知线程是时候退出
    exitFlag = 1
    # 等待所有线程完成
    for t in threads:
        t.join()
    print("Exiting Main Thread")


目录
相关文章
|
13天前
|
数据采集 存储 安全
如何确保Python Queue的线程和进程安全性:使用锁的技巧
本文探讨了在Python爬虫技术中使用锁来保障Queue(队列)的线程和进程安全性。通过分析`queue.Queue`及`multiprocessing.Queue`的基本线程与进程安全特性,文章指出在特定场景下使用锁的重要性。文中还提供了一个综合示例,该示例利用亿牛云爬虫代理服务、多线程技术和锁机制,实现了高效且安全的网页数据采集流程。示例涵盖了代理IP、User-Agent和Cookie的设置,以及如何使用BeautifulSoup解析HTML内容并将其保存为文档。通过这种方式,不仅提高了数据采集效率,还有效避免了并发环境下的数据竞争问题。
如何确保Python Queue的线程和进程安全性:使用锁的技巧
|
11天前
|
调度 Python
Python 中如何实现多线程?
【8月更文挑战第29天】
33 6
|
14天前
|
API C语言 C++
C调用Python之多线程与traceback打印
C调用Python之多线程与traceback打印
22 2
|
12天前
|
数据采集 Java Python
python 递归锁、信号量、事件、线程队列、进程池和线程池、回调函数、定时器
python 递归锁、信号量、事件、线程队列、进程池和线程池、回调函数、定时器
|
16天前
|
安全 Java Python
Python 中的多线程
【8月更文挑战第24天】
15 0
|
13天前
|
存储 监控 Java
Java多线程优化:提高线程池性能的技巧与实践
Java多线程优化:提高线程池性能的技巧与实践
41 1
|
5天前
|
存储 Ubuntu Linux
C语言 多线程编程(1) 初识线程和条件变量
本文档详细介绍了多线程的概念、相关命令及线程的操作方法。首先解释了线程的定义及其与进程的关系,接着对比了线程与进程的区别。随后介绍了如何在 Linux 系统中使用 `pidstat`、`top` 和 `ps` 命令查看线程信息。文档还探讨了多进程和多线程模式各自的优缺点及适用场景,并详细讲解了如何使用 POSIX 线程库创建、退出、等待和取消线程。此外,还介绍了线程分离的概念和方法,并提供了多个示例代码帮助理解。最后,深入探讨了线程间的通讯机制、互斥锁和条件变量的使用,通过具体示例展示了如何实现生产者与消费者的同步模型。
|
13天前
|
监控 安全 Java
Java多线程调试技巧:如何定位和解决线程安全问题
Java多线程调试技巧:如何定位和解决线程安全问题
65 2
【多线程面试题 一】、 创建线程有哪几种方式?
创建线程的三种方式包括继承Thread类、实现Runnable接口和实现Callable接口,其中Runnable和Callable接口方式更受推荐,因为它们允许多重继承并更好地体现面向对象思想。
下一篇
DDNS