深入理解Python多任务编程----多线程

简介: 深入理解Python多任务编程----多线程

计算机的设计就是为了帮助人类或者模仿人类的某些行为。

生活中的多任务:人可以一边唱歌????一边跳舞????、人开车的时候是通过手、脚和眼睛共同配合来驾驶一辆车????。

多任务编程就是这样一个鲜明的例子,计算机也可以实现多任务编程:比如一边听歌一边玩游戏、打开浏览器上网同时能登录微信、QQ等聊天工具。

那么Python的多任务有哪些方式呢?

 Python多任务编程的三种方式

  • 多线程
  • 多进程
  • 协程

今天我们先来聊一聊Python的多线程编程。

 线程

有两种不同类型的线程:

  • 内核线程
  • 用户空间线程或用户线程

内核线程是操作系统的一部分,而用户空间线程未在内核中实现,关于线程和进程的更多概念请点此处

Python中的线程

Python中有两个关于线程的模块:

  • thread
  • threading

Ps:一直以来,thread模块一直都不被推荐使用,鼓励推荐使用threading模块,所以在Python3中的向后兼容,thread模块被重命名为_thread

>>> import thread
Traceback (most recent call last):
  File "<pyshell#0>", line 1, in <module>
    import thread
ModuleNotFoundError: No module named 'thread'
>>> import _thread
>>> 

threading 模块自 Python 1.5.1(1998 年)就已存在,不过有些人仍然继续使用旧的 thread 模块。Python 3 把 thread 模块重命名为 _thread,以此强调这是低层实现,不应该在应用代码中使用。

thread模块

可以使用Thread模块在单独的线程中执行功能。为此,我们可以使用函数thread.start_new_thread

thread.start_new_thread(function, args[, kwargs])

此方法可以快速有效地在Linux和Windows中创建新线程。这个方法先接收一个函数对象(或其他可调用对象)和一个参数元组,然后开启新线程来执行所传入的函数对象及其传入的参数。

import _thread
def child(tid):
    print("Hello from thread", tid)
def parent():
    i = 0
    while True:
        i += 1
        _thread.start_new_thread(child, (i,))  # 创建线程的调用
        if input() == 'q':
            break
parent()

我们运行上段程序,然后只要不在控制台输入q,就能看到不断有新的线程创建和退出。当主线程退出时,整个线程就随之退出了。

Hello from thread 1
Hello from thread 2
Hello from thread 3
Hello from thread 4
Hello from thread 5
q

多线程唱歌跳舞

假如我们让电脑????模拟唱跳,就需要启动两个线程,同时利用time.sleep避免主线程过早退出,但是线程输出可能随机。

from _thread import start_new_thread
import time
def sing():
    for i in range(3):
        print("I'm singing 难忘今宵")
        time.sleep(2)
def dance():
    for i in range(3):
        print("I'm dancing")
        time.sleep(2)
def main():
    start_new_thread(sing, ())
    start_new_thread(dance, ())
    time.sleep(8)
    print('Main thread exiting...')
if __name__ == '__main__':
    main()

如上代码,我们需要唱3遍“难忘今宵”,同时跳三遍伴舞。time.sleep(8)避免主线程过早退出导致新建的singdance线程提前退出,所以输出结果可能(每次执行的输出可能不一样):

I'm singing 难忘今宵
I'm dancing
I'm dancing
I'm singing 难忘今宵
I'm dancing
I'm singing 难忘今宵
Main thread exiting...

输出结果的不规律是因为所有的线程的函数调用都在同一进程中运行,它们共享一个标准输出流,2个并行运行的线程输出都混杂在一起了。

更为重要的是,多个线程访问共享资源时,必须同步化访问以避免时间上的重叠。

我们为了防止主线程退出,整个程序终止,达不到自己想到的效果,利用了sleep()来作为同步机制,由于这个延时,整个程序的运行时间并没有比单线程的版本更快,而且多个线程一起共享某个变量/对象,那么就有可能会丢失其中一个。

我们看一下如下代码:

from _thread import start_new_thread
import time
num = 0
def plus_one():
    global num
    for i in range(1000):
        num += 1
def minus_one():
    global num
    for i in range(1000):
        num -= 1
def main():
    start_new_thread(plus_one, ())
    start_new_thread(minus_one, ())
    time.sleep(3)
    print(num)
if __name__ == '__main__':
    main()

我们共享一个全局变量num,启动两个线程:一个加一1000次,一个减一1000次,最后输出num的值,好像为0,但是果真如此吗?我们是一下循环100000次看看,

from _thread import start_new_thread
import time
num = 0
def plus_one():
    global num
    for i in range(100000):
        num += 1
def minus_one():
    global num
    for i in range(100000):
        num -= 1
def main():
    start_new_thread(plus_one, ())
    start_new_thread(minus_one, ())
    time.sleep(3)
    print(num)
if __name__ == '__main__':
    main()

输出num结果可能为整数,也可能为负数,也可能为0,这是因为线程执行顺序其实是随机的。

锁的概念

正因为存在上述的问题,所以引出锁的概念:想要修改一个共享对象,线程需要获得一把锁,然后进行修改,之后释放这把锁,然后才能被其他线程获取。通过allocate_lock()创建一个锁的对象,例如:

from _thread import start_new_thread, allocate_lock
import time
num = 0
mutex = allocate_lock()  # 增加一把锁
def plus_one():
    global num
    mutex.acquire()  # 获得锁
    for i in range(1000000):
        num += 1
    mutex.release()  # 释放锁
def minus_one():
    global num
    mutex.acquire()  # 获得锁
    for i in range(1000000):
        num -= 1
    mutex.release()  # 释放锁
def main():
    start_new_thread(plus_one, ())
    start_new_thread(minus_one, ())
    time.sleep(3)
    print(num)
if __name__ == '__main__':
    main()

这样执行后结果就会一直是0。

threading模块

threading是基于对象和类的较高层面上的接口,

threading.Thread((target=function_name, args=(function_parameter1, function_parameterN))

我们也首先实现一个上述加一减一的操作。

import threading
num = 0
def plus_one():
    global num
    for i in range(1000000):
        num += 1
def minus_one():
    global num
    for i in range(1000000):
        num -= 1
def main():
    t1 = threading.Thread(target=plus_one)
    t2 = threading.Thread(target=minus_one)
    t1.start()
    t2.start()
    t1.join()
    t2.join()
    print(num)
if __name__ == '__main__':
    main()

上锁

import threading
num = 0
mutex = threading.Lock()
def plus_one():
    global num
    mutex.acquire()
    for i in range(1000000):
        num += 1
    mutex.release()
def minus_one():
    global num
    mutex.acquire()
    for i in range(1000000):
        num -= 1
    mutex.release()
def main():
    t1 = threading.Thread(target=plus_one)
    t2 = threading.Thread(target=minus_one)
    t1.start()
    t2.start()
    t1.join()
    t2.join()
    print(num)
if __name__ == '__main__':
    main()

到此,我们简单的介绍了Python中两个关于线程的模块,然后通过共享变量引出锁的概念,不过到此并没有结束。比如:自定义线程、守护线程、死锁…

相关文章
|
6月前
|
Java
如何在Java中进行多线程编程
Java多线程编程常用方式包括:继承Thread类、实现Runnable接口、Callable接口(可返回结果)及使用线程池。推荐线程池以提升性能,避免频繁创建线程。结合同步与通信机制,可有效管理并发任务。
280 6
|
7月前
|
数据采集 机器学习/深度学习 人工智能
Python:现代编程的首选语言
Python:现代编程的首选语言
1184 102
|
7月前
|
数据采集 机器学习/深度学习 算法框架/工具
Python:现代编程的瑞士军刀
Python:现代编程的瑞士军刀
454 104
|
7月前
|
人工智能 自然语言处理 算法框架/工具
Python:现代编程的首选语言
Python:现代编程的首选语言
353 103
|
7月前
|
机器学习/深度学习 人工智能 数据挖掘
Python:现代编程的首选语言
Python:现代编程的首选语言
335 82
|
6月前
|
Python
Python编程:运算符详解
本文全面详解Python各类运算符,涵盖算术、比较、逻辑、赋值、位、身份、成员运算符及优先级规则,结合实例代码与运行结果,助你深入掌握Python运算符的使用方法与应用场景。
455 3
|
6月前
|
数据处理 Python
Python编程:类型转换与输入输出
本教程介绍Python中输入输出与类型转换的基础知识,涵盖input()和print()的使用,int()、float()等类型转换方法,并通过综合示例演示数据处理、错误处理及格式化输出,助你掌握核心编程技能。
676 3
|
6月前
|
并行计算 安全 计算机视觉
Python多进程编程:用multiprocessing突破GIL限制
Python中GIL限制多线程性能,尤其在CPU密集型任务中。`multiprocessing`模块通过创建独立进程,绕过GIL,实现真正的并行计算。它支持进程池、队列、管道、共享内存和同步机制,适用于科学计算、图像处理等场景。相比多线程,多进程更适合利用多核优势,虽有较高内存开销,但能显著提升性能。合理使用进程池与通信机制,可最大化效率。
472 3
|
6月前
|
Java 调度 数据库
Python threading模块:多线程编程的实战指南
本文深入讲解Python多线程编程,涵盖threading模块的核心用法:线程创建、生命周期、同步机制(锁、信号量、条件变量)、线程通信(队列)、守护线程与线程池应用。结合实战案例,如多线程下载器,帮助开发者提升程序并发性能,适用于I/O密集型任务处理。
682 0
|
安全 测试技术 数据库
Python编程--sys模块及OS模块简单用例
Python编程--sys模块及OS模块简单用例
286 1

热门文章

最新文章

推荐镜像

更多