基于Python的性能优化(线程、协程、进程)

简介: 一、多线程在CPU不密集、IO密集的任务下,多线程可以一定程度的提升运行效率。

一、多线程

在CPU不密集、IO密集的任务下,多线程可以一定程度的提升运行效率。

import threading
import time
import requests

def fetch_url(url: str)->None:
    '''根据地址发起请求,获取响应
    - url: 请求地址'''
    response = requests.get(url)
    print(f"{url}: {response.status_code}")

def fetch_urls_sequential(urls:list)->None:
    start_time = time.time()
    for url in urls:
        fetch_url(url)
    end_time = time.time()
    print(f"使用单线程时间为: {end_time - start_time} 秒\n")

def fetch_urls_concurrent(urls:list)->None:
    start_time = time.time()
    threads = []
    for url in urls:
        thread = threading.Thread(target=fetch_url, args=(url,))
        threads.append(thread)
        thread.start()

    for thread in threads:
        thread.join()
    end_time = time.time()
    print(f"使用多线程时间为: {end_time - start_time} 秒")

if __name__ == "__main__":
    urls = ["http://www.example.com"]*10
    fetch_urls_sequential(urls)
    fetch_urls_concurrent(urls)


www.example.com: 200

www.example.com: 200

www.example.com: 200

www.example.com: 200

www.example.com: 200

www.example.com: 200

www.example.com: 200

www.example.com: 200

www.example.com: 200

www.example.com: 200

使用单线程时间为: 10.178432703018188 秒

www.example.com: 200

www.example.com: 200

www.example.com: 200

www.example.com: 200

www.example.com: 200

www.example.com: 200

www.example.com: 200

www.example.com: 200

www.example.com: 200

www.example.com: 200

使用多线程时间为: 0.5794060230255127 秒


可以看到在IO密集型任务时,排除极端情况,使用多线程可以很大的提升程序的性能。例如在这个例子中,响应时间就相差了8倍多。


虽然在Python中有GIL保护机制,但是依然需要注意线程安全。例如(共享数据、共享设备、非原子性操作等)。可以使用锁机制、信号机制、队列、管道等等。


二、协程

协程也叫轻量级线程,协程是一种在单一线程内实现并发编程的技术。它们允许函数在执行过程中暂停,并在稍后恢复,从而使得多个任务能够交替执行,而不需要多个操作系统线程的开销。协程通过让出控制权来暂停执行,等待其他协程运行,然后在适当的时候恢复执行。

区别 线程 协程
上下文切换 线程上下文切换由操作系统决定,消耗更大 协程的上下文切换由用户自己决定,消耗更小
并发 线程是抢占式的,操作系统可以随时中断线程调度了一个线程 协程是协程式的,需要主动让出控制权时,才会进行任务切换
开销 创建线程和销毁线程,造成很大的开销 基于单线程的,并且协程是轻量级的,不会消耗大量资源。


协程的优势在于能够更高效地利用系统资源,在执行多个任务时能够充分利用CPU的性能。相比之下,并发执行的多个协程可以在单个线程内非阻塞地交替执行,从而减少了线程切换和上下文切换的开销,提高了整体的执行效率。


所以协程本身并不会直接提升单个任务的运行时间,但是,如果一个任务可以分解为多个步骤,并且这些步骤之间存在依赖关系,那么使用协程来执行这些步骤会更快。因为在等待I/O操作或其他异步操作完成时,协程可以让出CPU控制权,允许其他协程继续执行,从而最大程度地减少了等待时间。

例如从网站下载页面内容,并且计算页面内容。这就是单任务多步骤,这种情况就可以体现出协程的优势(性能、运行时间都会提升)。

import asyncio
import threading
import aiohttp
import time
import requests

async def fetch_page(url):
    async with aiohttp.ClientSession() as session:
        async with session.get(url) as response:
            return await response.text()
        
async def compute_length(url):
    page = await fetch_page(url)
    return len(page)

async def async_main():
    urls = ["http://www.example.com"]*10
    tasks = [compute_length(url) for url in urls]
    results = await asyncio.gather(*tasks)
    print("内容长度为:", results)

def thread_fetch_page(url):
    response = requests.get(url)
    return response.text
def thread_compute_length(url):
    page = thread_fetch_page(url)
    return len(page)
def thread_main():
    urls = ["http://www.example.com"]*10    
    threads = []
    results = []
    start_time = time.time()
    for url in urls:
        thread = threading.Thread(target=lambda u: results.append(thread_compute_length(u)), args=(url,))
        threads.append(thread)
        thread.start()
    for thread in threads:
        thread.join()
    end_time = time.time()
    print("内容长度为:", results)
    print(f"使用多线程时间为: {end_time - start_time} 秒")    

if __name__ == "__main__":
    start_time = time.time()
    asyncio.run(async_main())
    end_time = time.time()
    print(f"使用协程时间为: {end_time - start_time} 秒")
    thread_main()


内容长度为: [1256, 1256, 1256, 1256, 1256, 1256, 1256, 1256, 1256, 1256]

使用协程时间为: 0.5775842666625977 秒

内容长度为: [1256, 1256, 1256, 1256, 1256, 1256, 1256, 1256, 1256, 1256]

使用多线程时间为: 5.595600128173828 秒


可以看到这里的协程的运行时间提升了很多,因为是单任务多步骤,类似于流水线的方式,所以协程的速度会快很多。并且这里使用协程是单线程的,开销更小;而多线程这里使用了10个线程,开销更大。


三、多进程

如果任务主要由 CPU 运算组成(CPU密集型任务),而不涉及太多的 I/O 操作,那么多进程通常比多线程更适合,因为多进程能够利用多核处理器的全部性能,每个进程独立运行在自己的地址空间中,避开了 GIL 的限制。


例如大规模的计算,这种耗时的计算也是CPU密集型任务,使用多进程能明显的提升性能。


这里举例计算大规模积分

import multiprocessing
import threading
import numpy as np
import time

def integrate(f, a, b, N):
    """使用梯形法则计算f在区间[a, b]上的积分,N为分割数"""
    x = np.linspace(a, b, N)
    y = f(x)
    dx = (b - a) / (N - 1)
    return np.trapz(y, dx=dx)

def f(x):
    '''计算积分'''
    return np.sin(x) * np.exp(-x)

def integrate_range(start, end, result, index):
    result[index] = integrate(f, start, end, 100000000) 

def thread_main():
    result = [None] * 4
    threads = []
    ranges = [(0, 5), (5, 10), (10, 15), (15, 20)]  

    start_time = time.time()

    for i, (start, end) in enumerate(ranges):
        thread = threading.Thread(target=integrate_range, args=(start, end, result, i))
        threads.append(thread)
        thread.start()

    for thread in threads:
        thread.join()

    end_time = time.time()
    print(f"多线程使用时间为: {end_time - start_time} 秒")
    print(f"积分结果: {result}\n")
def multiprocess_main():
    manager = multiprocessing.Manager()
    result = manager.list([None] * 4)
    processes = []
    ranges = [(0, 5), (5, 10), (10, 15), (15, 20)]  
    start_time = time.time()

    for i, (start, end) in enumerate(ranges):
        process = multiprocessing.Process(target=integrate_range, args=(start, end, result, i))
        processes.append(process)
        process.start()

    for process in processes:
        process.join()

    end_time = time.time()
    print(f"多进程使用时间为: {end_time - start_time} 秒")
    print(f"积分结果: {result}")

if __name__ == "__main__":
    thread_main()    
    multiprocess_main()

多线程使用时间为: 7.396134853363037 秒

积分结果: [0.5022749400837572, -0.0022435439294056455, -3.1379421486677834e-05, -1.809428816655182e-08]

多进程使用时间为: 4.97518515586853 秒

积分结果: [0.5022749400837572, -0.0022435439294056455, -3.1379421486677834e-05, -1.809428816655182e-08]


可以看到这里的区别还是很大的,如果数据量更大,那么进程的优势会更明显。因为如果计算的时间过快,那么线程可以很快的进行切换。所以在大规模计算时,才可以体现出进程的优势。


四、总结

特性 进程 线程 协程
创建开销 极小
切换开销 极小
内存共享 不共享 共享 共享
通信方式 管道、队列等 共享内存 直接调用
多核利用 受GIL影响
使用场景 CPU密集型任务 IO密集型任务 高并发IO密集型任务
复杂度 较高 较低 依赖异步编程。较高


1、进程(Process)

  • 定义:进程是操作系统分配资源和调度的基本单位。每个进程拥有独立的内存空间、文件描述符和其他资源。
  • 优点:
  • 独立性:进程之间相互独立,不会直接影响彼此的运行,崩溃一个进程不会影响其他进程。
  • 利用多核:能够充分利用多核 CPU 的优势,每个进程可以在不同的 CPU 核心上并行运行。
  • 缺点:
  • 开销大:进程创建和销毁的开销较大,包括内存空间、文件句柄等资源。
  • 通信复杂:进程间通信(IPC)比较复杂,常用的 IPC 机制包括管道、消息队列、共享内存等。
  • 使用场景:
  • CPU 密集型任务,计算量大且需要充分利用多核 CPU 性能。
  • 需要高可靠性的任务,进程隔离可以防止任务间相互影响。


2、线程(Thread)

  • 定义:线程是进程中的一个执行流,是 CPU 调度和执行的基本单位。线程共享进程的内存和资源。
  • 优点:
  • 轻量级:创建和销毁线程的开销较小,线程之间的上下文切换开销比进程小。
  • 共享内存:同一进程的线程共享内存和资源,数据交换和通信更方便。
  • 缺点:
  • GIL 限制:在 Python 中,由于全局解释器锁(GIL),多线程在同一时间只能有一个线程执行 Python 字节码,限制了多线程在 CPU 密集型任务中的性能提升。
  • 线程安全:共享数据时需要小心处理线程同步问题,避免数据竞争、死锁等问题。
  • 使用场景:
  • I/O 密集型任务,如文件读写、网络请求等,可以在等待 I/O 完成时切换线程,提升效率。
  • 任务之间需要频繁的数据共享和通信的场景。


3、协程(Coroutine)

  • 定义:协程是一种更轻量级的并发执行方式,协程在用户空间内实现切换,由程序自身控制,不依赖操作系统的调度。
  • 优点:
  • 极轻量:协程的创建和切换开销极小,适合大量并发任务。
  • 无锁编程:协程之间通常不需要锁机制,因为协程在同一个线程中执行,不存在多线程的竞争问题。
  • 高效利用 I/O 等待:协程特别适合 I/O 密集型任务,可以在 I/O 等待时切换到其他协程执行。
  • 缺点:
  • 单线程限制:协程在单线程中执行,无法利用多核 CPU 的优势。
  • 需要异步编程支持:需要语言和框架的异步支持,编写异步代码较为复杂。
  • 使用场景:
  • 高并发的 I/O 密集型任务,如大量的网络请求处理、Web 服务器等。
  • 需要大量并发但任务之间独立性较高的场景。
相关文章
|
3天前
|
存储 调度 C++
【操作系统】进程与线程的区别及总结(非常非常重要,面试必考题,其它文章可以不看,但这篇文章最后的总结你必须要看,满满的全是干货......)
【操作系统】进程与线程的区别及总结(非常非常重要,面试必考题,其它文章可以不看,但这篇文章最后的总结你必须要看,满满的全是干货......)
23 1
|
6天前
|
分布式计算 JavaScript 前端开发
多线程、多进程、协程的概念、区别与联系
多线程、多进程、协程的概念、区别与联系
18 1
|
1天前
|
数据挖掘 程序员 调度
Python并发编程之协程与异步IO
传统的多线程和多进程模型在处理大规模并发时存在一些性能瓶颈和资源消耗问题。本文将重点介绍Python中基于协程和异步IO的并发编程方法,探讨其工作原理和实际应用,帮助开发者更好地理解并利用Python的并发编程能力。
|
2天前
|
开发者 Python
探索 Python 中的协程:从基本概念到实际应用
在现代编程中,异步处理变得越来越重要,Python 通过其内置的协程提供了强大的工具来简化这一过程。本文将深入探讨 Python 中的协程,从基本概念出发,逐步展示其实际应用,并通过具体代码示例帮助你掌握这种技术。
|
4天前
|
安全 Java Python
GIL是Python解释器的锁,确保单个进程中字节码执行的串行化,以保护内存管理,但限制了多线程并行性。
【6月更文挑战第20天】GIL是Python解释器的锁,确保单个进程中字节码执行的串行化,以保护内存管理,但限制了多线程并行性。线程池通过预创建线程池来管理资源,减少线程创建销毁开销,提高效率。示例展示了如何使用Python实现一个简单的线程池,用于执行多个耗时任务。
17 6
|
5天前
|
Python Windows
在 Windows 平台下打包 Python 多进程代码为 exe 文件的问题及解决方案
在使用 Python 进行多进程编程时,在 Windows 平台下可能会出现将代码打包为 exe 文件后无法正常运行的问题。这个问题主要是由于在 Windows 下创建新的进程需要复制父进程的内存空间,而 Python 多进程机制需要先完成父进程的初始化阶段后才能启动子进程,所以在这个过程中可能会出现错误。此外,由于没有显式导入 Python 解释器,也会导致 Python 解释器无法正常工作。为了解决这个问题,我们可以使用函数。
13 5
|
7天前
|
数据挖掘 调度 开发者
Python并发编程的艺术:掌握线程、进程与协程的同步技巧
并发编程在Python中涵盖线程、进程和协程,用于优化IO操作和响应速度。`threading`模块支持线程,`multiprocessing`处理进程,而`asyncio`则用于协程。线程通过Lock和Condition Objects同步,进程使用Queue和Pipe通信。协程利用异步事件循环避免上下文切换。了解并发模型及同步技术是提升Python应用性能的关键。
28 5
|
4天前
|
存储 安全 算法
Java并发编程中的线程安全性与性能优化
在Java编程中,特别是涉及并发操作时,线程安全性及其与性能优化是至关重要的问题。本文将深入探讨Java中线程安全的概念及其实现方式,以及如何通过性能优化策略提升程序的并发执行效率。
8 1
|
6天前
|
Java 程序员
Java多线程编程是指在一个进程中创建并运行多个线程,每个线程执行不同的任务,并行地工作,以达到提高效率的目的
【6月更文挑战第18天】Java多线程提升效率,通过synchronized关键字、Lock接口和原子变量实现同步互斥。synchronized控制共享资源访问,基于对象内置锁。Lock接口提供更灵活的锁管理,需手动解锁。原子变量类(如AtomicInteger)支持无锁的原子操作,减少性能影响。
18 3
|
6天前
|
数据采集 自然语言处理 调度
【干货】python多进程和多线程谁更快
【干货】python多进程和多线程谁更快
12 2