Python下篇 1. GIL对异步编程的影响

简介: Python下篇 1. GIL对异步编程的影响

1. 前言



这篇文章重点讲解GIL存在的意义以及问题,同时也说下多线程,多协称以及多进程编程模型中,GIL对于他们的影响,因为参与异步编程的进程,线程和协称都在一定程度上在各自领域发挥作用,如何有效利用内存和CPU才是最关键的,而这就绕不开对GIL的探究,所以这篇文章我们就来了解下GIL对于我们的进程,线程以及协称的影响,欢迎大家关注点赞分享哦。


2. 吃透GIL



本文是以Cpython解释器作为Python解释器讲解。


GIL概念:

GIL是Python中的一个全局解释锁,是Python设计解释器Cpython的一个技术术语,用于在解释器执行Python线程时,锁住当前运行的线程,防止其他线程执行。在这个基础上,你就明白为什么说,Python是单线程的语言了,因为在GIL的限制下,只能同时执行一个线程,所谓的多线程实际上是,线程获取和释放GIL的切换过程,看起来像多线程。


GIL目的:

  1. 内存管理的race condition资源竞争,线程安全的问题
  2. C语言库大部分不是原生线程安全的


3. 进程与GIL的关系



一个Python解释器就是一个进程,所以每个进程只带有一个GIL。如下图所示:

640.png


可不可能多个Python Process 共享一个Interpreter?

就我目前的认知我觉得不可能。而且如果你是用fork从当前process创建新的process,则是明确的不可能,因为fork你可以理解为是一个deep copy,新创建的process内部是一个实打实的interpreter instance 的clone。这也从另一个方面说明,multi-processing 比 multi-threading的overhead消耗要大。


4. 线程与GIL的关系



只有在同一个process内的threads才有竞争关系,需要抢夺GIL来执行代码;不同process下的threads属于八竿子打不着的关系,更不要说去竞争GIL了。如下图所示:

640.png


5. 协称与GIL的关系



其实协称是线程的微缩版,内存开销以及CPU上下文切换开销比线程小而已,再就是它有自己的事件循环调度器,这个事件循环调度器因为GIL的存在只能在一个线程中运行,所以想要高并发的执行请求,调度器必须底层实现多路IO服用模型(selectors模块,之前文章有讲解),这样才能在单线程中实现高并发。


6. 小结



  1. 在CPU密集型计算中推荐使用多进程模型

因为多进程模型可以利用多核CPU并行计算,而且每个进程拥有一个解释器,每个解释器拥有自己的GIL,它们之间互不影响,高效完成CPU计算工作。


  1. 在IO密集型操作中推荐使用多线程模型

因为多线程一定会有GIL的约束,但是Cpython在实现中如果遇到IO操作会主动释放GIL以便其他线程获取GIL,所以在高IO场景中比较推荐多线程模型。


  1. 在高并发编程中推荐使用协称模型

高并发场景中一定是成千上万的请求需要处理,这个时候线程资源的开销是OS无法cover的,所以迫切需要大量的轻量级协称去代替多线程去处理请求。


异步编程要旨就是变同步为异步,你可以去开辟多进程或者多线程异步去处理请求,但是也要考虑各自的使用场景和内存CPU开销,而协称作为异步编程的佼佼者,你只管用就好了,其他的无需担心。

相关文章
|
16天前
|
Python
Python中的异步编程:使用asyncio和aiohttp实现高效网络请求
【10月更文挑战第34天】在Python的世界里,异步编程是提高效率的利器。本文将带你了解如何使用asyncio和aiohttp库来编写高效的网络请求代码。我们将通过一个简单的示例来展示如何利用这些工具来并发地处理多个网络请求,从而提高程序的整体性能。准备好让你的Python代码飞起来吧!
39 2
|
24天前
|
数据采集 数据安全/隐私保护 开发者
非阻塞 I/O:异步编程提升 Python 应用速度
非阻塞 I/O:异步编程提升 Python 应用速度
|
20天前
|
调度 开发者 Python
Python中的异步编程:理解asyncio库
在Python的世界里,异步编程是一种高效处理I/O密集型任务的方法。本文将深入探讨Python的asyncio库,它是实现异步编程的核心。我们将从asyncio的基本概念出发,逐步解析事件循环、协程、任务和期货的概念,并通过实例展示如何使用asyncio来编写异步代码。不同于传统的同步编程,异步编程能够让程序在等待I/O操作完成时释放资源去处理其他任务,从而提高程序的整体效率和响应速度。
|
4天前
|
API 调度 开发者
探索Python中的异步编程:从asyncio到Trio
本文将带你深入Python异步编程的心脏地带,从asyncio的基本概念到Trio的高级特性,我们将一起揭开Python异步编程的神秘面纱,并探讨它们如何改变我们的编程方式。
|
14天前
|
数据采集 调度 Python
探索Python中的异步编程:从基础到高级
【10月更文挑战第36天】在Python的世界中,异步编程是提升程序性能和响应速度的重要工具。本文将带你深入了解Python异步编程的核心概念,包括事件循环、协程与异步IO,并逐步展示如何在实际项目中应用这些概念来编写更高效、可扩展的代码。通过理论讲解与实践案例的结合,我们将一起构建一个异步Web爬虫,以直观感受异步编程的强大之处。
|
16天前
|
数据库 Python
异步编程不再难!Python asyncio库实战,让你的代码流畅如丝!
在编程中,随着应用复杂度的提升,对并发和异步处理的需求日益增长。Python的asyncio库通过async和await关键字,简化了异步编程,使其变得流畅高效。本文将通过实战示例,介绍异步编程的基本概念、如何使用asyncio编写异步代码以及处理多个异步任务的方法,帮助你掌握异步编程技巧,提高代码性能。
51 4
|
30天前
|
开发者 Python
探索Python中的异步编程
【10月更文挑战第20天】在本文中,我们将深入探讨Python的异步编程,这是一种能够提高程序执行效率的技术。我们将通过代码示例和实际应用场景来理解其工作原理和应用价值。无论你是初学者还是有经验的开发者,这篇文章都将为你提供新的视角和实用技巧。
|
25天前
|
数据库 开发者 Python
“Python异步编程革命:如何从编程新手蜕变为并发大师,掌握未来技术的制胜法宝”
【10月更文挑战第25天】介绍了Python异步编程的基础和高级技巧。文章从同步与异步编程的区别入手,逐步讲解了如何使用`asyncio`库和`async`/`await`关键字进行异步编程。通过对比传统多线程,展示了异步编程在I/O密集型任务中的优势,并提供了最佳实践建议。
18 1
|
27天前
|
调度 开发者 Python
异步编程在Python中的应用:Asyncio和Coroutines
异步编程在Python中的应用:Asyncio和Coroutines
20 1
|
29天前
|
关系型数据库 MySQL 数据处理
探索Python中的异步编程:从asyncio到异步数据库操作
在这个快节奏的技术世界里,效率和性能是关键。本文将带你深入Python的异步编程世界,从基础的asyncio库开始,逐步探索到异步数据库操作的高级应用。我们将一起揭开异步编程的神秘面纱,探索它如何帮助我们提升应用程序的性能和响应速度。
下一篇
无影云桌面