常见IO五种模型-阻塞IO、非阻塞IO、IO多路复用、信号驱动IO、异步IO

简介: 用户空间与内核空间进程的寻址空间会划分为两部分:内核空间、用户空间用户空间只能执行受限的命令,而且不能直接调用系统资源,必须通过内核提供的接口来访问内核空间可以执行特权命令。调用一切系统资源

用户空间与内核空间


进程的寻址空间会划分为两部分:内核空间用户空间

用户空间只能执行受限的命令,而且不能直接调用系统资源,必须通过内核提供的接口来访问

内核空间可以执行特权命令。调用一切系统资源


阻塞IO


019f0f84ac15423d8961009537138dbd.png

在客户端连接数量不高的情况下,是没问题的。但是,当面对十万甚至百万级连接的时候,传统的 BIO 模型是无能为力的。因此,我们需要一种更高效的 I/O 处理模型来应对更高的并发量


非阻塞IO


7f28d4e3982a4ddca1108ad520db91ed.png

应用程序不断进行 I/O 系统调用轮询数据是否已经准备好的过程是十分消耗 CPU 资源的。


IO多路复用



如果调用recvform时,恰好没有数据,阻塞IO会使进程阻塞,非阻塞IO使CPU空转,不能充分发挥CPU作用

如果调用recvform时恰好有数据,则用户进程进入第二个阶段,读取并处理数据


文件描述符: 简称FD,是一个从0开始递增的无符号整数,用来关联Linux中的一个文件。在Linux中一切皆文件。

IO多路复用: 是利用单个线程来同时监听多个FD,并在某个FD可读、可写时得到通知,从而避免无效的等待,充分利用CPU资源

不同监听FD的方式、通知的方式有多种实现,常见的有:

select

poll

epoll

差异

select和poll只会通知进程有FD就绪,但不确定具体是那个FD,需要用户进程逐个遍历FD来确认

epoll则会通知用户进程FD就绪的同时,把已就绪的FD写入用户空间f7bb98ad6b574ee8b8fda12126532b4a.png


IO多路复用-selecte9e290fb506a48febe905729b32053e3.png

缺点

需要将整个fd_set从用户空间拷贝到内核空间,select结束还要再次拷贝回用户空间

select无法得知具体是那个fd就绪,需要遍历整个fd_set

fd_set监听的fd数量不能超过1024

IO多路复用-poll7ed80652660f4ec6994225ee57b00602.png

流程

创建pollfd数组,向其中添加关注fd信息,数组大小自定义

调用poll函数,将pollfd数组拷贝到内核空间,转链表存储,无上限

内核遍历fd,判断是否就绪

数据就绪或超时后,拷贝pollfd数组到用户空间,返回就绪fd数量

用户进程判断n是否大于0

大于0则遍历pollfd数组,找到就绪数组


与select对比

select模式中的fd_set大小固定为1024,而pollfd在内核中采用链表,理论上无上限

监听FD越多,每次遍历消耗时间也越久,性能反而会下降


IO多路复用-epoll7f80bb9e3f6341d3b09aa8fb4f47049e.png9206d0cd9a0b44d1b41beb0030a9537a.png

基于epoll实例中的红黑树保存要监听的FD,理论上无上限,而且增删改查效率都非常高,性能不会随着监听的FD数量增多而下降

每个FD只需执行一次epoll_ctl添加到红黑树,以后每次epol_wait无需传递任何参数,无需重复拷贝FD到内核空间

内核会将就绪的FD直接拷贝到用户空间的指定位置,用户进程无需遍历所有的FD就知道就绪的FD是谁


IO多路复用-事件通知机制

当FD有数据可读时,我们调用epoll_wait就可以得到通知,但是事件通知的模型有两种:

LevelTriggered:简称LT,当FD有数据可读时,会重复通知多次,直到数据处理完成

EdgeTriggered:简称ET,当FD有数据可读时,只会通知一次,不管数据是否处理完成


信号驱动IO


信号驱动IO是与内核建立SIGIO的信号关联并设置回调,当内核有FD就绪时,会发出SIGIO信号通知用户,期间用户应用可以执行其它业务,无需阻塞等待

0a77023eb35c4d8cb78e533402c4bc7a.png

当有大量IO操作时,信号较多,SIGIO处理函数不能及时处理可能导致信号队列溢出

而且内核空间与用户空间的频繁交互性能较低


异步IO


异步IO的整个过程都是非阻塞的,用户进程调用完异步API后就可以去做其它事情,内核等待数据就绪并拷贝到用户空间才会递交信号

d33e4630516745168739acdd679f13ad.png

相关文章
|
12天前
|
Java Unix Linux
什么是阻塞IO和非阻塞IO
什么是阻塞IO和非阻塞IO
|
1月前
|
调度 数据库 Python
【专栏】异步IO在处理IO密集型任务中的高效性
【4月更文挑战第27天】本文介绍了Python并发编程和异步IO,包括并发的基本概念(多线程、多进程、协程),线程与进程的实现(threading和multiprocessing模块),协程的使用(asyncio模块),以及异步IO的原理和优势。强调了异步IO在处理IO密集型任务中的高效性,指出应根据任务类型选择合适的并发技术。
|
4天前
|
Linux C++
c++高级篇(三) ——Linux下IO多路复用之poll模型
c++高级篇(三) ——Linux下IO多路复用之poll模型
|
4天前
|
缓存 监控 网络协议
c++高级篇(二) ——Linux下IO多路复用之select模型
c++高级篇(二) ——Linux下IO多路复用之select模型
|
4天前
|
Linux
Linux异步io机制 io_uring
Linux异步io机制 io_uring
12 1
|
11天前
|
Python
并发编程,Python让你轻松驾驭多线程与异步IO!
【6月更文挑战第12天】本文探讨了Python中的并发编程,包括多线程和异步IO。通过`threading`模块展示了多线程编程,创建并运行多个线程以并发执行任务。同时,使用`asyncio`库演示了异步IO编程,允许在单线程中高效处理多个IO操作。两个示例代码详细解释了如何在Python中实现并发,展现了其在提升程序性能和响应速度方面的潜力。
|
13天前
|
调度 数据库 开发者
在Python编程中,并发编程和异步IO是两个重要的概念,它们对于提高程序性能和响应速度具有至关重要的作用
【6月更文挑战第10天】本文介绍了Python并发编程和异步IO,包括并发编程的基本概念如多线程、多进程和协程。线程和进程可通过threading及multiprocessing模块管理,但多线程受限于GIL。协程利用asyncio模块实现非阻塞IO,适合处理IO密集型任务。异步IO基于事件循环,能提高服务器并发处理能力,适用于网络编程和文件操作等场景。异步IO与多线程、多进程在不同任务中有各自优势,开发者应根据需求选择合适的技术。
18 0
|
1月前
|
人工智能 算法 调度
uvloop,一个强大的 Python 异步IO编程库!
uvloop,一个强大的 Python 异步IO编程库!
47 2
|
1月前
|
存储 监控 网络协议
IO多路复用
IO多路复用
|
1月前
|
并行计算 数据处理 开发者
Python并发编程:解析异步IO与多线程
本文探讨了Python中的并发编程技术,着重比较了异步IO和多线程两种常见的并发模型。通过详细分析它们的特点、优劣势以及适用场景,帮助读者更好地理解并选择适合自己项目需求的并发编程方式。