【网络IO】细说网络IO模型【二】

简介: 面试官:我们来简单聊一下网络IO模型相关东西吧,嗯?不了解是吧,没关系,那今天面试就先到这了。。。

网络IO相关文章



前言

线程模型也是后端面试中的重中之重,通常在铺垫完IO概念后就开始对IO模型进行疯狂轰炸,这波整理一下IO模型相关的东西。


IO读写原理

  • 用户进程层面的IO对应到底层可以简单区分成两块。
  • read系统调用指的是将数据从内核缓冲区复制到进程缓冲区
  • write系统调用指的是把数据从进程缓冲区复制到内核缓冲区


阻塞与非阻塞、异步与同步

  • 阻塞:用户线程一直等待内核IO准备好数据,这期间什么都不干。
  • 非阻塞:用户线程拿到内核返回的状态就直接返回自己的空间,内核IO准备好了就干,没准备好可以被调度去干别的事情。
  • 同步IO:用户线程和内核线程的交互,用户空间线程是主动发起IO请求的一方,内核空间是被动接收的一方
  • 异步IO:与上面刚好相反,内核空间是主动发起IO请求的一方,用户空间的线程是被动接受IO状态方。


阻塞IO模型


阻塞IO,按字面意思顾名思义,当用户发生系统调用读取数据,线程从用户态转换为内核态,如果当前线程发现内核数据并没有准备好,会一直阻塞到数据准备好,直到内核空间将数据拷贝到用户进程空间。

整个内核操作分成两个阶段。第一阶段从磁盘硬件中读取数据,第二阶段从内核把数据拷贝到用户空间里。阻塞IO会在两个阶段里都阻塞住。


  • 特点
  • 使用阻塞 IO 时,因为线程会阻塞在准备内核准备数据阶段,需要配置多线程来使用,最常见的模型是阻塞 IO+多线程(线程池),每个连接一个单独的线程进行处理。疯狂创建线程会导致一个应用程序可以处理的客户端请求受限。面对连接数多的情况,是无法处理



非阻塞IO模型

  • 按照上述对阻塞、非阻塞的描述,非阻塞IO模型核心即用户线程拿到内核返回的状态就直接返回自己的空间。
  • 也就是用户空间调用系统调用到内核态时,不需要阻塞到准备好数据而是直接返回用户空间,通过不断轮询判断数据是否准备好,是否需要进入复制数据到用户空间的阶段。


  • 特点
  • 非阻塞 IO 解决了阻塞 IO每个连接一个线程处理的问题,所以其最大的优点就是 一个线程可以处理多个连接,这也是其非阻塞决定的。
  • 但这种模式,也有一个问题,就是需要用户多次发起系统调用。频繁的系统调用是比较消耗系统资源的。


多路复用IO模型


  • IO多路复用,用户线程放弃直接进行readwrite系统调用,而是通过select、epoll等内核函数,不断轮询内核返回的文件描述符。 整个过程只在调用select、poll、epoll这些调用的时候才会阻塞,accept/recv是不会阻塞
  • 简单来说,我目前有 10 个连接,我可以通过一次系统调用将这 10 个连接都丢给内核,让内核告诉我,哪些连接上面数据准备好了,然后我再去读取每个就绪的连接上的数据。
  • 因此,IO 多路复用,复用的是系统调用。通过有限次系统调用判断海量连接是否数据准备好了



  • 特点
  • IO多路复用模型涉及两种系统调用,一种是就绪查询(select/epoll),一种是IO操作。
  • 多路复用IO也需要轮询。负责就绪状态查询系统调用的线程,需要不断的进行select/epoll轮询,查找出达到IO操作就绪的socket连接。


异步IO

异步IO模型,其基本流程为:用户线程通过系统调用,向内核注册某个IO操作。内核在整个IO操作(包括数据准备、数据复制)完成后,通知用户程序,执行后续的业务操作。


在异步IO模型中,整个内核的数据处理过程中,包括内核将数据从网络物理设备(网卡)读取到内核缓存区、将内核缓冲区的数据复制到用户缓冲区,用户程序都不需要阻塞。

image.png

特点:

  • 在内核等待数据和复制数据的两个阶段,用户线程都不是阻塞的。当内核的IO操作(等待数据和复制数据)全部完成后,内核以通知的形式告诉应用程序读数据。




相关文章
|
4天前
|
存储 网络协议 Linux
【Linux 网络】网络基础(一)(局域网、广域网、网络协议、TCP/IP结构模型、网络传输、封装和分用)-- 详解(下)
【Linux 网络】网络基础(一)(局域网、广域网、网络协议、TCP/IP结构模型、网络传输、封装和分用)-- 详解(下)
|
4天前
|
存储 网络协议 安全
【Linux 网络】网络基础(一)(局域网、广域网、网络协议、TCP/IP结构模型、网络传输、封装和分用)-- 详解(上)
【Linux 网络】网络基础(一)(局域网、广域网、网络协议、TCP/IP结构模型、网络传输、封装和分用)-- 详解(上)
|
4天前
|
机器学习/深度学习 算法 计算机视觉
基于yolov2深度学习网络模型的鱼眼镜头中人员检测算法matlab仿真
该内容是一个关于基于YOLOv2的鱼眼镜头人员检测算法的介绍。展示了算法运行的三张效果图,使用的是matlab2022a软件。YOLOv2模型结合鱼眼镜头畸变校正技术,对鱼眼图像中的人员进行准确检测。算法流程包括图像预处理、网络前向传播、边界框预测与分类及后处理。核心程序段加载预训练的YOLOv2检测器,遍历并处理图像,检测到的目标用矩形标注显示。
|
6天前
|
机器学习/深度学习 人工智能 算法
食物识别系统Python+深度学习人工智能+TensorFlow+卷积神经网络算法模型
食物识别系统采用TensorFlow的ResNet50模型,训练了包含11类食物的数据集,生成高精度H5模型。系统整合Django框架,提供网页平台,用户可上传图片进行食物识别。效果图片展示成功识别各类食物。[查看演示视频、代码及安装指南](https://www.yuque.com/ziwu/yygu3z/yhd6a7vai4o9iuys?singleDoc#)。项目利用深度学习的卷积神经网络(CNN),其局部感受野和权重共享机制适于图像识别,广泛应用于医疗图像分析等领域。示例代码展示了一个使用TensorFlow训练的简单CNN模型,用于MNIST手写数字识别。
23 3
|
10天前
|
机器学习/深度学习 数据可视化 PyTorch
使用Python实现深度学习模型:生成对抗网络(GAN)
使用Python实现深度学习模型:生成对抗网络(GAN)
24 3
|
11天前
|
Linux 开发工具
【项目--Hi3559A】如何在Hi3559A上运行自己的yolov3模型(修改类别、网络结构)
【项目--Hi3559A】如何在Hi3559A上运行自己的yolov3模型(修改类别、网络结构)
9 0
|
11天前
|
机器学习/深度学习 自然语言处理 网络安全
【pkuseg】由于网络策略组织下载请求,因此直接在github中下载细分领域模型medicine
【pkuseg】由于网络策略组织下载请求,因此直接在github中下载细分领域模型medicine
22 1
|
11天前
|
机器学习/深度学习 数据可视化 算法
R语言神经网络与决策树的银行顾客信用评估模型对比可视化研究
R语言神经网络与决策树的银行顾客信用评估模型对比可视化研究
|
11天前
|
机器学习/深度学习 数据可视化 数据挖掘
R语言神经网络模型金融应用预测上证指数时间序列可视化
R语言神经网络模型金融应用预测上证指数时间序列可视化
|
11天前
|
机器学习/深度学习 数据可视化 算法
SPSS Modeler决策树和神经网络模型对淘宝店铺服装销量数据预测可视化|数据分享
SPSS Modeler决策树和神经网络模型对淘宝店铺服装销量数据预测可视化|数据分享