Netty(二)-服务端网络编程常见网络IO模型讲解

简介: Netty(二)-服务端网络编程常见网络IO模型讲解

一、最通俗的方式讲解:什么是阻塞/非阻塞,什么 是同/异步

简介:使用最通俗概念讲解 同步异步,阻塞和非阻塞

例子:洗衣机洗衣服

首先你的目的是在家洗衣服

同步阻塞:你把衣服丢到洗衣机洗,然后看着洗衣机洗完,洗好后再去晾衣服(你就干等,啥都不做,阻塞在那里)

同步阻塞是我们接触最多的,比如说我们访问一个请求,去读取一个文件,然后进程一直在那里阻塞着。或者说一个网络请求,请求到服务器,服务器可能在处理数据,你的进程/线程已经被阻塞了,等数据处理完在返回给你。

同步非阻塞:你把衣服丢到洗衣机洗,然后回客厅做其他的事情,定时去阳台看洗衣机是不是洗完了,洗好后再去晾衣服。(等待期间你可以做其他的事情)

异步阻塞:你把衣服丢到洗衣机洗,然后看着洗衣机洗完,洗好后再去晾衣服

(几乎没有这个说法,可以忽略这个情况),因为用异步就不会出现阻塞的情况

异步非阻塞:你把衣服丢到洗衣机洗,然后回客厅做其他事情,洗衣机洗好后会自动去晾衣服,晾完后放个音乐告诉你洗好衣服并且晾好了。

二、Linux网络编程中的IO模型讲解

网路IO,用户程序和内核的交互为基础进行讲解:

IO操作分两步:发起IO请求等待数据准备,实际IO操作(洗衣服,晾衣服)

同步须要要主动写数据,在读写数据的过程中还是会阻塞(好比晾衣服阻塞了你,也会耗时间)

异步仅仅需要I/O操作完毕的通知,并不主动读写数据,由操作系统内核完毕数据的读写(机器人自动帮你晾衣服)

阻塞就是阻塞到晾衣服的时候,也就是拷贝数据的时候。

那么为什么要拷贝数据呢?

用户程序是用到所有的程序,都是通过网络传输进来拿到的,所有的传输都是通过Linux内核,在Linux内核里面有一块空间,存储对应的数据。然而用户程序是老大,去发号时令去拿Linux内核中的数据, Linux准备好数据就返回给用户程序,拷贝到用户空间才可以进行使用,写也是这样写出去的。所以同步阻塞的时候,用户程序在没有得到数据的时候就会一直堵塞在那里了。Linux内核和用户空间是互相拷贝数据的,不能拿来直接用。目前在阻塞和非阻塞是这样的。比异步非阻塞差的原因,就是用户程序去主动的去拷贝数据。

三、五种IO模型

阻塞IO,非阻塞IO,多路复用IO,信号驱动IO和异步IO,前四种都是同步IO,在内核数据copy到用户空间时都是阻塞的,也就是在晾衣服的时候都是阻塞的,也就是数据准备好了,衣服洗好了

但是晾衣服的时候被阻塞了。

异步IO:就是机器人帮你晾衣服了,所以非阻塞的。

阻塞IO:

1、首先用户程序调用c的内核,告诉去取一个数据

2、内核告诉数据还没有准备好

3、然后用户程序就等待数据

4、数据准备好之后就复制数据

5、将数据从内核复制到用户的空间

6、复制成功之后返回成功的指示

阻塞的两个地方:等待内核准备数据,copy到用户空间的时候是阻塞的,在这期间,什么都干不了,在那里干等着。所以阻塞io的性能就很差。

非阻塞IO

自己去拷贝数据属于同步的概念,性能也不是很好


I/O复用(select,poll,epoll...):

复用的意思:一个线程处理多个连接,一两个线程去处理多个请求

1、应用进程select的时候告诉系统内核,拿对应的数据

2、如果数据没有准备好,就返回回去。

这个也是copy的时候是同步阻塞着的。什么事情都做不了,性能也不高

好处就是:一个线程可以处理更多的请求连接

IO多路复用阻塞在select的监听函数这里,监听多个操作是否哪个准备好了,好了之后去做对应的处理。

I/O多路复用是阻塞在select,epoll这样的系统调用,没有阻塞在真正的I/O系统调用如recvform,进程受阻于select,等待可能多个套接口中的任一个变为可读/可写

IO多路复用使用两个系统调用(select和recvfrom)

blocking IO只调用了一个系统调用(recvform)

select/epoll:的核心是可以同时处理多个connection,而不是更快,所以连接数不高的话,性能不一定比多线程+阻塞IO好,多路复用模型中,每一个socket,设置为non-blocking,阻塞是被select这个函数block,而不是被socket阻塞的。

信号驱动式I/O(SIGIO):基本不怎么用

它一样是阻塞的。

1、首先用户程序调用这个signaction函数调用内核

2、引用进程在等待数据,所以就马上返回了。

3、内核准备好数据,然后通知应用的进程可以来取数据了

4、应用进程可以去内核调用,进行拷贝数据到用户空间里面去,这个步骤是阻塞住的了

这里都是同步等待在这里

异步I/O(POSIX的aio_系列函数)    Future-Listener机制:回调监听的机制去做的

1、首先应用程序aio_read进行系统调用内核

2、然后内核无数据报准备好的话,就马上返回

总结:IO操作分为两步:

1):发起IO请求,等待数据准备(Wating for the data to be ready)

2)   :  实际的IO操作,将数据从内核拷贝到进程中(Copying the data from the kernel to the process)

1、前四种IO模型都是同步IO操作,区别在于第一个节点,而他们的第二阶段是一样的:在

数据从内核复制到应用缓冲区期间(用户空间),进程阻塞于recvfrom调用或者select()函数

相反,异步I/O模型在着两个阶段都要处理。

2、阻塞IO和非阻塞IO的区别在于第一步,发起IO请求是否会被阻塞,如果阻塞直到完成那么就是传统的阻塞IO,如果不阻塞,那么就是非阻塞IO.

3、同步IO和异步IO的区别就在于第二个步骤是否阻塞,如果实际的IO读写阻塞请求进程,那么就是同步IO,因此阻塞IO,非阻塞IO,IO复用,信号驱动IO都是同步IO,如果步阻塞,而是操作系统帮你做完IO读操作再将结果返回给你,那么就是异步IO。

几个核心:

  阻塞和非阻塞说的是线程的状态(重要),不可以干其他的事情

  同步和异步说的是消息的通知机制(重要)

  同步需要主动读写数据,异步是不需要主动读写数据

  同步IO和异步IO是针对用户应用程序和内核的交互,是网络层面的IO.

相关文章
|
2月前
|
域名解析 网络协议 安全
计算机网络TCP/IP四层模型
本文介绍了TCP/IP模型的四层结构及其与OSI模型的对比。网络接口层负责物理网络接口,处理MAC地址和帧传输;网络层管理IP地址和路由选择,确保数据包准确送达;传输层提供端到端通信,支持可靠(TCP)或不可靠(UDP)传输;应用层直接面向用户,提供如HTTP、FTP等服务。此外,还详细描述了数据封装与解封装过程,以及两模型在层次划分上的差异。
403 13
|
2月前
|
网络协议 中间件 网络安全
计算机网络OSI七层模型
OSI模型分为七层,各层功能明确:物理层传输比特流,数据链路层负责帧传输,网络层处理数据包路由,传输层确保端到端可靠传输,会话层管理会话,表示层负责数据格式转换与加密,应用层提供网络服务。数据在传输中经过封装与解封装过程。OSI模型优点包括标准化、模块化和互操作性,但也存在复杂性高、效率较低及实用性不足的问题,在实际中TCP/IP模型更常用。
263 10
|
2月前
|
安全 Java 调度
Netty源码—3.Reactor线程模型二
本文主要介绍了NioEventLoop的执行总体框架、Reactor线程执行一次事件轮询、Reactor线程处理产生IO事件的Channel、Reactor线程处理任务队列之添加任务、Reactor线程处理任务队列之执行任务、NioEventLoop总结。
|
2月前
|
安全 Java
Netty源码—2.Reactor线程模型一
本文主要介绍了关于NioEventLoop的问题整理、理解Reactor线程模型主要分三部分、NioEventLoop的创建和NioEventLoop的启动。
|
2月前
|
机器学习/深度学习 搜索推荐 PyTorch
基于昇腾用PyTorch实现CTR模型DIN(Deep interest Netwok)网络
本文详细讲解了如何在昇腾平台上使用PyTorch训练推荐系统中的经典模型DIN(Deep Interest Network)。主要内容包括:DIN网络的创新点与架构剖析、Activation Unit和Attention模块的实现、Amazon-book数据集的介绍与预处理、模型训练过程定义及性能评估。通过实战演示,利用Amazon-book数据集训练DIN模型,最终评估其点击率预测性能。文中还提供了代码示例,帮助读者更好地理解每个步骤的实现细节。
|
2月前
|
弹性计算 网络协议 Java
Netty基础—2.网络编程基础二
本文介绍了网络编程的基本概念和三种主要模式:BIO(阻塞IO)、AIO(异步IO)和NIO(非阻塞IO)。BIO模型通过为每个客户端连接创建一个线程来处理请求,适合客户端较少的情况,但在高并发下性能较差。AIO模型通过异步IO操作,允许操作系统处理IO,适合高并发场景,但编码复杂且Linux支持有限。NIO模型通过Selector实现多路复用,适合高并发且性能要求高的场景。文章还详细介绍了NIO中的Buffer、Selector、Channel等核心组件,并提供了NIO的实战开发流程和代码示例。
|
2月前
|
监控 网络协议 Java
Netty基础—1.网络编程基础一
本文详细介绍了网络通信的基础知识,涵盖OSI七层模型、TCP/IP协议族及其实现细节。首先解释了OSI模型各层功能,如物理层负责数据通路建立与传输,数据链路层提供无差错传输等。接着探讨了TCP/IP协议,包括TCP和UDP的特点、三次握手与四次挥手过程,以及如何通过确认应答和序列号确保数据可靠性。还分析了HTTP请求的传输流程和报文结构,并讨论了短连接与长连接概念。 此外,解析了Linux下的IO模型,包括阻塞IO、非阻塞IO、IO复用(select/poll/epoll)、信号驱动IO和异步IO的特点与区别,强调了epoll在高并发场景下的优势及其水平触发和边缘触发两种工作模式。
|
2月前
|
网络协议 算法 Java
Netty基础—3.基础网络协议
本文详细梳理了计算机网络的基础知识,涵盖从物理层到应用层的各层协议及其功能。内容包括七层模型与四层模型对比、IP地址与子网划分、TCP三次握手及四次挥手过程、Socket编程原理、HTTP/HTTPS协议的工作机制等。同时深入探讨了Linux IO模型(阻塞、非阻塞、IO多路复用)及其应用场景,并分析了select、poll、epoll的区别。此外,还涉及Java IO读写的底层流程及同步异步、阻塞非阻塞的概念。这些知识点为理解网络通信和高性能服务器开发提供了全面的理论支持。
|
4月前
|
存储 网络协议 安全
Java网络编程,多线程,IO流综合小项目一一ChatBoxes
**项目介绍**:本项目实现了一个基于TCP协议的C/S架构控制台聊天室,支持局域网内多客户端同时聊天。用户需注册并登录,用户名唯一,密码格式为字母开头加纯数字。登录后可实时聊天,服务端负责验证用户信息并转发消息。 **项目亮点**: - **C/S架构**:客户端与服务端通过TCP连接通信。 - **多线程**:采用多线程处理多个客户端的并发请求,确保实时交互。 - **IO流**:使用BufferedReader和BufferedWriter进行数据传输,确保高效稳定的通信。 - **线程安全**:通过同步代码块和锁机制保证共享数据的安全性。
165 23
|
5月前
RT-DETR改进策略【模型轻量化】| 替换骨干网络为 GhostNet V3 2024华为的重参数轻量化模型
RT-DETR改进策略【模型轻量化】| 替换骨干网络为 GhostNet V3 2024华为的重参数轻量化模型
138 2
RT-DETR改进策略【模型轻量化】| 替换骨干网络为 GhostNet V3 2024华为的重参数轻量化模型