阿里面试真题:NIO为什么不适合文件上传场景、如何优雅解决

简介: 阿里面试真题:NIO为什么不适合文件上传场景、如何优雅解决

该系列已分别介绍了服务端、客户端的启动流程,本文将重点剖析Netty是如何封装NIO的读事件。


温馨提示:本文虽然是源码分析,但强烈建议精读,根据源码阐述其背后的设计哲学,也用黑体进行了标注,请特别留意。


在阅读本篇文章之前,请稍微思考如下几个问题:


  • NIO为什么不适合文件上传等场景
  • NIO如何避免一个超大数据传送的连接对其他请求的影响
  • NIO如何处理半关闭


1、读事件概述


关于Read事件在SocketChannel与ServerSocketChannel所对应的操作不一样,在SocketChannel中,则对应数据读,而在ServerSocketChannel中则被被封装成接受客户端的连接请求。


NIO read事件入口在NioEventLoop的processSelectedKey方法,截图如下:

91f094b75b05bcc6bbea834aea8d64ee.png

其核心入口为UnSafe的read方法,关于UnSafe的类层次结构如下图所示:

60ea8be57e786cb2f0166d71385060f5.png

  • AbstractNioByteChannel的内部类NioByteUnsafe#read
    SocketChannel对应的读事件处理流程,即IO读的处理实现。
  • AbstractNioMessageChannel的内部类NioMessageUnsafe#read
    ServerSocketChannle对应的读事件处理流程。


接下来将分别介绍这两个流程。


2、IO读事件处理流程


IO读事件由AbstractNioByteChannel内部类AbstractNioUnsafe的read方法实现,接下来重点剖析该方法,从中窥探Netty对IO读事件的处理。

a0b739a09e878588b325279bc58cd073.png

Step1:如果没有开启自动注册读事件,在每一次读时间处理过后会取消读事件,默认为自动注册。


温馨提示:如果通道不注册读事件,将无法从通道中读取数据,即无法处理请求或接受响应。


如果没有开启自动读事件,需要应用程序在需要的时候手动调用通道的read方法。


取消读事件,Netty基于NIO给出了非常标准的实现,基本可以当场模板代码使用:

6859d487477f8d9bdf14f8e2a77380e3.png

其实现关键点:首先判断键值对是否有效,然后通过位运算进行取消注册。

e37b9aa2f82773a3ab711dcf6a6b6e3d.png

Step2:创建接受缓存区内存分配器,这里有两个关键点:


  • maxMessagesPerRead
    每一个通道在一次读事件处理过程中最多可以调用底层Socket进行读取的次数,默认为16次,这里的设计哲学是避免一个通道需要读取太多的数据,从而影响其他通道的数据读,因为在一个事件选择器中多个通道的读事件是串行执行的
  • RecvByteBufAllocator
    接受缓冲区的内存分配策略,分为分配固定大小(不够时扩容)、动态变化(根据历史分配的大小,动态条件合适的内存大小),这里主要的设计哲学是合理利用内存,并减少扩容,提高内存的分配效率与使用效率

cacc674916a8d38067cb1267f221451d.png

Step3:循环处理读事件,最多处理maxMessagePerRead。接下来探讨一下单次读事件的处理流程。

0b006f5cb82fbc72487fb167f4336831.png

Step4:进行一次IO读处理,其处理有如下几个关键点:


  • 首先分配一个ByteBuf,俗称接收缓存区,用来存放从网络中读取的内容。
  • 获取一下分配到的累积缓存区可写的字节数,这个后面有妙用
    调用底层网络读API从网卡中读取数据,NIO的读取实现如下所示:
    c8d488df9a8e2c0c9ad85987fabc83e4.png
  • 即调用NIO中的SocketChannel进行读数据,其返回参数表示这次从网卡中读取到的字节数。如果读取到的字节少于0,则表示对端通道已关闭,己端也需要进行相应的处理,例如关闭通道


  • 读到一批数据后,会通过事件传播机制向事件链中传播channelRead事件,触发后续对该批数据的处理。

01be729875851854dce8ef801d739b9f.png

Step5:判断该通道是否需要继续读,其基本依据如下:


  • 如果未开启自动注册读事件,读完一次之后将不再继续读取。
  • 如果本次读取到的字节数小于接收缓存区,说明此刻网卡中没有可读数据,等下一次读事件触发再继续读。

198499dc63041fc9d9441a980bfa9b34.png

Step6:一次或多次读操作结束后,会触发一次读完成事件,向整个事件链传播。


整个网络读处理流程就介绍到这了。


3、接受连接处理流程

在Netty中,服务端接收客户端的连接请求(OP_ACCEPT),被封装在channelRead 事件中,其代码入口为:AbstractNioMessageChannel 的内部类NioMessageUnsafe的read方法。

c9e7e2d9a32a4ec2c5e7f7ae3c11732e.png

其大概的实现要点在前面已经介绍,这里主要看一下NioServerSocketChannel的doReadMessage。

079d684ff402b33c75fdf5b62e93fad1.png

通过使用底层的NIO接受一个连接,并获取NioSocketChannel对象。然后继续该对象向下传播channelRead事件,在后续的处理器中对该对象进行操作,例如将其注册读事件,从而触发网络的读操作,关于NioSocketChannel如何绑定读事件、注册业务相关的事件监听器机制已经在Netty进阶:手把手教你如何编写一个NIO服务端中详细介绍,本文就不再重复。

相关文章
|
9月前
|
存储 关系型数据库 MySQL
阿里面试:MySQL 一个表最多 加几个索引? 6个?64个?还是多少?
阿里面试:MySQL 一个表最多 加几个索引? 6个?64个?还是多少?
阿里面试:MySQL 一个表最多 加几个索引? 6个?64个?还是多少?
|
8月前
|
监控 Java 数据安全/隐私保护
阿里面试:SpringBoot启动时, 如何执行扩展代码?你们项目 SpringBoot 进行过 哪些 扩展?
阿里面试:SpringBoot启动时, 如何执行扩展代码?你们项目 SpringBoot 进行过 哪些 扩展?
|
7月前
|
SQL 缓存 Java
MyBatis场景面试题
MyBatis与MyBatisPlus均属ORM框架,前者擅长复杂SQL及动态查询,后者封装API简化单表操作。常用XML标签如if、foreach提升SQL灵活性。MyBatis支持一级(SqlSession级)与二级(NameSpace级)缓存,提升查询效率。#{}防SQL注入,${}用于动态表名等场景。
376 62
|
7月前
|
负载均衡 架构师 Cloud Native
阿里面试:服务与发现 ,该选 CP 还是 AP?为什么?
阿里面试:服务与发现 ,该选 CP 还是 AP?为什么?
阿里面试:服务与发现 ,该选  CP 还是 AP?为什么?
|
8月前
|
SQL Java 数据库连接
阿里腾讯互联网公司校招 Java 面试题总结及答案解析
本文总结了阿里巴巴和腾讯等互联网大厂的Java校招面试题及答案,涵盖Java基础、多线程、集合框架、数据库、Spring与MyBatis框架等内容。从数据类型、面向对象特性到异常处理,从线程安全到SQL优化,再到IOC原理与MyBatis结果封装,全面梳理常见考点。通过详细解析,帮助求职者系统掌握Java核心知识,为校招做好充分准备。资源链接:[点击下载](https://pan.quark.cn/s/14fcf913bae6)。
295 2
|
监控 Kubernetes Java
阿里面试:5000qps访问一个500ms的接口,如何设计线程池的核心线程数、最大线程数? 需要多少台机器?
本文由40岁老架构师尼恩撰写,针对一线互联网企业的高频面试题“如何确定系统的最佳线程数”进行系统化梳理。文章详细介绍了线程池设计的三个核心步骤:理论预估、压测验证和监控调整,并结合实际案例(5000qps、500ms响应时间、4核8G机器)给出具体参数设置建议。此外,还提供了《尼恩Java面试宝典PDF》等资源,帮助读者提升技术能力,顺利通过大厂面试。关注【技术自由圈】公众号,回复“领电子书”获取更多学习资料。
|
10月前
|
存储 NoSQL Redis
阿里面试:Redis 为啥那么快?怎么实现的100W并发?说出了6大架构,面试官跪地: 纯内存 + 尖端结构 + 无锁架构 + EDA架构 + 异步日志 + 集群架构
阿里面试:Redis 为啥那么快?怎么实现的100W并发?说出了6大架构,面试官跪地: 纯内存 + 尖端结构 + 无锁架构 + EDA架构 + 异步日志 + 集群架构
阿里面试:Redis 为啥那么快?怎么实现的100W并发?说出了6大架构,面试官跪地: 纯内存 + 尖端结构 +  无锁架构 +  EDA架构  + 异步日志 + 集群架构
|
12月前
|
存储 SQL 算法
阿里面试:每天新增100w订单,如何的分库分表?这份答案让我当场拿了offer
例如,在一个有 10 个节点的系统中,增加一个新节点,只会影响到该新节点在哈希环上相邻的部分数据,其他大部分数据仍然可以保持在原节点,大大减少了数据迁移的工作量和对系统的影响。狠狠卷,实现 “offer自由” 很容易的, 前段时间一个武汉的跟着尼恩卷了2年的小伙伴, 在极度严寒/痛苦被裁的环境下, offer拿到手软, 实现真正的 “offer自由”。在 3 - 5 年的中期阶段,随着业务的稳定发展和市场份额的进一步扩大,订单数据的增长速度可能会有所放缓,但仍然会保持在每年 20% - 30% 的水平。
阿里面试:每天新增100w订单,如何的分库分表?这份答案让我当场拿了offer