大厂Offer收割机:Netty处理写事件之连环四问,你能抗住吗?

简介: 大厂Offer收割机:Netty处理写事件之连环四问,你能抗住吗?

系列已分别介绍了服务端、客户端的启动流程、网络读事件处理流程,本文将重点剖析Netty是如何封装NIO的写事件。


温馨提示:本文虽然是源码分析,但强烈建议精读,因为根据源码阐述其背后的设计哲学,也用黑体进行了标注,请特别留意。


在阅读本篇文章之前,请稍微思考如下几个问题:


  • 写事件需要先注册才能往通道中写入数据?
  • 什么时候需要向通道注册写事件呢?
  • 业务线程池执行业务逻辑后,是如何通过IO线程将数据写入到网络中的呢?
  • Netty中如何针对写限流


1、写事件概述


写事件,顾名思义,就是将数据写入网络,通过网络传输给接收端,通常我们知道业务都会在专属的业务线程池中执行,那数据是如何通过IO线程写入网络中的呢?


740dacc7589377905f6b9eb6f443e352.png

正如上图中的线程模型,业务线程池是如何将数据通过IO线程写入网络中的呢?


接下来我们将带着问题,尝试看Netty是如何封装NIO的写事件。


2、写事件处理流程分析


在Netty中,写事件的处理入口为NioEventLoop的processSelectedKey方法:

34ba30ce877e4c0e47a6a9ec9a2f0e02.png


根据调用链,最终调用AbstractChannel的内部类AbstractUnsafe的flush0方法。

f953738cba67943a8a69d5dc3c13ff5b.png

该方法有三个实现要点:


  • 获取写缓存队列,如果写缓存队列为空,则跳过本次写事件。每一个通道独享一个写缓存队列,写事件触发执行的动作就是要将写缓存中的数据写入到网络中。
  • 如果通道处于未激活状态,需要清理写缓存区
  • 通过调用doWrite方法将写缓存中的数据写入网络通道中。

技巧:该方法的触发点是事件选择器,即NIO中的Selector事件线程,需要写入的数据是该通道对应的通道缓存,那写缓存中的数据从哪里来呢?通常业务线程如何将数据写入到通道的写缓存呢?


2.1 NIO写事件的优雅封装


首先,我们将写缓存区当成一个黑盒,先重点看一下doWrite方法的实现,窥探一下Netty是如何基于NIO来处理网络写入的。


51d22414231f9de8ec4c55a23123ba71.png

Step1:如果写缓存区中没有可写的数据,取消注册写事件。我们来看一下取消写事件的经典实现技巧:

3950e600691ee44a0621dcad45aff1e4.png

首先判断一下注册键是否有效,然后通过位运算,取消写事件。


思考题:问题来了,取消写事件,从系统层面就无法继续触发写操作了,那后续如何触发写事件呢?

e70ce6486f22809339b9ddfb46f86e01.png

写事件的处理要考虑如下几个问题:


  • 本次写缓存区中数据是否写完?
  • 如果底层网络Socket缓存区积压,导致写缓冲区未写完如何处理?
  • 如果网络缓存区数据特别大又如何处理?


Netty给出的解决方案如下:


  • 通过底层NIO的SocketChannel的write方法将数据写入到Socket缓存区,如果返回值为0,表示Socket缓冲区已满,需要暂停写入,具体做法,注册写事件,等待下次继续写入。
  • 如果写缓存区的数据全部处理完毕,可取消注册写事件,避免毫无意义的写事件就绪。
  • 如果写缓存区中数据很大,为了避免单个通道对其他通道的影响,默认设置单次写事件最多调用底层NIO SocketChannel的write方法次数,默认为16。


写事件的核心处理要点就介绍到这里了。


2.2 通道写缓冲区详解


在Netty中调用通道的write方法并不会立即将数据写入到底层网络Socket中,而是写入到“写缓存区”,为应用级别的缓存区,即ChannelOutboundBuffer,这是Netty实现写操作最重要的一个数据结构


2.2.1 类图


ChannelOutboundBuffer 的核心类图如下:


8934edaae95444f469ffbf5aa8bd4db8.png


核心属性与方法简介:


  • FastThreadLocal
    NIO_BUFFERS
    可以看出是线程本地变量ThreadLocal的优化版本,存储一个一个ByteBuffer数组。
  • Channel channel
    该写缓存区所属的通道,每一个Channel独享一个写缓冲区。
  • Entry flushedEntry
    表示第一个被刷新的Entry,在写入时,从该Entry开始写。
  • Entry unflushedEntry
    在链表中第一个未刷新的节点(未刷新链表中第一个节点)。
  • Entry tailEntry
    在链表中尾部的节点。
  • int flushed
    待写入的entry个数,这个数据代表在执行一次真正的flush(flush0),将会有多少个entry中的内容会被写入到通道。


接下来我们按照写事件对待写入缓存区方法调用的顺序来讲解一下该方法的核心实现逻辑。


2.2.2  size方法详解


public int size() {
    return flushed;
}

返回本次写缓存区可期望刷新的消息个数(Entry)。在NioSocketChannel的doWriter方法中,如果isEmpty返回true,直接结束本次写入操作,更加准确的是结束本次flush操作。


flushed该字段代表的当时待写入的Entry,如果为0,表示没有待flush的Entry,但不代表ChannelOutboundBuffer中没有Entry存在,比如调用Channel.writer方法,会往ChannelOutboundBuffer增加Entry,但在没有调用addFlush方法之前,ChannelOutboundBuffer中的flushed 字段的值不会增加。


2.2.3  addMessage方法详解


4bbd9553d1ae9be05d48354a8437d6f2.png

向写缓存中添加消息,方法本身的实现非常简单,因为ChannelOutboundBuffer其内部数据结构为一个链表,这是一个往链表中添加消息的过程,这里的关键点是该方法的调用入口为Channel的write方法,即调用通道的write方法只是将数据写入到写缓存,并不会触发真正的往网络中写消息。


该方法会调用incrementPendingOutboundBytes,我们简单看一下该方法的实现细节:

4d92d2f67675c74a0ec823caf343d523.png

该方法蕴含了Netty一个非常重要的机制,写操作限流,高低水位线机制。


当缓存区中存储的数据超过了设置的高水位线(阔值),则会设置为不可写,并向通道传播写状态变更事件


2.2.4  addFlush方法详解



75061fdb9cd88a952b8cc0f33967a260.png

该方法并没有真正的执行刷新动作,而是计算可刷写的Entry个数,一次刷新动作,会将unfluedEntry开始,一直扫描到tailEntry。


同样这里和Netty的写限流有关,将数据刷写后,会减少缓存区中的大小,如果低于设置的低水位线,会将缓存区恢复到可写状态。


该方法的调用入口为下图:

6db05a3de984107497e18b48b97e89da.png

即在调用通道的flush方法时会先计算本次看刷写到Socket缓存区中的数据,然后执行flush0方法执行真正的网络写,该方法在第一部分中已详细介绍。

9262f7f1b12171509988b175a6cb8311.png


相关文章
|
3月前
|
调度
Netty运行原理问题之事件调度工作的问题如何解决
Netty运行原理问题之事件调度工作的问题如何解决
|
6月前
|
编解码 开发者
Netty Review - 深入理解Netty: ChannelHandler的生命周期与事件处理机制
Netty Review - 深入理解Netty: ChannelHandler的生命周期与事件处理机制
142 0
|
数据库 容器
Netty实战(十六)UDP广播事件(二)编写广播者和监视器
Netty 提供了大量的类来支持 UDP 应用程序的编写
158 0
|
网络协议 数据安全/隐私保护 网络架构
Netty实战(十五)UDP广播事件(一)UDP简介和示例程序
用户数据报协议(UDP)上,它通常用在性能至关重要并且能够容忍一定的数据包丢失的情况下使用
476 0
|
存储 缓存 前端开发
Netty4 事件处理传播机制
Netty4 事件处理传播机制
Netty4 事件处理传播机制
|
网络协议 容器
【Netty】UDP广播事件
前面学习了WebSocket协议,并且通过示例讲解了WebSocket的具体使用,接着学习如何使用无连接的UDP来广播事件。
330 0
【Netty】UDP广播事件
|
前端开发
netty 事件驱动(一)
本篇文章着重于浅析一下Netty的事件处理流程,Netty版本为netty-3.6.6.Final。 Netty定义了非常丰富的事件类型,代表了网络交互的各个阶段。并且当各个阶段发生时,触发相应的事件交给pipeline中定义的handler处理。 举个例子,如下一段简单的代码: ChannelFactory factory = new NioServ
2241 0
netty 事件驱动(二)
上一篇文件浅析了Netty中的事件驱动过程,这篇主要写一下异步相关的东东。 首先,什么是异步了? 异步的概念和同步相对。当一个异步过程调用发出后,调用者不能立刻得到结果。实际处理这个调用的部件在完成后,通过状态、通知和回调来通知调用者。 异步的好处是不会造成阻塞,在高并发情形下会更稳定和更高的吞吐量。   说到Netty中的异步,就不得不提ChannelFuture。Netty中
1358 0
|
存储 缓存 NoSQL
跟着源码学IM(十一):一套基于Netty的分布式高可用IM详细设计与实现(有源码)
本文将要分享的是如何从零实现一套基于Netty框架的分布式高可用IM系统,它将支持长连接网关管理、单聊、群聊、聊天记录查询、离线消息存储、消息推送、心跳、分布式唯一ID、红包、消息同步等功能,并且还支持集群部署。
13497 1
|
6月前
|
消息中间件 Oracle Dubbo
Netty 源码共读(一)如何阅读JDK下sun包的源码
Netty 源码共读(一)如何阅读JDK下sun包的源码
127 1