1、主从多Reactor模型
不知道大家有没有发现面向网络编程的框架都非常突出线程模型,其实也不难理解,因为网络编程是IO密集型,合理使用线程对提高性能有着非常显著的作用。
在网络编程模型中,有一个非常经典的线程模型:主从多Reactor模型,其示意图如下所示:
我们首先简单介绍一下上图中涉及的几个重要角色:
- Acceptor
请求接收者,在实践时其职责类似服务器,并不真正负责连接请求的建立,而只将其请求委托 Main Reactor 线程池来实现,起到一个转发的作用。 - Main Reactor
主 Reactor 线程组,主要负责连接事件,并将IO读写请求转发到 SubReactor 线程池。当然在一些需要对客户端进行权限控制等场景下,权限校验的职责可以放到 Main Reactor 线程池,即 Main Reactor 也可以注册通道的读写事件,读取客户端权限校验相关的数据包,执行权限验证,权限验证通过后再将2通道注册到IO线程。 - Sub Reactor
Main Reactor 通常监听客户端连接后会将通道的读写转发到 Sub Reactor 线程池中一个线程(负载均衡),负责数据的读写。在 NIO 中 通常注册通道的读(OP_READ)、写事件(OP_WRITE)。
上面的图非常经典,除了介绍了线程模型相关知识外,其实还罗列出了网络通信的核心步骤:
- 编码/解码(通信协议)
- 认证授权
- 网络读、写
- 业务逻辑处理线程池
上述的线程模型非常经典,那我们能否基于NIO,来模拟实现上面的线程模型呢?
2、基于NIO实现主从多Reactor模型
我听一个技术圈大佬对我说过这样一句话:NIO是一名程序员进阶的第一个门槛,也是必需跨过的门槛。
笔者将尝试用NIO实现Reactor模型,成为NIO界最强的"Hello Wold"。
为了接下来的代码进行展示与讲解,首先先罗列出其核心类图:
各个类的职责说明情况如下:
- Acceptor
服务端接收器,主要绑定端口,将ServerSocketChannel转发到MainReactor,及主从多Reactor模型中的主Reactor中。如果服务端绑定多个端口,则会创建多个ServerSocketChannel,但通常情况只会绑定到一个端口。 - MainReactor
主Reactor,主要承担接受客户端的连接请求,即主要负责OP_ACCEPT事件的处理,并将创建的连接(SocketChannel)转发到从Reactor线程组,由其处理读写事件。 - SubReactorThreadGroup
从Reactor线程组,维护多个Reactor线程,并提供负载均衡。 - SubReactorThread
从Reactor,主要负责IO读写,俗称IO线程。
在上源码之前我们再来看一下整个示例到时序图:
核心的关键点如下:
- Acceptor主要是创建ServerSocketChannel,然后转发给MainReactor
- MainReactor中维护一个NIO Selector事件选择器,注册OP_ACCEPT事件,每处理一个OP_ACCEPT,表示一个新的客户端连接,在服务端会创建一个SocketChannel对象,接着将该对象转发到从Reactor。
- SubReactorThreadGroup
主从多Reactor模型中的从Reactor组,包含多个从Reactor线程,新的连接会进行负载均衡,选择其中一个Reactor来处理特定的SocketChannel。 - SubReactorThread
从Reactor线程,会维护一个Nio Selector,会将SocketChannel注册到该事件选择器,处理读、写请求,一个Selector中会包含多个Channel(SocketChannel),但一个SocketChannel在其生命周期中只会注册到一个Selector,这样可以简化处理模型。
程序员希望不服就干,接下来我将展示基于NIO实现多Reactor的代码,应该是全网目前第一个直接用代码实现。
温馨提示:为了便于排版,本文中的代码统一用截图进行展示,代码获取方式:私信回复 reactorcode 即可获取。
2.1 Acceptor代码实现
Acceptor代码实现如下:
Acceptor代码实现比较简单,就是利用NIO提供的API创建ServerSocketChannel,并设置为非阻塞模式,并调用bind方法绑定端口,然后转发到MainReactor中。
2.2 MainReactor代码实现
MainReactor代码实现如下图所示:
代码实现要点:
- 创建Selector选择器对象,并注册OP_ACCEPT事件,用于监听客户端的链接
- 创建从Reactor线程组
- NIO事件选择经典使用方法,通过循环调用selector的select方法,此方法会返回当前就绪的事件,例如读事件就绪,表明此时调用该通道的网络读API,一定会返回有效数据
- 如果当前事件是OP_ACCEPT,则调用ServerSocketChannel的accept方法,创建一个SocketChannel对象,并转发到从Reactor线程组中。
2.3 SubReactorThreadGroup代码实现
SubReactorThreadGroup的角色是充当从Reactor线程组,其代码实现如下图所示:
主要的关键点如下:
- 内部持有一个业务线程池,
- 用于执行业务逻辑,可类比Dubbo中的用于执行服务提供这各个Service的业务代码
- 通过next()进行负载均衡,选择一个从Reactor。
- 这里使用了NioTask,主要是因为Selector虽然是线程安全的,但其内部持有的Key Set是线程不安全的,故这里为保证Selector的现线程安全性,selector的任何方法只会在从Reactor线程中执行,这里只是添加到任务队列中,最终会由从Reactor线程去执行。
2.4 SubReactorThread代码实现
该类是从Reactor到核心逻辑,接下来将详细介绍其实现。
主要是提供增加IO读写任务(NioTask)添加到任务队列中,并在执行业务逻辑时转发到业务线程池。
接下来详细介绍SubReactorThread到run方法实现,重点关注读写事件的处理流程。
Step1:NIO事件处理的核心要点:
- 事件选择器的常用套路,调用select进行事件就绪选择,然后遍历就绪集合。
- 如果事件类型为写事件,直接将数据通过调用通道的write方法将数据写入到网络,这里的核心关键点:
调用SocketChannel的write方法会返回本次写入的字节数,如果等于0,并且数据还未全部写入,则说明写入缓存区已满,需要再次注册写事件。
- 如果事件类型为读事件,调用SocketChannel的read方法将从网络中读取数据,这里有几个侧重点需要说明:
- 一次read读取有可能并没有完整夺取一个请求,该方法可以调用多次,当返回0时可以停止继续读取。
- read方法将数据读取到ByteBuffer(缓存区),如何从缓存区中读取一个完整的请求是关键,因为该缓存区中可能包含一个请求,也可以包含多个。这里的解决方案就是:编码、解码,关于这部分内容,大家可以参考文章:https://mp.weixin.qq.com/s/GDyG7wWLU5YijKvhFwljXg
- 经过解码,从请求流中解码一个请求后,将请求转发到业务线程池。
处理完事件选择相关的任务后,开始执行应用程序的任务,例如读事件注册、写操作。这里的关键点是调用SocketChannel的write方法会返回本次写入的字节数,如果等于0,并且数据还未全部写入,则说明写入缓存区已满,需要再次注册写事件,否则应该取消写事件。
2.5 代码获取
代码不利于排版,故本文中的代码全部使用截图