Netty进阶:手把手教你如何编写一个NIO客户端

简介: Netty进阶:手把手教你如何编写一个NIO客户端

Netty是一款非常优秀的网络编程框架,是对NIO的二次封装,本文将重点剖析Netty客户端的启动流程,深入底层了解如何使用NIO编程客户端。


本文是笔者基于问题的启发式源码阅读技巧的展示,请带着如下问题开始本文的阅读:


  • Netty是如何将客户端的事件加入到事件链中?
  • Netty客户端在启动时需要注册读事件?
  • Netty客户端在启动时需要注册写事件?
  • 如果让你基于NIO写一个客户端需要实现的关键点是什么呢?


上面的问题也可以这样问:在使用NIO实现客户端时该注册哪些事件?


本节将详细学习Netty4客户端的启动流程,我们从一个Netty客户端使用示例入手。


1、Netty 客户端示例


Netty客户端示例如下:


7c23699629c9d38a389b492a79588b36.png

对上面的步骤一一说明如下:


代码@1:创建 NIO EventLoopGroup,NIO 事件轮询器。


代码@2:创建Bootstrap实例,Netty提供的客户端操作工具类。


代码@3:指定创建 Channel 类型,客户端是 NioSocketChannel。


代码@4:通过option方法设置网络相关属性,可多次调用。


代码@5:通过调用 handler 方法添加客户端的事件处理器链。具体使用匿名类 ChannelInitializer,事件处理器链中通常会包含编码器解码器业务处理Handler(业务处理的入口)。


代码@6:调用 connect 方法异步建立连接。通过调用sync()方法转同步调用,等连接成功建立后才返回。


代码@7:创建一个Close Future,并且同步等待关闭事件的到达。


代码@8:安全优雅的关闭事件线程组。在具体事件过程中并不会这么使用,而是会将连接进行缓存,例如使用一个Map按IP进行缓存,发往同一个IP的请求使用同一条连接,在需要断开连接时再调用方法。


温馨提示:上述只是Demo级的示例,后续会给出工业级的Netty使用实战。

2、Netty客户端启动流程


本文试图揭晓Netty客户端的启动流程,让大家从底层彻底掌握其实现细节,便于更好的应用Netty,特别是对应排障起到一个很好的技能储备。


Netty 客户端的启动流程入口:


7b445ca96874765d6333030b01a91ac2.png

其最终调用其 doConnect 方法。

d43fd8e7d449a0d6d3d30709571472cd.png

代码@1:调用 initAndRegister 初始化和注册到事件选择器,可联想 NIO 中通道创建后需要注册读写事件,这里就是需要将通道注册到事件选择器,稍后会重点介绍。


代码@2:initAndRegister 采用了异步机制,更确切是采用了 Future模式。如果已经完成则直接调用 doConnect0 方法执行连接。


代码@3:否则在 Future 上注册事件监听器,等注册成功后再进行调用连接。


接下来会对上面两个重要步骤进行详细介绍,这里给我们使用 Future 模式提供了很好的示例


2.1 通道注册


客户端在连接之前需要先将通道注册到事件选择器(Selector)中,具体事项如下图所示:

fcff2a6150b54d4ceaf2055fa2e682de.png

关键如下:


代码@1:调用 init 方法对通过进行初始化,稍后详细介绍。


代码@2:将通过注册到事件轮询器中。


2.1.1 通道初始化


通道初始化其代码如下:

939eb39255455b930948f6dab07f0f79.png

代码@1:将用户定义的Handler加入到事件处理器链(ChannelPipeline),这里非常关键:客户端在启动时我们是通过 Bootstrap 的 handler 方法设置事件链。


代码@2、3主要是设置网络选项、属性。


思考题:Netty是如何将客户端定义的多个Handler加入到事件链中呢?


这个问题其实的本质是用户自定义的 ChannelInitializer 的 initChannel 方法在什么时候调用。


要解开该问题,我们就需要来看一下 ChannelInitializer。

95f4f1838f42e980ecc32f74eb3a5edd.png

上面图的几个关键点:


  • 将Handler 加入到 ChannelPipeline 时其 handlerAdded 方法会被调用,其逻辑是如果该通道已经被注册到事件处理器则调用 initChannel 方法。
  • 通道被注册到事件选择器(Selector)时会调用。
  • initChannel 方法支持幂等,保证一个通道的 initChannel 方法不会被多次调用。


2.1.2 通道注册


通道注册的入口方法:SingleThreadEventLoop。

NIO 的最终入口为 AbstractChannel 的内部类 AbstractUnsafe中的register方法。


ba8eba04dee44aba88ed2c17b1497a82.png

这里无不透漏着Netty一个非常重要的编程技巧:一个通道会持有一个事件选择器(EventLoop),如果调用通道的方法的线程不是EventLoop,则会把任务提交到EventLoop中执行。


接下来重点看一下register0 方法,非常关键的一个方法。

9e64033a800f687db710b7b54a9ce64b.png

代码@1:进行底层NIO层面的注册,最终调用 AbstractNio 的 doRegister。

a706bd8393c40233717f954e58c1a7ab.png

注意:通道注册,其注册的OP为0,并没有关注任何的事件(读、写等)那问题来了,读写等事件在什么时候注册呢?


代码@2:触发 handlerAdd 事件,因为在介绍ChannelInitializer handlerAdd事件执行的条件是通道已注册,如果未注册会将任务先挂起,这里就是触发其执行。


代码@3:传播通道注册事件,即在调用底层 NIO 的 register 方法将通道注册到事件选择器(Selector)后传播注册事件。


代码@4:如果通道激活并且是首次注册,则传播通道激活事件


代码@5:如果通道不是首次注册并且开启了自动注册读事件,则自动为通道注册读事件。beginRead 方法最终会调用 AbstractNioChannel 的如下方法,底层使用了NIO的 selectionKey.interestOps 方法。

a72c7451622311512865fb445ceec165.png

通道的注册流程就介绍到这里了。


在NIO中,如果不注册读事件,不会从底层网络中读取数据,则对应客户端来说就不会去处理响应包,相对服务端来说不会去解析请求包,也就是无法完成请求与响应,故在NIO编程中,通道必须注册读事件。


注册的逻辑就基本完成了,那问题来了,虽然开启了自动注册读事件,但初次注册时只是传播了channelActive事件,那在何时会注册读事件呢?


原理在传播 channelActive 事件后,在开启了自动注册读事件后自动注册读事件,其代码在 DefaultChannelPipeline 中内部类 HeadContext 的 channelActive 方法,其代码截图如下:

e085a6a4258975b5e8c6e0df78dff8a5.png


2.2 连接服务端


在来看一下客户端的启动核心方法:

d43fd8e7d449a0d6d3d30709571472cd.png

在完成了通道的初始化并注册到事件选择器后,接下来就需要向服务端发起连接操作,最终调用 doConnect0 方法,其基本的调用链如下图所示:

f789a7ce74610773779283084ffce445.png

故接下来我们重点从 AbstractNioUnsafe 的 connect 方法进行深入追踪。

a857d003b92d0ef9e24f0100be2dcf1e.png

上面的方法几个关键点如下:


  • 获取通道是否激活。
  • 调用内部的doConnect 完成连接,将调用底层NIO相关的方法,从该方法可以学习如何编写NIO的连接代码,稍后会详细介绍。
  • 由于NIO都是非阻塞的,doConnect 方法返回后并不代表通道已成功连接到服务端,故需要开启一个定时任务进行跟踪(连接超时时间)。


接下来我们详细介绍一下如何使用NIO编写连接代码。


de78d75db6951868192a149a753a03f1.png

代码@1:客户端连接服务端,通常是采用随机端口,当如果需要绑定到指定端口,调用 SocketChannel 的 bind 方法即可。


代码@2:调用底层 NIO 的 connect 方法,注意该方法并不会阻塞,返回成功表示连接建立成功;返回 false 表示还在连接中。


代码@3:如果是连接中,则注册OP_CONNECT事件,等连接成功后会收到对应的事件。


注册 OP_CONNECT 事件后,在事件选择器 NioEventLoop 的事件处理流程中会专门处理 OP_CONNECT 事件:

73389589ed501afb21b8a5e142473a01.png

NIO模式代码最终调用 NioSocketChannel 的 doFinishConnect 方法:

9a6859059ce05a4d539104610b6599d1.png

该方法通道在非阻塞模式下,如果连接未成功建立会返回false,由于这里是基于事件选择的,是在连接成功创建后才会触发,故这里只是简单的进行校验连接是否成功建立。


最后通道成功建立,需要触发通道激活事件,见下图所示:

14d488e531b53754c77ed7b0b41725eb.png


相关文章
|
2月前
|
网络协议 前端开发
netty的TCP服务端和客户端实现
本文介绍了使用Netty框架实现TCP服务端和客户端的步骤,包括添加Netty依赖、编写服务端和客户端的代码,涉及NioEventLoopGroup、ServerBootstrap、Bootstrap、ChannelInitializer等核心组件,以及如何启动服务端监听和客户端连接。
172 4
|
4月前
|
设计模式
Lettuce的特性和内部实现问题之Netty NIO的性能优于BIO的问题如何解决
Lettuce的特性和内部实现问题之Netty NIO的性能优于BIO的问题如何解决
|
28天前
|
消息中间件 缓存 Java
java nio,netty,kafka 中经常提到“零拷贝”到底是什么?
零拷贝技术 Zero-Copy 是指计算机执行操作时,可以直接从源(如文件或网络套接字)将数据传输到目标缓冲区, 而不需要 CPU 先将数据从某处内存复制到另一个特定区域,从而减少上下文切换以及 CPU 的拷贝时间。
java nio,netty,kafka 中经常提到“零拷贝”到底是什么?
|
2月前
使用Netty实现文件传输的HTTP服务器和客户端
本文通过详细的代码示例,展示了如何使用Netty框架实现一个文件传输的HTTP服务器和客户端,包括服务端的文件处理和客户端的文件请求与接收。
55 1
使用Netty实现文件传输的HTTP服务器和客户端
|
3月前
|
Java
Netty BIO/NIO/AIO介绍
Netty BIO/NIO/AIO介绍
|
4月前
|
网络协议 C# 开发者
WPF与Socket编程的完美邂逅:打造流畅网络通信体验——从客户端到服务器端,手把手教你实现基于Socket的实时数据交换
【8月更文挑战第31天】网络通信在现代应用中至关重要,Socket编程作为其实现基础,即便在主要用于桌面应用的Windows Presentation Foundation(WPF)中也发挥着重要作用。本文通过最佳实践,详细介绍如何在WPF应用中利用Socket实现网络通信,包括创建WPF项目、设计用户界面、实现Socket通信逻辑及搭建简单服务器端的全过程。具体步骤涵盖从UI设计到前后端交互的各个环节,并附有详尽示例代码,助力WPF开发者掌握这一关键技术,拓展应用程序的功能与实用性。
128 0
|
4月前
|
存储 网络协议 Java
【Netty 神奇之旅】Java NIO 基础全解析:从零开始玩转高效网络编程!
【8月更文挑战第24天】本文介绍了Java NIO,一种非阻塞I/O模型,极大提升了Java应用程序在网络通信中的性能。核心组件包括Buffer、Channel、Selector和SocketChannel。通过示例代码展示了如何使用Java NIO进行服务器与客户端通信。此外,还介绍了基于Java NIO的高性能网络框架Netty,以及如何用Netty构建TCP服务器和客户端。熟悉这些技术和概念对于开发高并发网络应用至关重要。
80 0
|
5月前
|
安全 NoSQL Java
网络安全-----Redis12的Java客户端----客户端对比12,Jedis介绍,使用简单安全性不足,lettuce(官方默认)是基于Netty,支持同步,异步和响应式,并且线程是安全的,支持R
网络安全-----Redis12的Java客户端----客户端对比12,Jedis介绍,使用简单安全性不足,lettuce(官方默认)是基于Netty,支持同步,异步和响应式,并且线程是安全的,支持R
|
7月前
|
Java 应用服务中间件 API
从零手写实现 tomcat-06-servlet bio/thread/nio/netty 池化处理
该文介绍了逐步改进的网络服务器实现,从最初的 BIO 基础版到使用线程池的 BIO+Thread,再到 NIO 版本和 NIO+Thread,最后展示了一个使用 Netty 框架的简洁实现。文章旨在说明如何解决阻塞问题,并对比不同模型的优劣,最终推荐使用 Netty 以简化 NIO 编程。
|
7月前
|
编解码 网络协议 Java
用Java的BIO和NIO、Netty实现HTTP服务器(一) BIO与绪论
用Java的BIO和NIO、Netty实现HTTP服务器(一) BIO与绪论