基础概念
BIO、NIO和AIO这三个概念分别对应三种通讯模型:阻塞、非阻塞、非阻塞异步
- BIO:一个连接一个线程,客户端有连接请求时服务器端就需要启动一个线程进行处理,线程开销大。
- NIO:一个请求一个线程,客户端发送的连接请求会注册到多路复用器上,多路复用器轮询到该连接有I/O请求时才启动一个线程进行处理;
- AIO:一个有效请求一个线程,客户端的I/O请求都是由OS先完成了再通知服务器应用去启动线程进行处理
通俗地概括一下就是:
- 1)BIO是面向流的,NIO是面向缓冲区的;
- 2)BIO的各种流是阻塞的,而NIO是非阻塞的;
- 3)BIO的Stream是单向的,而NIO的channel是双向的。
NIO的的显著特点:事件驱动模型、单线程处理多任务、非阻塞I/O,I/O读写不再阻塞,而是返回0、基于block的传输比基于流的传输更高效、更高级的IO函数zero-copy、IO多路复用大大提高了Java网络应用的可伸缩性和实用性。基于Reactor线程模型。
官网
What’s Netty
Netty是一个Java NIO技术的开源异步事件驱动的网络编程框架,用于快速开发可维护的高性能协议服务器和客户端。通俗一点就是一个将Java NIO进行了大量封装,并大大降低Java NIO使用难度和上手门槛的超牛逼框架。
Why Netty
- 1)高并发:基于 NIO(Nonblocking IO,非阻塞IO)开发,对比于 BIO(Blocking I/O,阻塞IO),他的并发性能得到了很大提高;
- 2)传输快:传输依赖于零拷贝特性,尽量减少不必要的内存拷贝,实现了更高效率的传输;
- 3)封装好:封装了 NIO 操作的很多细节,提供了易于使用调用接口
Netty的优势:
1)使用简单:封装了 NIO 的很多细节,使用更简单;
2)功能强大:预置了多种编解码功能,支持多种主流协议;
3)扩展性强:可以通过 ChannelHandler 对通信框架进行灵活地扩展;
4)性能优异:通过与其他业界主流的 NIO 框架对比,Netty 的综合性能最优;
5)运行稳定:Netty 修复了已经发现的所有 NIO 的 bug,让开发人员可以专注于业务本身;
6)社区活跃:Netty 是活跃的开源项目,版本迭代周期短,bug 修复速度快
Netty高性能表现在哪些方面?
1)IO 线程模型:同步非阻塞,用最少的资源做更多的事;
2)内存零拷贝:尽量减少不必要的内存拷贝,实现了更高效率的传输;
3)内存池设计:申请的内存可以重用,主要指直接内存。内部实现是用一颗二叉查找树管理内存分配情况;
4)串形化处理读写:避免使用锁带来的性能开销;
5)高性能序列化协议:支持 protobuf 等高性能序列化协议
更多请移步:Netty - 回顾Netty高性能原理和框架架构解析
About Netty Author & Leader
Netty的创始人是韩国人Trustin Lee,80年出生,8岁起在MSX迷你计算机上编写BASIC程序,爱好游戏编程以及使用汇编、C和C++解决编程问题,1998年获得韩国信息奥林匹克竞赛铜牌。
就读于韩国Yonsei大学计算机系期间,曾为多家公司编写高性能网络应用以及少量的web程序,毕业后,就职于Arreo通讯公司,该公司为韩国最大的移动短信提供商之一。
他现在韩国line公司工作(据他个人博客显示,他以于2020年8月底从Line离职了 ),早前应用较多的Mina也是这牛人的作品
- 个人博客:
- Github:https://github.com/trustin
Netty目前的项目leader是德国人Norman Maurer(之前在Redhat,全职开发Netty),也是《Netty in Action》的作者,目前是苹果公司高级工程师
What can Netty do
- 一方面:现在物联网的应用无处不在,大量的项目都牵涉到应用传感器和服务器端的数据通信,Netty作为基础通信组件、能够轻松解决之前有较高门槛的通信系统开发,你不用再为如何解析各类简单、或复杂的通讯协议而薅头发了
- 另一方面:现在互联网系统讲究的都是高并发、分布式、微服务,各类消息满天飞(IM系统、消息推送系统就是其中的典型),Netty在这类架构里面的应用可谓是如鱼得水,如果你对当前的各种应用服务器不爽,那么完全可以基于Netty来实现自己的HTTP服务器、FTP服务器、UDP服务器、RPC服务器、WebSocket服务器、Redis的Proxy服务器、MySQL的Proxy服务器等等
Netty开发流程
Flow HL View
Netty开发的基本套路很简洁,服务器端和客户端都是这样。
大致的套路基本如下:
客户端开发
Handler
首先创建Handler类,该类用于接收服务器端发送的数据,这是一个简化的类,只重写了消息读取方法channelRead0
、捕捉异常方法exceptionCaught
客户端的Handler一般继承的是SimpleChannelInboundHandler
,该类有丰富的方法,心跳、超时检测、连接状态等等
package com.artisan.netty.client; import io.netty.buffer.ByteBuf; import io.netty.channel.ChannelHandler; import io.netty.channel.ChannelHandlerContext; import io.netty.channel.SimpleChannelInboundHandler; import io.netty.util.CharsetUtil; /** * @author 小工匠 * @version 1.0 * @desc: 通用handler,处理I/O事件 * @mark: show me the code , change the world */ @ChannelHandler.Sharable public class HandlerClientHello extends SimpleChannelInboundHandler<ByteBuf> { @Override protected void channelRead0(ChannelHandlerContext channelHandlerContext, ByteBuf byteBuf) throws Exception { /** * @Description 处理接收到的消息 **/ System.out.println("接收到的消息:" + byteBuf.toString(CharsetUtil.UTF_8)); } @Override public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception { /** * @Description 处理I/O事件的异常 **/ cause.printStackTrace(); ctx.close(); } }
- 1)
@ChannelHandler.Sharable
:这个注解是为了线程安全,如果不在乎是否线程安全,不加也可以; - 2)
SimpleChannelInboundHandler
:这里的类型可以是ByteBuf,也可以是String,还可以是对象,根据实际情况来; - 3)
channelRead0
:消息读取方法,注意名称中有个0; - 4)
ChannelHandlerContext
:通道上下文,代指Channel; - 5)
ByteBuf
:字节序列,通过ByteBuf操作基础的字节数组和缓冲区,因为JDK原生操作字节麻烦、效率低,所以Netty对字节的操作进行了封装,实现了指数级的性能提升,同时使用更加便利; - 6)
CharsetUtil.UTF_8
:指定字节数组转换为字符串时的编码格式
客户端启动类
客户端启动类根据服务器端的IP和端口,建立连接,连接建立后,实现消息的双向传输。
package com.artisan.netty.client; import io.netty.bootstrap.Bootstrap; import io.netty.buffer.Unpooled; import io.netty.channel.ChannelFuture; import io.netty.channel.ChannelInitializer; import io.netty.channel.EventLoopGroup; import io.netty.channel.nio.NioEventLoopGroup; import io.netty.channel.socket.SocketChannel; import io.netty.channel.socket.nio.NioSocketChannel; import io.netty.util.CharsetUtil; import java.net.InetSocketAddress; /** * @author 小工匠 * @version 1.0 * @desc: 客户端启动类 * @mark: show me the code , change the world */ public class AppClientHello { private final String host; private final int port; public AppClientHello(String host, int port) { this.host = host; this.port = port; } /** * 配置相应的参数,提供连接远端的方法 */ public void run() throws Exception { // I/O线程池 EventLoopGroup eventLoopGroup = new NioEventLoopGroup(); try { // 客户端辅助启动类 Bootstrap bootstrap = new Bootstrap(); bootstrap.group(eventLoopGroup) // 实例化一个Channel .channel(NioSocketChannel.class) // 指定远端地址 .remoteAddress(new InetSocketAddress(host, port)) // 进行通道初始化配置 .handler(new ChannelInitializer<SocketChannel>() { @Override protected void initChannel(SocketChannel socketChannel) throws Exception { //添加我们自定义的Handler socketChannel.pipeline().addLast(new HandlerClientHello()); } }); // 连接到远端,等待完成 ChannelFuture future = bootstrap.connect().sync(); // 发送消息到服务器,指定编码格式为UTF-8 future.channel().writeAndFlush(Unpooled.copiedBuffer("Hello Artisan", CharsetUtil.UTF_8)); // 阻塞操作,closeFuture()开启了一个channel的监听器(这期间channel在进行各项工作),直到链路断开 future.channel().closeFuture().sync(); } finally { eventLoopGroup.shutdownGracefully().sync(); } } public static void main(String[] args) throws Exception { new AppClientHello("127.0.0.1", 18080).run(); } }
- 1)
ChannelInitializer
:通道Channel的初始化工作,如加入多个handler,都在这里进行; - 2)
bs.connect().sync()
:这里的sync()表示采用的同步方法,这样连接建立成功后,才继续往下执行; - 3)
pipeline()
:连接建立后,都会自动创建一个管道pipeline,这个管道也被称为责任链,保证顺序执行,同时又可以灵活的配置各类Handler,这是一个很精妙的设计,既减少了线程切换带来的资源开销、避免好多麻烦事,同时性能又得到了极大增强
服务端开发
Handler
和客户端一样,只重写了消息读取方法channelRead
(注意这里不是channelRead0
)、捕捉异常方法exceptionCaught
另外服务器端Handler继承的是ChannelInboundHandlerAdapter
,而不是SimpleChannelInboundHandler
package com.artisan.netty.server; import io.netty.buffer.ByteBuf; import io.netty.buffer.Unpooled; import io.netty.channel.ChannelHandler; import io.netty.channel.ChannelHandlerContext; import io.netty.channel.ChannelInboundHandlerAdapter; import io.netty.util.CharsetUtil; /** * @author 小工匠 * @version 1.0 * @desc: 服务器端I/O处理类 * @mark: show me the code , change the world */ @ChannelHandler.Sharable public class HandlerServerHello extends ChannelInboundHandlerAdapter { @Override public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception { // 处理接收到的数据,并反馈给客户端 ByteBuf in = (ByteBuf) msg; System.out.println("收到客户端发过来的消息: " + in.toString(CharsetUtil.UTF_8)); // 写入并发送到远端(客户端) ctx.channel().writeAndFlush(Unpooled.copiedBuffer("你好,我是Server,已收到消息", CharsetUtil.UTF_8)); } @Override public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception { //出现异常的时候执行的动作(打印并关闭通道) cause.printStackTrace(); ctx.close(); } }
服务器端启动类
服务器端启动类比客户端启动类稍显复杂一点
package com.artisan.netty.server; import com.artisan.netty.client.AppClientHello; import io.netty.bootstrap.ServerBootstrap; import io.netty.channel.Channel; import io.netty.channel.ChannelFuture; import io.netty.channel.ChannelInitializer; import io.netty.channel.EventLoopGroup; import io.netty.channel.nio.NioEventLoopGroup; import io.netty.channel.socket.SocketChannel; import io.netty.channel.socket.nio.NioServerSocketChannel; /** * @author 小工匠 * @version 1.0 * @description: 服务器端启动类 * @mark: show me the code , change the world */ public class AppServerHello { private int port; public AppServerHello(int port) { this.port = port; } public void run() throws InterruptedException { // Netty的Reactor线程池,初始化了一个NioEventLoop数组,用来处理I/O操作,如接受新的连接和读/写数据 EventLoopGroup group = new NioEventLoopGroup(); try { // 启动NIO服务 ServerBootstrap serverBootstrap = new ServerBootstrap(); // 参数配置 serverBootstrap.group(group) //通过工厂方法设计模式实例化一个channel .channel(NioServerSocketChannel.class) //设置监听端口 .localAddress(port) //配置childHandler来通知一个关于消息处理的InfoServerHandler实例 .childHandler(new ChannelInitializer<SocketChannel>() { //ChannelInitializer是一个特殊的处理类,他的目的是帮助使用者配置一个新的Channel,用于把许多自定义的处理类增加到pipline上来 @Override protected void initChannel(SocketChannel socketChannel) throws Exception { socketChannel.pipeline().addLast(new HandlerServerHello()); } }); // 绑定服务器,该实例将提供有关IO操作的结果或状态的信息 ChannelFuture future = serverBootstrap.bind(port).sync(); System.out.println("在" + future.channel().localAddress() + "上开启监听"); //阻塞操作,closeFuture()开启了一个channel的监听器(这期间channel在进行各项工作),直到链路断开 future.channel().closeFuture().sync(); } catch (InterruptedException e) { throw new RuntimeException(e); } finally { group.shutdownGracefully().sync();//关闭EventLoopGroup并释放所有资源,包括所有创建的线程 } } public static void main(String[] args) throws InterruptedException { new AppServerHello(18080).run(); } }
- 1)
EventLoopGroup
:实际项目中,这里创建两个EventLoopGroup
的实例,一个负责接收客户端的连接,另一个负责处理消息I/O,这里为了简单展示流程,让一个实例把这两方面的活都干了; - 2)
NioServerSocketChannel
:通过工厂通过工厂方法设计模式实例化一个channel,这个在大家还没有能够熟练使用Netty进行项目开发的情况下,不用去深究
运行示例
先启动Server, 再启动Client