Netty Review - 快速上手篇

简介: Netty Review - 快速上手篇


基础概念

BIO、NIO和AIO这三个概念分别对应三种通讯模型:阻塞、非阻塞、非阻塞异步

  • BIO:一个连接一个线程,客户端有连接请求时服务器端就需要启动一个线程进行处理,线程开销大。
  • NIO:一个请求一个线程,客户端发送的连接请求会注册到多路复用器上,多路复用器轮询到该连接有I/O请求时才启动一个线程进行处理;
  • AIO:一个有效请求一个线程,客户端的I/O请求都是由OS先完成了再通知服务器应用去启动线程进行处理

通俗地概括一下就是:

  • 1)BIO是面向流的,NIO是面向缓冲区的;
  • 2)BIO的各种流是阻塞的,而NIO是非阻塞的;
  • 3)BIO的Stream是单向的,而NIO的channel是双向的。

NIO的的显著特点:事件驱动模型、单线程处理多任务、非阻塞I/O,I/O读写不再阻塞,而是返回0、基于block的传输比基于流的传输更高效、更高级的IO函数zero-copy、IO多路复用大大提高了Java网络应用的可伸缩性和实用性。基于Reactor线程模型。


官网

https://netty.io/


What’s Netty

Netty是一个Java NIO技术的开源异步事件驱动的网络编程框架,用于快速开发可维护的高性能协议服务器和客户端。通俗一点就是一个将Java NIO进行了大量封装,并大大降低Java NIO使用难度和上手门槛的超牛逼框架。


Why Netty

  • 1)高并发:基于 NIO(Nonblocking IO,非阻塞IO)开发,对比于 BIO(Blocking I/O,阻塞IO),他的并发性能得到了很大提高;
  • 2)传输快:传输依赖于零拷贝特性,尽量减少不必要的内存拷贝,实现了更高效率的传输;
  • 3)封装好:封装了 NIO 操作的很多细节,提供了易于使用调用接口

Netty的优势:

1)使用简单:封装了 NIO 的很多细节,使用更简单;

2)功能强大:预置了多种编解码功能,支持多种主流协议;

3)扩展性强:可以通过 ChannelHandler 对通信框架进行灵活地扩展;

4)性能优异:通过与其他业界主流的 NIO 框架对比,Netty 的综合性能最优;

5)运行稳定:Netty 修复了已经发现的所有 NIO 的 bug,让开发人员可以专注于业务本身;

6)社区活跃:Netty 是活跃的开源项目,版本迭代周期短,bug 修复速度快

Netty高性能表现在哪些方面?

1)IO 线程模型:同步非阻塞,用最少的资源做更多的事;

2)内存零拷贝:尽量减少不必要的内存拷贝,实现了更高效率的传输;

3)内存池设计:申请的内存可以重用,主要指直接内存。内部实现是用一颗二叉查找树管理内存分配情况;

4)串形化处理读写:避免使用锁带来的性能开销;

5)高性能序列化协议:支持 protobuf 等高性能序列化协议

更多请移步:Netty - 回顾Netty高性能原理和框架架构解析


About Netty Author & Leader

Netty的创始人是韩国人Trustin Lee,80年出生,8岁起在MSX迷你计算机上编写BASIC程序,爱好游戏编程以及使用汇编、C和C++解决编程问题,1998年获得韩国信息奥林匹克竞赛铜牌。

就读于韩国Yonsei大学计算机系期间,曾为多家公司编写高性能网络应用以及少量的web程序,毕业后,就职于Arreo通讯公司,该公司为韩国最大的移动短信提供商之一。

他现在韩国line公司工作(据他个人博客显示,他以于2020年8月底从Line离职了 ),早前应用较多的Mina也是这牛人的作品



Netty目前的项目leader是德国人Norman Maurer(之前在Redhat,全职开发Netty),也是《Netty in Action》的作者,目前是苹果公司高级工程师



What can Netty do

  • 一方面:现在物联网的应用无处不在,大量的项目都牵涉到应用传感器和服务器端的数据通信,Netty作为基础通信组件、能够轻松解决之前有较高门槛的通信系统开发,你不用再为如何解析各类简单、或复杂的通讯协议而薅头发了
  • 另一方面:现在互联网系统讲究的都是高并发、分布式、微服务,各类消息满天飞(IM系统、消息推送系统就是其中的典型),Netty在这类架构里面的应用可谓是如鱼得水,如果你对当前的各种应用服务器不爽,那么完全可以基于Netty来实现自己的HTTP服务器、FTP服务器、UDP服务器、RPC服务器、WebSocket服务器、Redis的Proxy服务器、MySQL的Proxy服务器等等

Netty开发流程

Flow HL View

Netty开发的基本套路很简洁,服务器端和客户端都是这样。

大致的套路基本如下:

客户端开发

Handler

首先创建Handler类,该类用于接收服务器端发送的数据,这是一个简化的类,只重写了消息读取方法channelRead0、捕捉异常方法exceptionCaught

客户端的Handler一般继承的是SimpleChannelInboundHandler,该类有丰富的方法,心跳、超时检测、连接状态等等

package com.artisan.netty.client;
import io.netty.buffer.ByteBuf;
import io.netty.channel.ChannelHandler;
import io.netty.channel.ChannelHandlerContext;
import io.netty.channel.SimpleChannelInboundHandler;
import io.netty.util.CharsetUtil;
/**
 * @author 小工匠
 * @version 1.0
 * @desc: 通用handler,处理I/O事件
 * @mark: show me the code , change the world
 */
@ChannelHandler.Sharable
public class HandlerClientHello extends SimpleChannelInboundHandler<ByteBuf> {
    @Override
    protected void channelRead0(ChannelHandlerContext channelHandlerContext, ByteBuf byteBuf) throws Exception {
        /**
         * @Description 处理接收到的消息
         **/
        System.out.println("接收到的消息:" + byteBuf.toString(CharsetUtil.UTF_8));
    }
    @Override
    public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {
        /**
         * @Description 处理I/O事件的异常
         **/
        cause.printStackTrace();
        ctx.close();
    }
}
  • 1)@ChannelHandler.Sharable:这个注解是为了线程安全,如果不在乎是否线程安全,不加也可以;
  • 2)SimpleChannelInboundHandler:这里的类型可以是ByteBuf,也可以是String,还可以是对象,根据实际情况来
  • 3)channelRead0:消息读取方法,注意名称中有个0
  • 4)ChannelHandlerContext通道上下文,代指Channel;
  • 5)ByteBuf:字节序列,通过ByteBuf操作基础的字节数组和缓冲区,因为JDK原生操作字节麻烦、效率低,所以Netty对字节的操作进行了封装,实现了指数级的性能提升,同时使用更加便利;
  • 6)CharsetUtil.UTF_8:指定字节数组转换为字符串时的编码格式

客户端启动类

客户端启动类根据服务器端的IP和端口,建立连接,连接建立后,实现消息的双向传输。

package com.artisan.netty.client;
import io.netty.bootstrap.Bootstrap;
import io.netty.buffer.Unpooled;
import io.netty.channel.ChannelFuture;
import io.netty.channel.ChannelInitializer;
import io.netty.channel.EventLoopGroup;
import io.netty.channel.nio.NioEventLoopGroup;
import io.netty.channel.socket.SocketChannel;
import io.netty.channel.socket.nio.NioSocketChannel;
import io.netty.util.CharsetUtil;
import java.net.InetSocketAddress;
/**
 * @author 小工匠
 * @version 1.0
 * @desc: 客户端启动类
 * @mark: show me the code , change the world
 */
public class AppClientHello {
    private final String host;
    private final int port;
    public AppClientHello(String host, int port) {
        this.host = host;
        this.port = port;
    }
    /**
     * 配置相应的参数,提供连接远端的方法
     */
    public void run() throws Exception {
        // I/O线程池
        EventLoopGroup eventLoopGroup = new NioEventLoopGroup();
        try {
            // 客户端辅助启动类
            Bootstrap bootstrap = new Bootstrap();
            bootstrap.group(eventLoopGroup)
                    // 实例化一个Channel
                    .channel(NioSocketChannel.class)
                    // 指定远端地址
                    .remoteAddress(new InetSocketAddress(host, port))
                    // 进行通道初始化配置
                    .handler(new ChannelInitializer<SocketChannel>() {
                        @Override
                        protected void initChannel(SocketChannel socketChannel) throws Exception {
                            //添加我们自定义的Handler
                            socketChannel.pipeline().addLast(new HandlerClientHello());
                        }
                    });
            // 连接到远端,等待完成
            ChannelFuture future = bootstrap.connect().sync();
            // 发送消息到服务器,指定编码格式为UTF-8
            future.channel().writeAndFlush(Unpooled.copiedBuffer("Hello Artisan", CharsetUtil.UTF_8));
            // 阻塞操作,closeFuture()开启了一个channel的监听器(这期间channel在进行各项工作),直到链路断开
            future.channel().closeFuture().sync();
        } finally {
            eventLoopGroup.shutdownGracefully().sync();
        }
    }
    public static void main(String[] args) throws Exception {
        new AppClientHello("127.0.0.1", 18080).run();
    }
}
  • 1)ChannelInitializer:通道Channel的初始化工作,如加入多个handler,都在这里进行;
  • 2)bs.connect().sync():这里的sync()表示采用的同步方法,这样连接建立成功后,才继续往下执行;
  • 3)pipeline():连接建立后,都会自动创建一个管道pipeline,这个管道也被称为责任链,保证顺序执行,同时又可以灵活的配置各类Handler,这是一个很精妙的设计,既减少了线程切换带来的资源开销、避免好多麻烦事,同时性能又得到了极大增强

服务端开发

Handler

和客户端一样,只重写了消息读取方法channelRead(注意这里不是channelRead0)、捕捉异常方法exceptionCaught

另外服务器端Handler继承的是ChannelInboundHandlerAdapter,而不是SimpleChannelInboundHandler

package com.artisan.netty.server;
import io.netty.buffer.ByteBuf;
import io.netty.buffer.Unpooled;
import io.netty.channel.ChannelHandler;
import io.netty.channel.ChannelHandlerContext;
import io.netty.channel.ChannelInboundHandlerAdapter;
import io.netty.util.CharsetUtil;
/**
 * @author 小工匠
 * @version 1.0
 * @desc: 服务器端I/O处理类
 * @mark: show me the code , change the world
 */
@ChannelHandler.Sharable
public class HandlerServerHello extends ChannelInboundHandlerAdapter {
    @Override
    public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {
        // 处理接收到的数据,并反馈给客户端
        ByteBuf in = (ByteBuf) msg;
        System.out.println("收到客户端发过来的消息: " + in.toString(CharsetUtil.UTF_8));
        // 写入并发送到远端(客户端)
        ctx.channel().writeAndFlush(Unpooled.copiedBuffer("你好,我是Server,已收到消息", CharsetUtil.UTF_8));
    }
    @Override
    public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {
        //出现异常的时候执行的动作(打印并关闭通道)
        cause.printStackTrace();
        ctx.close();
    }
}

服务器端启动类

服务器端启动类比客户端启动类稍显复杂一点

package com.artisan.netty.server;
import com.artisan.netty.client.AppClientHello;
import io.netty.bootstrap.ServerBootstrap;
import io.netty.channel.Channel;
import io.netty.channel.ChannelFuture;
import io.netty.channel.ChannelInitializer;
import io.netty.channel.EventLoopGroup;
import io.netty.channel.nio.NioEventLoopGroup;
import io.netty.channel.socket.SocketChannel;
import io.netty.channel.socket.nio.NioServerSocketChannel;
/**
 * @author 小工匠
 * @version 1.0
 * @description: 服务器端启动类
 * @mark: show me the code , change the world
 */
public class AppServerHello {
    private int port;
    public AppServerHello(int port) {
        this.port = port;
    }
    public void run() throws InterruptedException {
        // Netty的Reactor线程池,初始化了一个NioEventLoop数组,用来处理I/O操作,如接受新的连接和读/写数据
        EventLoopGroup group = new NioEventLoopGroup();
        try {
            // 启动NIO服务
            ServerBootstrap serverBootstrap = new ServerBootstrap();
            // 参数配置
            serverBootstrap.group(group)
                    //通过工厂方法设计模式实例化一个channel
                    .channel(NioServerSocketChannel.class)
                    //设置监听端口
                    .localAddress(port)
                    //配置childHandler来通知一个关于消息处理的InfoServerHandler实例
                    .childHandler(new ChannelInitializer<SocketChannel>() {  //ChannelInitializer是一个特殊的处理类,他的目的是帮助使用者配置一个新的Channel,用于把许多自定义的处理类增加到pipline上来
                        @Override
                        protected void initChannel(SocketChannel socketChannel) throws Exception {
                            socketChannel.pipeline().addLast(new HandlerServerHello());
                        }
                    });
            // 绑定服务器,该实例将提供有关IO操作的结果或状态的信息
            ChannelFuture future = serverBootstrap.bind(port).sync();
            System.out.println("在" + future.channel().localAddress() + "上开启监听");
            //阻塞操作,closeFuture()开启了一个channel的监听器(这期间channel在进行各项工作),直到链路断开
            future.channel().closeFuture().sync();
        } catch (InterruptedException e) {
            throw new RuntimeException(e);
        } finally {
            group.shutdownGracefully().sync();//关闭EventLoopGroup并释放所有资源,包括所有创建的线程
        }
    }
    public static void main(String[] args) throws InterruptedException {
        new AppServerHello(18080).run();
    }
}
  • 1)EventLoopGroup:实际项目中,这里创建两个EventLoopGroup的实例,一个负责接收客户端的连接,另一个负责处理消息I/O,这里为了简单展示流程,让一个实例把这两方面的活都干了;
  • 2)NioServerSocketChannel:通过工厂通过工厂方法设计模式实例化一个channel,这个在大家还没有能够熟练使用Netty进行项目开发的情况下,不用去深究

运行示例

先启动Server, 再启动Client



相关文章
|
6月前
|
Java API 索引
Netty Review - ByteBuf 读写索引 详解
Netty Review - ByteBuf 读写索引 详解
181 1
|
6月前
|
编解码 开发者
Netty Review - 深入理解Netty: ChannelHandler的生命周期与事件处理机制
Netty Review - 深入理解Netty: ChannelHandler的生命周期与事件处理机制
141 0
|
6月前
|
前端开发 UED
Netty Review - Netty自动重连机制揭秘:原理与最佳实践
Netty Review - Netty自动重连机制揭秘:原理与最佳实践
207 0
|
6月前
|
监控 网络协议 调度
Netty Review - 深入探讨Netty的心跳检测机制:原理、实战、IdleStateHandler源码分析
Netty Review - 深入探讨Netty的心跳检测机制:原理、实战、IdleStateHandler源码分析
382 0
|
6月前
|
编解码
Netty Review - 优化Netty通信:如何应对粘包和拆包挑战_自定义长度分包编解码码器
Netty Review - 优化Netty通信:如何应对粘包和拆包挑战_自定义长度分包编解码码器
92 0
|
6月前
|
网络协议
Netty Review - 优化Netty通信:如何应对粘包和拆包挑战
Netty Review - 优化Netty通信:如何应对粘包和拆包挑战
102 0
|
6月前
|
缓存 前端开发 Java
Netty Review - Netty与Protostuff:打造高效的网络通信
Netty Review - Netty与Protostuff:打造高效的网络通信
86 0
|
6月前
|
编解码 前端开发 网络协议
Netty Review - ObjectEncoder对象和ObjectDecoder对象解码器的使用与源码解读
Netty Review - ObjectEncoder对象和ObjectDecoder对象解码器的使用与源码解读
138 0
|
6月前
|
编解码 安全 前端开发
Netty Review - StringEncoder字符串编码器和StringDecoder 解码器的使用与源码解读
Netty Review - StringEncoder字符串编码器和StringDecoder 解码器的使用与源码解读
228 0
|
6月前
Netty Review - 借助SimpleTalkRoom初体验异步网络编程的魅力
Netty Review - 借助SimpleTalkRoom初体验异步网络编程的魅力
77 0