高性能网络通信框架Netty-基础概念篇

简介: Netty是一种可以轻松快速的开发协议服务器和客户端网络应用程序的NIO框架,它大大简化了TCP或者UDP服务器的网络编程,但是你仍然可以访问和使用底层的API,Netty只是对其进行了高层的抽象。

一、前言

Netty是一种可以轻松快速的开发协议服务器和客户端网络应用程序的NIO框架,它大大简化了TCP或者UDP服务器的网络编程,但是你仍然可以访问和使用底层的API,Netty只是对其进行了高层的抽象。

Netty的简易和快速开发并不意味着由它开发的程序将失去可维护性或者存在性能问题。Netty是被精心设计的,它的设计参考了许多协议的实现,比如FTP,SMTP,HTTP和各种二进制和基于文本的传统协议,因此 Netty成功的实现了兼顾快速开发,性能,稳定性,灵活性为一体,不需要为了考虑一方面原因而妥协其他方面。

image

二、基础概念

Channel也就是通道,这个概念是在JDK NIO类库里面提供的一个概念,JDK中其实现类有客户端套接字通道java.nio.channels.SocketChannel和服务端监听套接字通道java.nio.channels.ServerSocketChannel,Channel的出现是为了支持异步IO操作,JDK里面的通道是java.nio.channels.Channel。

io.netty.channel.Channel是Netty框架自己定义的一个通道接口,Netty实现的客户端NIO套接字通道是NioSocketChannel,提供的服务器端NIO套接字通道是NioServerSocketChannel。

  • NioSocketChannel
    客户端套接字通道,内部管理了一个Java NIO中的java.nio.channels.SocketChannel实例,用来创建SocketChannel实例和设置该实例的属性,并调用Connect方法向服务端发起TCP链接等。
  • NioServerSocketChannel
    服务器端监听套接字通道,内部管理了一个Java NIO中的java.nio.channels.ServerSocketChannel实例,用来创建ServerSocketChannel实例和设置该实例属性,并调用该实例的bind方法在指定端口监听客户端的链接。
  • Channel与socket的关系
    在Netty中Channel有两种,对应客户端套接字通道NioSocketChannel,内部管理java.nio.channels.SocketChannel套接字,对应服务器端监听套接字通道NioServerSocketChannel,其内部管理自己的java.nio.channels.ServerSocketChannel套接字。也就是Channel是对socket的装饰或者门面,其封装了对socket的原子操作。
  • EventLoopGroup
    Netty之所以能提供高性能网络通讯,其中一个原因是因为它使用Reactor线程模型。在netty中每个EventLoopGroup本身是一个线程池,其中包含了自定义个数的NioEventLoop,每个NioEventLoop是一个线程,并且每个NioEventLoop里面持有自己的selector选择器。

在Netty中客户端持有一个EventLoopGroup用来处理网络IO操作,在服务器端持有两个EventLoopGroup,其中boss组是专门用来接收客户端发来的TCP链接请求的,worker组是专门用来具体处理完成三次握手的链接套接字的网络IO请求的。

  • Channel 与 EventLoop 的关系
    Netty中NioEventLoop是EventLoop的一个实现,每个NioEventLoop中会管理自己的一个selector选择器和监控选择器就绪事件的线程;每个Channel只会关联一个NioEventLoop;

当Channel是客户端通道NioSocketChannel时候,会注册NioSocketChannel管理的SocketChannel实例到自己关联的NioEventLoop的selector选择器上,然后NioEventLoop对应的线程会通过select命令监控感兴趣的网络读写事件;
当Channel是服务端通道NioServerSocketChannel时候,NioServerSocketChannel本身会被注册到boss EventLoopGroup里面的某一个NioEventLoop管理的selector选择器上,而完成三次握手的链接套接字是被注册到了worker EventLoopGroup里面的某一个NioEventLoop管理的selector选择器上;
需要注意是多个Channel可以注册到同一个NioEventLoop管理的selector选择器上,这时候NioEventLoop对应的单个线程就可以处理多个Channel的就绪事件;但是每个Channel只能注册到一个固定的NioEventLoop管理的selector选择器上。

  • ChannelPipeline
    Netty中的ChannelPipeline类似于Tomcat容器中的Filter链,属于设计模式中的责任链模式,其中链上的每个节点就是一个ChannelHandler。在netty中每个Channel有属于自己的ChannelPipeline,对从Channel中读取或者要写入Channel中的数据进行依次处理,如下图是netty源码里面的一个图:

image
需要注意一点是虽然每个Channel(更底层说是每个socket)有自己的ChannelPipeline,但是每个ChannelPipeline里面可以复用一个ChannelHandler。

三、总结

Netty作为高性能异步通讯框架,其应用还是比较广泛的,比如阿里巴巴开源的高性能Rpc框架Dubbo的网络通讯默认实现使用的是Netty, 蚂蚁金服开源的金融级Sofa-Bolt 框架,底层网络通讯也是基于 Netty 来实现的,还有最近刚开源的Zuul2.0使用Netty重写了其接受与处理请求的逻辑。

image.png

目录
相关文章
|
10月前
|
消息中间件 负载均衡 中间件
⚡ 构建真正的高性能即时通讯服务:基于 Netty 集群的架构设计与实现
本文介绍了如何基于 Netty 构建分布式即时通讯集群。随着用户量增长,单体架构面临性能瓶颈,文章对比了三种集群方案:Nginx 负载均衡、注册中心服务发现与基于 ZooKeeper 的消息路由架构。最终选择第三种方案,通过 ZooKeeper 实现服务注册发现与消息路由,并结合 RabbitMQ 支持跨服务器消息广播。文中还详细讲解了 ZooKeeper 搭建、Netty 集群改造、动态端口分配、服务注册、负载均衡及消息广播的实现,构建了一个高可用、可水平扩展的即时通讯系统。
1125 0
|
8月前
|
监控 前端开发 安全
Netty 高性能网络编程框架技术详解与实践指南
本文档全面介绍 Netty 高性能网络编程框架的核心概念、架构设计和实践应用。作为 Java 领域最优秀的 NIO 框架之一,Netty 提供了异步事件驱动的网络应用程序框架,用于快速开发可维护的高性能协议服务器和客户端。本文将深入探讨其 Reactor 模型、ChannelPipeline、编解码器、内存管理等核心机制,帮助开发者构建高性能的网络应用系统。
593 0
|
JSON 算法 Java
Nettyの网络聊天室&扩展序列化算法
通过本文的介绍,我们详细讲解了如何使用Netty构建一个简单的网络聊天室,并扩展序列化算法以提高数据传输效率。Netty的高性能和灵活性使其成为实现各种网络应用的理想选择。希望本文能帮助您更好地理解和使用Netty进行网络编程。
261 12
|
NoSQL Java Redis
redis的基本命令,并用netty操作redis(不使用springboot或者spring框架)就单纯的用netty搞。
这篇文章介绍了Redis的基本命令,并展示了如何使用Netty框架直接与Redis服务器进行通信,包括设置Netty客户端、编写处理程序以及初始化Channel的完整示例代码。
498 1
redis的基本命令,并用netty操作redis(不使用springboot或者spring框架)就单纯的用netty搞。
|
消息中间件 编解码 网络协议
Netty从入门到精通:高性能网络编程的进阶之路
【11月更文挑战第17天】Netty是一个基于Java NIO(Non-blocking I/O)的高性能、异步事件驱动的网络应用框架。使用Netty,开发者可以快速、高效地开发可扩展的网络服务器和客户端程序。本文将带您从Netty的背景、业务场景、功能点、解决问题的关键、底层原理实现,到编写一个详细的Java示例,全面了解Netty,帮助您从入门到精通。
2911 0
|
XML Java Nacos
网络协议与Netty
网络协议与Netty
192 4
|
设计模式 缓存 算法
Netty框架的重要性
Netty框架的重要性
|
前端开发 Java
netty概念小结
    清明抽空看了下netty部分的知识点,总结一下发布在简书上,netty本身涵盖的知识点比较多,一篇文章也讲不完那么多,这篇文章主要是普及 netty的Reactor模型、server初始化、client初始化三块内容,当然也会将寻找的参考资料一并贴出来,其实互联网已经很多人对netty做了大量的研究。
1551 0
|
存储 缓存 NoSQL
跟着源码学IM(十一):一套基于Netty的分布式高可用IM详细设计与实现(有源码)
本文将要分享的是如何从零实现一套基于Netty框架的分布式高可用IM系统,它将支持长连接网关管理、单聊、群聊、聊天记录查询、离线消息存储、消息推送、心跳、分布式唯一ID、红包、消息同步等功能,并且还支持集群部署。
14058 1
|
算法 Java 容器
Netty源码—4.客户端接入流程
本文主要介绍了关于Netty客户端连接接入问题整理、Reactor线程模型和服务端启动流程、Netty新连接接入的整体处理逻辑、新连接接入之检测新连接、新连接接入之创建NioSocketChannel、新连接接入之绑定NioEventLoop线程、新连接接入之注册Selector和注册读事件、注册Reactor线程总结、新连接接入总结