Netty入门到超神系列-Java NIO 三大核心(selector,channel,buffer)

简介: 理解Selector 和 ChannelSelector 选择器,也叫多路复用器,可以同时处理多个客户端连接,多路复用器采用轮询机制来选择有读写事件的客户端链接进行处理。通过 Selector ,一个 I/O 线程可以并发处理 N 个客户端连接和读写操作,这解决了传统同步阻塞 I/O 一连接一线程模型,架构的性能、弹性伸缩能力和可靠性都得到了极大的提升。由于它的读写操作都是非阻塞的,这就可以充分提升 IO 线程的运行效率,避免由于频繁 I/O 阻塞导致的线程挂起。

前言

上一章节我们理解了Java NIO三大核心,以及重点讲解了Buffer的原理和几个使用场景,其中也用到了channel。这一章我们来理解一下selector,结合channel来做一个c/s通信。

理解Selector 和 Channel

Selector 选择器,也叫多路复用器,可以同时处理多个客户端连接,多路复用器采用轮询机制来选择有读写事件的客户端链接进行处理。

通过 Selector ,一个 I/O 线程可以并发处理 N 个客户端连接和读写操作,这解决了传统同步阻塞 I/O 一连接一线程模型,架构的性能、弹性伸缩能力和可靠性都得到了极大的提升。

由于它的读写操作都是非阻塞的,这就可以充分提升 IO 线程的运行效率,避免由于频繁 I/O 阻塞导致的线程挂起。

这里在整理一下它的工作原理,如图:

Selector :多路复用器(也叫选择器)的作用就是提供给SocketChannel通道来注册,然后Selector会轮询的去监听通道通道的读写事件从而做出相应的IO处理,它 的工作流程如下:

  1. 首先需要创建一个ServerSocketChannel,它类似于(ServerSocket)需要指定一个监听的IP和Port。需要注意的是ServerSocketChannel为了兼容BIO,默认是阻塞的,可以通过ServerSocketChannel#configureBlocking(false)来指定为NIO模式。
    通过ServerSocketChannel 可以获取一个客户端的SocketChannel ,客户端的SocketChannel 需要注册到Selector上,然后每个通道都会对应一个SelectionKey
  2. 选择器可以通过Selector.open() 创建,然后将 ServerSocketChannel 注册给Selector 。选择器的 Selector#select() 方法 可以选择有事件的通道(SocketChannel ),并返回已就绪的通道数量.事件类型包括:“连接”,“接收” ,“读”,“写”。
  3. 如果 Selector#select() 返回值大于0代表某些通道有事件发生,可以通过 selector.selectedKeys() 来得到所有有事件通道的SelectionKey。
    然后可以通过SelectionKey方向拿到SocketChannel , 从而将SocketChannel 中的数据读取到Buffer中,完成IO操作。

ServerSocketChannel

ServerSocketChannel 是服务端用来用来监听客户端Socket链接,通过accept方法可以获取客户端SocketChannel,从而将 SocketChannel 注册到Selector,相关方法如下

  • open : 创建一个 ServerSocketChannel 通道
  • bind(SocketAddress local):设置服务器端监听的地址和端口号
  • configureBlocking(boolean block) : 设置阻塞或非阻塞模式,取值 false 表示采用非阻塞模式
  • accept() :接受一个连接,返回代表这个连接的通道对象SocketChannel
  • register(Selector sel, int ops): 把当前通道注册到选择器,并设置监听事件

SocketChannel

一个客户端链接服务端就会产生通道:ServerChannel ,需要注册到Selector,被Selector监听通道的读写事件。ServerChannel 负责具体的读写,把缓冲区的数据写入通道,或者把通道中的数据写入缓冲区。

  • open() : 得到一个 SocketChannel 通道
  • configureBlocking(boolean block):设置阻塞或非阻塞模式,取值 false 表示采用非阻塞模式
  • connect(SocketAddress remote) :连接远程服务器,通过SocketAddress 指定IP和端口
  • finishConnect(): 如果connect连接失败,就要通过finishConnect方法完成连接操作
  • write(ByteBuffer src) : 把ByteBuffer中的数据,往通道里写
  • read(ByteBuffer dst) :从通道里读数据,写入ByteBuffer
  • register(Selector sel, int ops, Object att): 把该通道注册到selector,并设置监听事件(OPS),最后一个参数可以设置共享数据,该方法会返回一个 SelectionKey ,这个key对应了该通道。
  • close() :关闭通道

SelectionKey

当 ServerChannel 注册到Selector就会产生SelectionKey , 通过SelectionKey可以反向获得SocketChannel通道对象,从而进行IO读写操作。

  • selector(): 通过SelectionKey 获取得到与之关联的 Selector 对象
  • channel():得到与之关联的通道
  • attachment():得到与之关联的共享数据
  • interestOps(int ops):设置或改变监听事件
  • isAcceptable():是否可以 accept,“接收就绪”事件
  • isReadable():是否可以读
  • isWritable():是否可以写

事件包括:

SelectionKey.OP_CONNECT : 16,连接就绪,比如:一个channel连接到一个服务器SelectionKey.OP_ACCEPT8,接收就绪,比如:ServerSocketChannel准备好接入新的连接SelectionKey.OP_READ:值1,“读就绪”,通道有可以读数据可以说是SelectionKey.OP_WRITE4,“写就绪”,等待写数据的通道可以说

Selector

负责采用轮询方式监听通道,当通道有读写事件就进行IO操作。

  • open() :得到一个选择器对象
  • select(long timeout):选择有事件的通道,将其对应的 SelectionKey 加入到内部集合中,返回通道的数量
  • selectedKeys() : 从内部集合中得到所有有事件 SelectionKey
  • keys() : 从内部集合中得到所有SelectionKey
  • close:关闭选择器

综合案例

使用selector ,ServerSocketChannel,SocketChannel完成一个 C/S 案例,

服务端代码

//通道@TestpublicvoidserverSocketChannelTest() throwsIOException {
//创建服务端通道ServerSocketChannelserverSocketChannel=ServerSocketChannel.open();
//socket监听地址和端口SocketAddresssocketAddress=newInetSocketAddress("127.0.0.1",5000);
//和某个SocketAddress绑定serverSocketChannel.bind(socketAddress);
//NIO默认采用阻塞,为了兼容BIOserverSocketChannel.configureBlocking(false);
//创建选择器Selectorselector=Selector.open();
//通道注册到选择器,事件类型为:OP_ACCEPT “接受”serverSocketChannel.register(selector, SelectionKey.OP_ACCEPT);
//==选择器轮询=======================================================================while(true){
//select,选择有事件的通道,返回有事件发生通道的key的个数  ,超时时间 1sif(selector.select(1000) ==0){
System.out.println("无连接...轮询等待...\");continue;
       }
//有事件发生,得到有事件的通道的key的集合Set<SelectionKey>selectionKeys=selector.selectedKeys();
Iterator<SelectionKey>iterator=selectionKeys.iterator();
//遍历key的集合while (iterator.hasNext()){
//拿到每个通道的keySelectionKeykey=iterator.next();
//如果当前通道事件是: OP_ACCEPT ,就注册通道if(key.isAcceptable()){
//接收一个socketChannelSocketChannelsocketChannel=serverSocketChannel.accept();
System.out.println("客户端链接成功...");
socketChannel.configureBlocking(false);
//把socketChannel注册到选择器 ,并给通道绑定一个buffersocketChannel.register(selector, SelectionKey.OP_READ,ByteBuffer.allocate(1024));
           }
//如果通道事件是: OP_READ,说明通道有数据if(key.isReadable()){
//通过key得到SocketChannelSocketChannelchannel= (SocketChannel)key.channel();
//得到channel绑定的bufferByteBufferbyteBuffer= (ByteBuffer)key.attachment();
//从通道把数据读取到bufferchannel.read(byteBuffer);
System.out.println(newString(byteBuffer.array()));
           }
//删除当前keyiterator.remove();
       }
   }
}

客户端代码

//通道@TestpublicvoidsocketChannelTest() throwsIOException {
//创建一个SocketChannelSocketChannelsocketChannel=SocketChannel.open();
//使用非阻塞模式socketChannel.configureBlocking(false);
//链接的地址和端口InetSocketAddressinetSocketAddress=newInetSocketAddress("127.0.0.1", 5000);
//尝试链接,如果使用的异步,那么需要使用 socketChannel.finishConnect() 来确保连接成功。if(!socketChannel.connect(inetSocketAddress)){
//如果没链接成功,会通过while循环,直到 finishConnect 链接成功,跳出whilewhile(!socketChannel.finishConnect()){
System.out.println("还未完成链接...等待中...");
            }
        }
//链接成功,把数据写出去socketChannel.write(ByteBuffer.wrap("你好".getBytes()));
System.out.println("向服务端发送数据...");
//防止客户端结束,所以使用read()阻塞System.in.read();
    }

总结

本篇文章介绍了Selector ,ServerSocketChannel ,SocketChannel的作用,场景API,和三种的工作原理,并通过一个C/S综合案例来演示三者之间的关系。

目录
相关文章
|
3月前
|
设计模式
Lettuce的特性和内部实现问题之Netty NIO的性能优于BIO的问题如何解决
Lettuce的特性和内部实现问题之Netty NIO的性能优于BIO的问题如何解决
|
16小时前
|
消息中间件 缓存 Java
java nio,netty,kafka 中经常提到“零拷贝”到底是什么?
零拷贝技术 Zero-Copy 是指计算机执行操作时,可以直接从源(如文件或网络套接字)将数据传输到目标缓冲区, 而不需要 CPU 先将数据从某处内存复制到另一个特定区域,从而减少上下文切换以及 CPU 的拷贝时间。
java nio,netty,kafka 中经常提到“零拷贝”到底是什么?
|
23天前
|
Java
让星星⭐月亮告诉你,Java NIO之Buffer详解 属性capacity/position/limit/mark 方法put(X)/get()/flip()/compact()/clear()
这段代码演示了Java NIO中`ByteBuffer`的基本操作,包括分配、写入、翻转、读取、压缩和清空缓冲区。通过示例展示了`position`、`limit`和`mark`属性的变化过程,帮助理解缓冲区的工作原理。
23 2
|
2月前
|
Java
Netty BIO/NIO/AIO介绍
Netty BIO/NIO/AIO介绍
|
3月前
|
微服务
成功解决:java.lang.NoSuchMethodError: reactor.netty.http.client.HttpClient.chunkedTransfer(Z)Lreactor/ne
这篇文章讲述了在微服务架构中整合gateway网关时遇到的`java.lang.NoSuchMethodError`错误的解决方法。问题主要是由于`spring-boot-starter-parent`的版本和`spring-cloud-starter-gateway`的版本不匹配所导致。文章提供了具体的版本不一致的错误配置,并给出了匹配的版本配置方案,以及成功测试的截图。
成功解决:java.lang.NoSuchMethodError: reactor.netty.http.client.HttpClient.chunkedTransfer(Z)Lreactor/ne
|
3月前
|
网络协议 C# 开发者
WPF与Socket编程的完美邂逅:打造流畅网络通信体验——从客户端到服务器端,手把手教你实现基于Socket的实时数据交换
【8月更文挑战第31天】网络通信在现代应用中至关重要,Socket编程作为其实现基础,即便在主要用于桌面应用的Windows Presentation Foundation(WPF)中也发挥着重要作用。本文通过最佳实践,详细介绍如何在WPF应用中利用Socket实现网络通信,包括创建WPF项目、设计用户界面、实现Socket通信逻辑及搭建简单服务器端的全过程。具体步骤涵盖从UI设计到前后端交互的各个环节,并附有详尽示例代码,助力WPF开发者掌握这一关键技术,拓展应用程序的功能与实用性。
105 0
|
3月前
|
Java 应用服务中间件 Linux
(九)Java网络编程无冕之王-这回把大名鼎鼎的Netty框架一网打尽!
现如今的开发环境中,分布式/微服务架构大行其道,而分布式/微服务的根基在于网络编程,而Netty恰恰是Java网络编程领域的无冕之王。Netty这个框架相信大家定然听说过,其在Java网络编程中的地位,好比JavaEE中的Spring。
113 3
|
3月前
|
存储 网络协议 Java
【Netty 神奇之旅】Java NIO 基础全解析:从零开始玩转高效网络编程!
【8月更文挑战第24天】本文介绍了Java NIO,一种非阻塞I/O模型,极大提升了Java应用程序在网络通信中的性能。核心组件包括Buffer、Channel、Selector和SocketChannel。通过示例代码展示了如何使用Java NIO进行服务器与客户端通信。此外,还介绍了基于Java NIO的高性能网络框架Netty,以及如何用Netty构建TCP服务器和客户端。熟悉这些技术和概念对于开发高并发网络应用至关重要。
64 0
|
前端开发 Java 网络协议
Netty 入门示例
服务端代码示例 import io.netty.bootstrap.ServerBootstrap; import io.netty.channel.*; import io.netty.channel.
1024 0
|
存储 缓存 NoSQL
跟着源码学IM(十一):一套基于Netty的分布式高可用IM详细设计与实现(有源码)
本文将要分享的是如何从零实现一套基于Netty框架的分布式高可用IM系统,它将支持长连接网关管理、单聊、群聊、聊天记录查询、离线消息存储、消息推送、心跳、分布式唯一ID、红包、消息同步等功能,并且还支持集群部署。
13489 1