阿里P8大佬通宵整理!解锁Java NIO的ByteBuffer全部使用姿势!(上)

简介: NIO中的Buffer用于和NIO Channel交互。数据是从Channel读入Buffer,从Buffer写入Channel。

NIO中的Buffer用于和NIO Channel交互。

数据是从Channel读入Buffer,从Buffer写入Channel。


Buffer本质上是块可以写入数据,然后可从中读数据的内存。这块内存被包装成NIO Buffer对象,并提供了一组方法,用来方便的访问该块内存。


NIO数据传输基于buffer(java.nio.Buffer及相关类)。这些类表示连续的内存范围,以及少量的数据传输操作。尽管从理论上讲,这些是通用数据结构,但实现可以选择用于对齐或分页特性的内存,而这些内存在Java中是无法访问的。

通常,这将用于允许缓冲区内容占用os用于其本地I/O操作的相同物理内存,从而允许最直接的传输机制,并消除了任何其他复制的需要。在大多数os中,只要特定的内存区域具有正确的属性,就可以在不使用CPU情况下进行传输。为了支持这些目标,有意限制了NIO Buffer的功能。


除布尔值外,其他所有Java基本类型都有缓冲区类,布尔型可以与字节缓冲区共享内存并允许对底层字节进行任意解释。

1 基本用法

使用Buffer读写数据一般遵循如下步骤:


  1. 写数据到Buffer
  2. 调用buffer.flip()
  3. 从Buffer中读数据
  4. 调用clear()或compact()


当向buffer写数据时,buffer会记录写了多少数据。一旦要读取数据,需通过flip()将Buffer从写模式切到读模式

读模式下,可读之前写到buffer的所有数据。


一旦读完数据,就需清空缓冲区,让它可以再次被写入。

有两种方式能清空缓冲区:

  • clear()
    会清空整个缓冲区
  • compact()
    只会清除已经读过的数据。任何未读的数据都被移到缓冲区的起始处,新写入的数据将放到缓冲区未读数据的后面。

2 使用Buffer的案例

RandomAccessFile aFile = new RandomAccessFile("data/nio-data.txt", "rw");
FileChannel inChannel = aFile.getChannel();
// 创建容量为48字节的缓冲区
ByteBuffer buf = ByteBuffer.allocate(48);
// 读进buffer 从该Channel中将字节序列读取到给定buffer
int bytesRead = inChannel.read(buf);
// 什么时候会读到-1呢?
// 对于服务器端,当客户端调用了channel.close()关闭连接时,这时服务器端返回的读取数是-1,表示已到末尾
// 那么此时需要把对应SelectionKey给cancel掉,表示selector不再监听这个channel上的读事件,并关闭channel
while (bytesRead != -1) {
  // make buffer ready for read 
  buf.flip();
  while(buf.hasRemaining()) {
      // read 1 byte at a time
      // 在从channel往buffer中读入后,使用byteBuffer.get()获取时,不可重复调用,因为get()会移动position
      // 使得多次调用get()获取的内容是不同的
      System.out.print((char) buf.get());
  }
  // make buffer ready for writing  
  buf.clear();
  bytesRead = inChannel.read(buf);
}
aFile.close();

3 Buffer的capacity、position和limit

image.png

3.1 capacity

作为一个内存块,Buffer有个固定大小,即capacity

你只能往里写capacity个byte、long,char等。一旦Buffer满,需将其清空(通过读或清除数据)才能继续往里写数据。

3.2 position

  • 取决于Buffer处在读还是写模式:

写数据到Buffer时,position表示当前位置。初始的position值为0,当一个byte、long等数据写到Buffer后, position会向前移动到下一个可插入数据的Buffer单元。所以position最大可为capacity–1。

  • 读数据时,也是从某特定位置读。当将Buffer从写模式切换到读模式,position会被重置为0。当从Buffer的position处读取数据时,position向前移动到下一个可读的位置。

3.3 limit

  • 写模式
    最多能往Buffer写多少数据,所以此时limit=capacity
  • 读模式
    最多能读到多少数据。


因此,当切换Buffer到读模式时,limit会被设置成写模式下的position值。即你能读到之前写入的所有数据(limit被设置成已写数据的数量,这个值在写模式下就是position)。

4 Buffer的类型

  • Java NIO Buffer有如下类型

image.png

这些Buffer类型代表了不同的数据类型,即可通过这些类型来操作缓冲区中的字节。

5 Buffer的分配

要想获得一个Buffer对象首先要进行分配。 每个Buffer类都有一个allocate方法。

allocate

分配48字节capacity的ByteBuffer的例子。

ByteBuffer buf = ByteBuffer.allocate(48);

分配一个可存储1024个字符的CharBuffer:

CharBuffer buf = CharBuffer.allocate(1024);

allocateDirect

使用allocate创建的缓冲区,并不是一下就分配给缓冲区capacity大小的空间,而是根据缓冲区中存储数据的情况来动态分配缓冲区的大小(底层采用堆数据结构管理缓冲区大小),因此,这个capacity可以是一个很大的值,如1024*1024(1M)。


使用allocateDirect可一次性分配capacity大小的连续字节空间。通过allocateDirect方法来创建具有连续空间的ByteBuffer对象虽然可以在一定程度上提高效率,但这种方式并不是平台独立的。而且allocateDirect方法需要较长的时间来分配内存空间,在释放空间时也较慢。因此,慎用allocateDirect。

6 向Buffer中写数据

写数据到Buffer有两种方式:

read

从Channel写到Buffer

// read into buffer.
int bytesRead = inChannel.read(buf);

put

通过Buffer的put()方法写到Buffer

buf.put(127);

put(int index, byte b)方法不会移动position,但是put(byte b)会移动position。

7 从Buffer读数据

两种方式:

  1. 从Buffer读取数据到Channel。
int bytesWritten = inChannel.write(buf);
  1. 使用get()方法从Buffer中读取数据。
byte aByte = buf.get();

get方法有很多版本,允许你以不同的方式从Buffer中读取数据。例如,从指定position读取,或者从Buffer中读取数据到字节数组。

8 核心 API

flip()

将Buffer从写模式切换到读模式

image.png

  • limit置成之前的position
    在写操作完成后需要进行读操作时,需要将limit设置为position标记有写到哪了
  • position置0
    而将position 重新移到0,这样就可以读取到所有的写入数据


所以读模式下的角色转变:

  • position现在用于标记读的位置(从0开始)
  • limit表示之前写进了多少个byte、char等 —— 现在能读取多少个byte、char等
目录
相关文章
|
4月前
|
Java 大数据
解析Java中的NIO与传统IO的区别与应用
解析Java中的NIO与传统IO的区别与应用
|
12天前
|
消息中间件 缓存 Java
java nio,netty,kafka 中经常提到“零拷贝”到底是什么?
零拷贝技术 Zero-Copy 是指计算机执行操作时,可以直接从源(如文件或网络套接字)将数据传输到目标缓冲区, 而不需要 CPU 先将数据从某处内存复制到另一个特定区域,从而减少上下文切换以及 CPU 的拷贝时间。
java nio,netty,kafka 中经常提到“零拷贝”到底是什么?
|
1月前
|
Java
让星星⭐月亮告诉你,Java NIO之Buffer详解 属性capacity/position/limit/mark 方法put(X)/get()/flip()/compact()/clear()
这段代码演示了Java NIO中`ByteBuffer`的基本操作,包括分配、写入、翻转、读取、压缩和清空缓冲区。通过示例展示了`position`、`limit`和`mark`属性的变化过程,帮助理解缓冲区的工作原理。
28 2
|
2月前
|
存储 网络协议 Java
Java NIO 开发
本文介绍了Java NIO(New IO)及其主要组件,包括Channel、Buffer和Selector,并对比了NIO与传统IO的优势。文章详细讲解了FileChannel、SocketChannel、ServerSocketChannel、DatagramChannel及Pipe.SinkChannel和Pipe.SourceChannel等Channel实现类,并提供了示例代码。通过这些示例,读者可以了解如何使用不同类型的通道进行数据读写操作。
Java NIO 开发
|
3月前
|
Java
"揭秘Java IO三大模式:BIO、NIO、AIO背后的秘密!为何AIO成为高并发时代的宠儿,你的选择对了吗?"
【8月更文挑战第19天】在Java的IO编程中,BIO、NIO与AIO代表了三种不同的IO处理机制。BIO采用同步阻塞模型,每个连接需单独线程处理,适用于连接少且稳定的场景。NIO引入了非阻塞性质,利用Channel、Buffer与Selector实现多路复用,提升了效率与吞吐量。AIO则是真正的异步IO,在JDK 7中引入,通过回调或Future机制在IO操作完成后通知应用,适合高并发场景。选择合适的模型对构建高效网络应用至关重要。
83 2
|
3月前
|
网络协议 C# 开发者
WPF与Socket编程的完美邂逅:打造流畅网络通信体验——从客户端到服务器端,手把手教你实现基于Socket的实时数据交换
【8月更文挑战第31天】网络通信在现代应用中至关重要,Socket编程作为其实现基础,即便在主要用于桌面应用的Windows Presentation Foundation(WPF)中也发挥着重要作用。本文通过最佳实践,详细介绍如何在WPF应用中利用Socket实现网络通信,包括创建WPF项目、设计用户界面、实现Socket通信逻辑及搭建简单服务器端的全过程。具体步骤涵盖从UI设计到前后端交互的各个环节,并附有详尽示例代码,助力WPF开发者掌握这一关键技术,拓展应用程序的功能与实用性。
115 0
|
4月前
|
安全 Java 程序员
Java 并发编程:解锁多线程同步的奥秘
【7月更文挑战第30天】在Java的世界里,并发编程是一块充满挑战的领域。它如同一位严苛的导师,要求我们深入理解其运作机制,才能驾驭多线程的力量。本文将带你探索Java并发编程的核心概念,包括线程同步与通信、锁机制、以及并发集合的使用。我们将通过实例代码,揭示如何在多线程环境中保持数据的一致性和完整性,确保你的应用程序既高效又稳定。准备好了吗?让我们一同踏上这段解锁Java并发之谜的旅程。
41 5
|
4月前
|
安全 Java Linux
(七)Java网络编程-IO模型篇之从BIO、NIO、AIO到内核select、epoll剖析!
IO(Input/Output)方面的基本知识,相信大家都不陌生,毕竟这也是在学习编程基础时就已经接触过的内容,但最初的IO教学大多数是停留在最基本的BIO,而并未对于NIO、AIO、多路复用等的高级内容进行详细讲述,但这些却是大部分高性能技术的底层核心,因此本文则准备围绕着IO知识进行展开。
165 1
|
4月前
|
安全 Java API
Java并发编程的艺术:解锁多线程同步与协作的秘密
【7月更文挑战第28天】在Java的世界中,并发编程如同一场精心编排的交响乐,每一个线程都是乐团中的乐手,而同步机制则是那指挥棒,确保旋律的和谐与统一。本文将深入探讨Java并发编程的核心概念,包括线程的创建、同步机制、以及线程间的通信方式,旨在帮助读者解锁Java多线程编程的秘密,提升程序的性能和响应性。
43 3
|
3月前
|
存储 网络协议 Java
【Netty 神奇之旅】Java NIO 基础全解析:从零开始玩转高效网络编程!
【8月更文挑战第24天】本文介绍了Java NIO,一种非阻塞I/O模型,极大提升了Java应用程序在网络通信中的性能。核心组件包括Buffer、Channel、Selector和SocketChannel。通过示例代码展示了如何使用Java NIO进行服务器与客户端通信。此外,还介绍了基于Java NIO的高性能网络框架Netty,以及如何用Netty构建TCP服务器和客户端。熟悉这些技术和概念对于开发高并发网络应用至关重要。
70 0