5.3 零拷贝

简介: 5.3 零拷贝

传统的 IO 将一个文件通过 socket 写出

File f = new File("helloword/data.txt"); RandomAccessFile file = new RandomAccessFile(file, "r");

byte[] buf = new byte[(int)f.length()]; file.read(buf);

Socket socket = ...; socket.getOutputStream().write(buf);0.  java 本身并不具备 IO 读写能力,因此 read 方法调用后,要从 java 程序的用户态切换至内核态,去调用操作系统(Kernel)的读能力,将数据读入内核缓冲区。这期间用户线程阻塞,操作系统使用 DMA(Direct Memory Access)来实现文件读,其间也不会使用 cpu

> DMA 也可以理解为硬件单元,用来解放 cpu 完成文件 IO

0.  从内核态切换回用户态,将数据从内核缓冲区读入用户缓冲区(即 byte[] buf),这期间 cpu 会参与拷贝,无法利用 DMA

  1. 调用 write 方法,这时将数据从用户缓冲区(byte[] buf)写入 socket 缓冲区,cpu 会参与拷贝
  2. 接下来要向网卡写数据,这项能力 java 又不具备,因此又得从用户态切换至内核态,调用操作系统的写能力,使用 DMA 将 socket 缓冲区的数据写入网卡,不会使用 cpu 可以看到中间环节较多,java 的 IO 实际不是物理设备级别的读写,而是缓存的复制,底层的真正读写是操作系统来完成的
  • 用户态与内核态的切换发生了 3 次,这个操作比较重量级
  • 数据拷贝了共 4 次

NIO 优化

通过 DirectByteBuf

  • ByteBuffer.allocate(10) HeapByteBuffer 使用的还是 java 内存
  • ByteBuffer.allocateDirect(10) DirectByteBuffer 使用的是操作系统内存

大部分步骤与优化前相同,不再赘述。唯有一点:java 可以使用 DirectByteBuf 将堆外内存映射到 jvm 内存中来直接访问使用

  • 这块内存不受 jvm 垃圾回收的影响,因此内存地址固定,有助于 IO 读写
  • java 中的 DirectByteBuf 对象仅维护了此内存的虚引用,内存回收分成两步
  • DirectByteBuf 对象被垃圾回收,将虚引用加入引用队列
  • 通过专门线程访问引用队列,根据虚引用释放堆外内存
  • 减少了一次数据拷贝,用户态与内核态的切换次数没有减少



目录
相关文章
|
1月前
|
存储 缓存 算法
零拷贝
零拷贝
25 1
零拷贝
|
2月前
|
Java 大数据 Linux
《揭秘高性能 I/O 利器:mmap 内存映射与 sendfile 技术》
本文详细解析了mmap内存映射和sendfile技术,探讨了它们的工作原理、优势及应用场景,帮助读者理解如何通过这些技术提升数据传输效率,并提供了实际代码示例,为技术选型提供参考。关键词:mmap、sendfile、高性能I/O、零拷贝。
79 0
|
7月前
|
Linux 数据处理
什么是零拷贝
什么是零拷贝
|
7月前
|
缓存 Linux
零拷贝技术(DMA、MMAP、sendfile)
零拷贝技术(DMA、MMAP、sendfile)
382 0
|
消息中间件 存储 网络协议
超硬核,基于mmap和零拷贝实现高效的内存共享(下)
超硬核,基于mmap和零拷贝实现高效的内存共享
|
消息中间件 存储 Kafka
超硬核,基于mmap和零拷贝实现高效的内存共享(上)
超硬核,基于mmap和零拷贝实现高效的内存共享
|
缓存 Java
认识零拷贝
认识零拷贝
120 0
认识零拷贝
Netty - 探究零拷贝Zero Copy
Netty - 探究零拷贝Zero Copy
64 0
|
缓存 Java Linux
NIO-内存映射文件-理论篇
内存映射文件是一种允许程序直接从内存访问的特殊文件。通过将整个文件或者文件的一部分映射到内存中、操作系统负责获取页面请求和写入文件,应用程序就只需要处理内存数据,这样可以实现非常快速的 IO 操作。
172 0
|
存储 缓存 资源调度
零拷贝技术原理以及实现
零拷贝技术原理以及实现
153 0