5.3 零拷贝

简介: 5.3 零拷贝

传统的 IO 将一个文件通过 socket 写出

File f = new File("helloword/data.txt"); RandomAccessFile file = new RandomAccessFile(file, "r");

byte[] buf = new byte[(int)f.length()]; file.read(buf);

Socket socket = ...; socket.getOutputStream().write(buf);0.  java 本身并不具备 IO 读写能力,因此 read 方法调用后,要从 java 程序的用户态切换至内核态,去调用操作系统(Kernel)的读能力,将数据读入内核缓冲区。这期间用户线程阻塞,操作系统使用 DMA(Direct Memory Access)来实现文件读,其间也不会使用 cpu

> DMA 也可以理解为硬件单元,用来解放 cpu 完成文件 IO

0.  从内核态切换回用户态,将数据从内核缓冲区读入用户缓冲区(即 byte[] buf),这期间 cpu 会参与拷贝,无法利用 DMA

  1. 调用 write 方法,这时将数据从用户缓冲区(byte[] buf)写入 socket 缓冲区,cpu 会参与拷贝
  2. 接下来要向网卡写数据,这项能力 java 又不具备,因此又得从用户态切换至内核态,调用操作系统的写能力,使用 DMA 将 socket 缓冲区的数据写入网卡,不会使用 cpu 可以看到中间环节较多,java 的 IO 实际不是物理设备级别的读写,而是缓存的复制,底层的真正读写是操作系统来完成的
  • 用户态与内核态的切换发生了 3 次,这个操作比较重量级
  • 数据拷贝了共 4 次

NIO 优化

通过 DirectByteBuf

  • ByteBuffer.allocate(10) HeapByteBuffer 使用的还是 java 内存
  • ByteBuffer.allocateDirect(10) DirectByteBuffer 使用的是操作系统内存

大部分步骤与优化前相同,不再赘述。唯有一点:java 可以使用 DirectByteBuf 将堆外内存映射到 jvm 内存中来直接访问使用

  • 这块内存不受 jvm 垃圾回收的影响,因此内存地址固定,有助于 IO 读写
  • java 中的 DirectByteBuf 对象仅维护了此内存的虚引用,内存回收分成两步
  • DirectByteBuf 对象被垃圾回收,将虚引用加入引用队列
  • 通过专门线程访问引用队列,根据虚引用释放堆外内存
  • 减少了一次数据拷贝,用户态与内核态的切换次数没有减少



目录
打赏
0
1
1
0
0
分享
相关文章
细谈零拷贝
本文探讨了文件传输功能的实现及其性能优化方法。传统方式通过用户缓冲区分块读写文件,存在大量内存拷贝与上下文切换问题,导致性能低下。零拷贝技术通过减少内存拷贝次数和上下文切换,大幅提升文件传输效率,尤其适用于小文件场景。同时,文章分析了PageCache的作用与局限性,指出在大文件传输时,异步IO+直接IO可避免PageCache带来的额外开销。最后总结,零拷贝适合小文件传输,而大文件场景推荐使用异步IO与直接IO结合的方式。
|
5月前
|
零拷贝
零拷贝
31 1
零拷贝
《揭秘高性能 I/O 利器:mmap 内存映射与 sendfile 技术》
本文详细解析了mmap内存映射和sendfile技术,探讨了它们的工作原理、优势及应用场景,帮助读者理解如何通过这些技术提升数据传输效率,并提供了实际代码示例,为技术选型提供参考。关键词:mmap、sendfile、高性能I/O、零拷贝。
128 0
|
11月前
|
零拷贝技术(DMA、MMAP、sendfile)
零拷贝技术(DMA、MMAP、sendfile)
496 0
零拷贝(zero-copy)的一篇普通文章
零拷贝(zero-copy)的一篇普通文章
114 0