5.3 零拷贝

简介: 5.3 零拷贝

传统的 IO 将一个文件通过 socket 写出

File f = new File("helloword/data.txt"); RandomAccessFile file = new RandomAccessFile(file, "r");

byte[] buf = new byte[(int)f.length()]; file.read(buf);

Socket socket = ...; socket.getOutputStream().write(buf);0.  java 本身并不具备 IO 读写能力,因此 read 方法调用后,要从 java 程序的用户态切换至内核态,去调用操作系统(Kernel)的读能力,将数据读入内核缓冲区。这期间用户线程阻塞,操作系统使用 DMA(Direct Memory Access)来实现文件读,其间也不会使用 cpu

> DMA 也可以理解为硬件单元,用来解放 cpu 完成文件 IO

0.  从内核态切换回用户态,将数据从内核缓冲区读入用户缓冲区(即 byte[] buf),这期间 cpu 会参与拷贝,无法利用 DMA

  1. 调用 write 方法,这时将数据从用户缓冲区(byte[] buf)写入 socket 缓冲区,cpu 会参与拷贝
  2. 接下来要向网卡写数据,这项能力 java 又不具备,因此又得从用户态切换至内核态,调用操作系统的写能力,使用 DMA 将 socket 缓冲区的数据写入网卡,不会使用 cpu 可以看到中间环节较多,java 的 IO 实际不是物理设备级别的读写,而是缓存的复制,底层的真正读写是操作系统来完成的
  • 用户态与内核态的切换发生了 3 次,这个操作比较重量级
  • 数据拷贝了共 4 次

NIO 优化

通过 DirectByteBuf

  • ByteBuffer.allocate(10) HeapByteBuffer 使用的还是 java 内存
  • ByteBuffer.allocateDirect(10) DirectByteBuffer 使用的是操作系统内存

大部分步骤与优化前相同,不再赘述。唯有一点:java 可以使用 DirectByteBuf 将堆外内存映射到 jvm 内存中来直接访问使用

  • 这块内存不受 jvm 垃圾回收的影响,因此内存地址固定,有助于 IO 读写
  • java 中的 DirectByteBuf 对象仅维护了此内存的虚引用,内存回收分成两步
  • DirectByteBuf 对象被垃圾回收,将虚引用加入引用队列
  • 通过专门线程访问引用队列,根据虚引用释放堆外内存
  • 减少了一次数据拷贝,用户态与内核态的切换次数没有减少



目录
相关文章
|
13天前
|
存储 缓存 算法
零拷贝
零拷贝
20 1
零拷贝
|
1月前
|
安全 NoSQL Java
一文搞懂网络通信的基石✅IO模型与零拷贝
【10月更文挑战第1天】本文深入探讨了网络通信中的IO模型及其优化方法——零拷贝技术。首先介绍了IO模型的概念及五种常见类型:同步阻塞、同步非阻塞、多路复用、信号驱动和异步IO模型。文章详细分析了每种模型的特点和适用场景,特别是多路复用和异步IO在高并发场景中的优势。接着介绍了零拷贝技术,通过DMA直接进行数据传输,避免了多次CPU拷贝,进一步提升了效率。最后总结了各种模型的优缺点,并提供了相关的代码示例和资源链接。
一文搞懂网络通信的基石✅IO模型与零拷贝
|
1月前
|
Java 大数据 Linux
《揭秘高性能 I/O 利器:mmap 内存映射与 sendfile 技术》
本文详细解析了mmap内存映射和sendfile技术,探讨了它们的工作原理、优势及应用场景,帮助读者理解如何通过这些技术提升数据传输效率,并提供了实际代码示例,为技术选型提供参考。关键词:mmap、sendfile、高性能I/O、零拷贝。
59 0
|
6月前
|
Linux 数据处理
什么是零拷贝
什么是零拷贝
|
6月前
|
缓存 Linux
零拷贝技术(DMA、MMAP、sendfile)
零拷贝技术(DMA、MMAP、sendfile)
326 0
|
缓存 网络协议 Linux
零拷贝技术:减少数据复制和上下文切换,提高网络传输效率(下)
本章节主要讨论了如何通过零拷贝技术来优化文件传输的性能。零拷贝技术主要通过减少用户态和内核态之间的上下文切换次数和数据拷贝次数来提高性能。具体来说,介绍了两种实现零拷贝的方式:mmap + write和sendfile。使用mmap + write可以减少一次数据拷贝过程,而使用sendfile系统调用可以进一步减少系统调用和数据拷贝次数。此外,还介绍了如果网卡支持SG-DMA技术,可以通过DMA将数据直接拷贝到网卡缓冲区,实现真正的零拷贝。通过这些优化方法,可以显著提高文件传输的性能。
294 0
零拷贝技术:减少数据复制和上下文切换,提高网络传输效率(下)
|
算法 网络协议 调度
零拷贝技术:减少数据复制和上下文切换,提高网络传输效率(上)
在本次讨论中,我们确实只是提到了DMA技术在文件传输过程中的重要作用,并对零拷贝技术进行了简要介绍。然而,网络传输中存在的问题和优化方法是一个庞大的话题,涉及到诸多方面。因此,我决定将这些问题的详细讨论留到下一篇文章中,以便更全面地探讨网络传输的优化。我希望通过这样的讨论,能够为读者提供有益的信息和思路,感谢大家的阅读和关注,期待在下一篇文章中与大家再次交流和分享关于网络传输的优化问题。
106 0
|
消息中间件 存储 网络协议
超硬核,基于mmap和零拷贝实现高效的内存共享(下)
超硬核,基于mmap和零拷贝实现高效的内存共享
|
消息中间件 存储 Kafka
超硬核,基于mmap和零拷贝实现高效的内存共享(上)
超硬核,基于mmap和零拷贝实现高效的内存共享
|
缓存 Java
认识零拷贝
认识零拷贝
115 0
认识零拷贝