Zore copy(翻译《Efficient data transfer through zero copy》)

简介: 原文:https://www.ibm.com/developerworks/library/j-zerocopy/   《Efficient data transfer through zero copy》 本文描述通过一种叫做Zore Copy的技术来提升运行在Linux和UNIX上的Java程序的IO性能。

原文:https://www.ibm.com/developerworks/library/j-zerocopy/

 

《Efficient data transfer through zero copy

本文描述通过一种叫做Zore Copy的技术来提升运行在Linux和UNIX上的Java程序的IO性能。

Zero copy避免冗余的数据拷贝并减少用户态和内核态之间的上下文切换。

 

很多WEB应用都服务大量的静态文件,这些静态文件大多从磁盘读取并返回到socket中。这些操作需要相对较少的CPU,但是比较低效:kernel读取磁盘数据并通过用户态返回给应用,之后应用通过用户态把数据写到socket。事实上,应用作为一个低消的中间介质将数据从磁盘读取并返回给socket。

 

每一次通过用户态的数据传输,数据都必须要被复制,并且消耗CPU核内存带宽。幸运的是可以通过zore copy来减少拷贝次数。使用zore copy要求内核直接从磁盘复制数据并写入socket,而不通过应用程序。Zero copy减少用户态和内核态的上下文切换,减少拷贝次数来提升性能。

 

Java类库通过Linux和UNIX系统的tranferTo()来支持zore copy。可以通过transferTo()方法直接从一个channel写到目标channel,并不需要数据通过应用程序。本文首先说明用传统方法传输简单文件的过高开销,然后展示如何通过zore copy的transferTo()方法来获得更好的性能。

 

Data transfer: Thre traditional approach

考虑读取一个文件并通过网络传输到另一个程序,其核心的操作如list 1中所示。

 

File.read(fileDesc, buf, len);

Socket.send(socket, buf, len);

 

主要就是读取文件内容到buffer中,之后将buffer数据发送到socket

下图展示整个过程中数据的拷贝:

下图展示整个过程中上下文的切换:

 

过程如下:

  1. read()函数调用导致了一次用户态到内核态的上下文切换。系统内部的sys_read()调用被用于把数据读取出来。第一次复制是以DMA引擎的方式呈现的,DMA把数据读取出来并存入kernel address space buffer
  2. 数据被读取返回后导致了上下文从内核态切换到用户态,现在数据存在user address space buffer中。
  3. send()操作再次把上下文从用户态切换到内核态。并且数据被从用户缓存拷贝到kernel address space buffer中。
  4. send()操作返回,这时又从内核态返回到用户态,并且发生最后一次数据拷贝,数据从kernel buffer拷贝到protocol engine中。

传统的方式一共出现了4次数据拷贝和上下文切换(每一次系统调用都是两次上下文切换:用户态->内核态->用户态)。

 

中间kernel buffer的使用时低效的。kernel buffer预期是用于提升性能的,当数据大小没有达到buffer大小时,kernel buffer作为“预读取”的角色提升性能。在写的时候buffer允许异步完成操作。

不幸的是,如果请求数据比buffer还大,那么这个方式本身就会成为瓶颈。数据需要在磁盘,kernel buffer,user buffer间多次拷贝才能到达应用程序。

Zero Copy通过减少不必要的数据拷贝来提升性能。

 

Data transfer: The zero-copy approach

回顾传统的方式,第二次和第三次复制是不必要的(从buffer到应用程序、从应用程序到buffer),应用程序并没有改变数据内容,只是将其返回到socket buffer中。transferTo实现了数据直接共read buffer到write buffer

 

public void transferTo(long position, long count, WritableByteChannel target);

 

transferTo方法吧数据从file channel传输到

下图展示了通过transferTo()方法中的数据拷贝:

 

下图展示了通过transferTo()方法中间的上下文切换:

 

调用transferTo方法是发生的步骤如下:

  1. transferTo()调用使文件内容通过DMA的方式被复制到read buffer。然后将数据复制到与输出的socket相关的buffer中。
  2. 第三次复制发生在DMA将数据复制到protocol engine

整个过程相对于传统方式减少了两次上下文切换和一次数据拷贝。

但这还没有达到zero-copy的目标。如果底层网络接口支持,我们可以进一步减少数据拷贝。在Linux内核2.4及之后版本,socket buffer支持了这种方式:

  1. transferTo方法调用使文件内容通过DMA引擎被复制到kernel buffer
  2. 无数据被复制到socket buffer。只是描述了需要被写入的数据的位置和长度。DMA引擎直接把数据从kernel buffer复制到protocol engine

整个过程现在只有两次上下文切换和两次数据拷贝。

 

两种方式的性能对比:

 

 

 

 

 

如果本文对您有帮助,点一下右下角的“推荐”
目录
相关文章
|
10月前
|
人工智能 并行计算 安全
从零到一,打造专属AI王国!大模型私有化部署全攻略,手把手教你搭建、优化与安全设置
【10月更文挑战第24天】本文详细介绍从零开始的大模型私有化部署流程,涵盖需求分析、环境搭建、模型准备、模型部署、性能优化和安全设置六个关键步骤,并提供相应的示例代码,确保企业能够高效、安全地将大型AI模型部署在本地或私有云上。
2778 7
|
JSON Java 数据格式
SpringBoot热部署详解
SpringBoot热部署详解
SpringBoot热部署详解
|
编解码 网络安全 CDN
使用cdn为github pages加速
第一次使用cdn
2144 0
|
消息中间件 SQL JSON
自建MQTT迁移阿里云物联网平台指南
2020年是5G大规模商用的元年,使用阿里云物联网平台在产业爆发前打造一套安全可靠的业务架构,更能解放人力专注业务开发!
16242 0
|
11月前
|
存储 移动开发 API
如何实现浏览器内多个标签页之间的通信
在浏览器中,可通过三种方式实现多标签页通信:一是利用 `localStorage`,通过设置及监听数据变化实现信息传递;二是借助 `Broadcast Channel API`,在同一频道下双向传输消息;三是运用 `SharedWorker`,作为共享工件在各标签间架起沟通桥梁。每种方法依据实际需求选择使用。
|
网络协议 安全 Python
python实现对网络流量分析
Python提供多种工具进行网络流量分析,如`pcap`库用于实时捕包,`dpkt`库用于解码数据包,以及`Scapy`库进行高级分析。
760 1
|
机器学习/深度学习 人工智能 算法
技术开源|FunASR升级第三代热词方案
技术开源|FunASR升级第三代热词方案
2822 62
|
JSON 小程序 JavaScript
超详细微信小程序开发学习笔记,看完你也可以动手做微信小程序项目
这篇文章是一份全面的微信小程序开发学习笔记,涵盖了从小程序介绍、环境搭建、项目创建、开发者工具使用、文件结构、配置文件、模板语法、事件绑定、样式规范、组件使用、自定义组件开发到小程序生命周期管理等多个方面的详细教程和指南。
|
Java 数据库连接
Java中的静态代码块深入解析
Java中的静态代码块深入解析
258 0
|
小程序 前端开发 API
微信小程序利用百度api达成植物识别
## 看完本文你可学会: - 如何使用百度智能云 - 如何在微信小程序中去接入百度api,达成植物识别的效果