零拷贝mmap、sendfile
定义
零拷贝技术主要是解决传统网络I/O操作中发送文件的性能问题：如下图表示一次read和write时传统I/O涉及到的CPU操作：
- 涉及到4次用户态↔内核态上下文切换，其中read切换两次、write切换两次；
- 涉及到4次数据拷贝。其中DMA拷贝两次、CPU拷贝两次；
上述操作多次的上下文切换与拷贝会影响性能。
可以使用零拷贝技术mmap+write、sendfile和splice来优化。
DMA
DMA（Direct Memory Access），即直接存储器存取，是一种快速传送数据的机制。利用它进行数据传送时不需要CPU的参与。
使用DMA拷贝数据会获取一部分系统数据总线资源，用来传输数据，而不需要CPU参数。IO读取也不会引发中断。CPU读取IO操作，系统调用时是会引发中断的。
mmap
mmap（memory map）采用虚拟内存，地址映射来减少一次拷贝。可以减少将数据从内核态拷贝到用户态的性能消耗。
如上图所示，从数据并没有从内核态拷贝到用户态，而是直接通过内存映射的方式得到待传文件的虚拟内存地址，在发送的时候，可以通过共享的虚拟内存地址将待发送文件信息拷贝到socket缓存区，发送出去。
#include <sys/mman.h> #include <sys/socket.h> #include <netinet/in.h> #include <unistd.h> #include <fcntl.h> #include <cstring> int main() { // 打开文件并将其映射到内存中 int fd = open("file.txt", O_RDONLY); size_t size = lseek(fd, 0, SEEK_END); char* data = (char*) mmap(nullptr, size, PROT_READ, MAP_PRIVATE, fd, 0); // 创建套接字并连接到目标地址 int sock = socket(AF_INET, SOCK_STREAM, 0); sockaddr_in addr; addr.sin_family = AF_INET; addr.sin_addr.s_addr = inet_addr("127.0.0.1"); addr.sin_port = htons(1234); connect(sock, (sockaddr*) &addr, sizeof(addr)); // 将内存中的数据直接写入套接字 write(sock, data, size);// // 关闭套接字和文件，并解除内存映射 close(sock); munmap(data, size); close(fd); return 0; }
mmap这里只是减少了copy，但还是需要4次上下文切换。那是否有什么方式可以减少上下文切换，这时sendfile就出来了。
sendfile
sendfile可以减少文件发送时的上下文切换。
从 Linux 2.1 版本开始，Linux 引入了 sendfile来简化操作。sendfile方式可以替换上面的mmap/write方式来进一步优化。
sendfile将以下操作：
mmap(); write();
替换为：
sendfile();
这样就减少了上下文切换，因为少了一个应用程序发起write操作，直接发起sendfile操作。
直接通过DMA将磁盘数据复制到缓存区，在内核态将缓冲区的数据拷贝到socket缓存区，不需要用户态参与。
#include <sys/socket.h> #include <fcntl.h> #include <cstring> int main() { // 打开文件并获取文件描述符 int fd = open("file.txt", O_RDONLY); // 创建套接字并连接到目标地址 int sock = socket(AF_INET, SOCK_STREAM, 0); sockaddr_in addr; addr.sin_family = AF_INET; addr.sin_addr.s_addr = inet_addr("127.0.0.1"); addr.sin_port = htons(1234); connect(sock, (sockaddr*) &addr, sizeof(addr)); // 使用sendfile函数将文件信息发送到套接字 off_t offset = 0; struct stat stat_buf; fstat(fd, &stat_buf); sendfile(sock, fd, &offset, stat_buf.st_size);//直接使用sendfile发送文件，避免上下文切换 // 关闭套接字和文件 close(sock); close(fd); return 0; }
可以看到sendfile经历了3次的copy动作，而且没有频繁的用户态↔内核态的状态切换。
那sendfile是不是就是完美的，还可不可以把cpu copy也节省呢?
带有 scatter/gather 的 sendfile方式
Linux 2.4 内核进行了优化，提供了带有 scatter/gather 的 sendfile 操作，这个操作可以把最后一次 CPU COPY 去除。其原理就是在内核空间 Read BUffer 和 Socket Buffer 不做数据复制，而是将 Read Buffer 的内存地址、偏移量记录到相应的 Socket Buffer 中，这样就不需要复制。其本质和虚拟内存的解决方法思路一致，就是内存地址的记录。
下图展示了scatter/gather 的 sendfile 的原理：
splice
与sendfile不同的是，splice允许任意两个文件互相连接，而并不只是文件与socket进行数据传输。
对于从一个文件描述符发送数据到socket这种特例来说，一直都是使用sendfile系统调用；
而splice一直以来就只是一种机制，它并不仅限于sendfile的功能。也就是说 sendfile 是 splice 的一个子集。
和 sendfile 不同的是，splice 不需要硬件支持。
