Linux C/C++之IO多路复用(aio)

简介: 这篇文章介绍了Linux中IO多路复用技术epoll和异步IO技术aio的区别、执行过程、编程模型以及具体的编程实现方式。

1. epoll与aio的区别

1.1 文件描述符的分类

网络 io : socketFd
文件 io : fd

1.2 Windows与Linux异步操作的区别

windows: 所有描述符号的异步操作都是 iocp

linux: 针对socketFd 使用epoll做专门的操作(io多路复用)
针对fd 使用aio做专门的操作(异步io)

2. aio的执行过程

**涉及到OS的状态切换:
让io过程异步进行从而提高线程读写效率
aio执行完毕后会 立即 返回
两种方式来操作需要操作的数据:

    1. 检查(被检查)  
    2. 通知(信号 信号量 回调函数)(主动通知)**

3. aio编程模型

  1. 准备缓冲区(读到的数据存储的指定位置 struct aiocb cb
  2. 异步操作 异步读 异步写 aio_read aio_write
  3. 检查是否(读写)操作完毕 aio_error 循环检查
                   **aio\_suspend**  阻塞式
    
  4. 得到数据 aio_return

4. aio异步读检查方式实现

//异步读实现(检查方式)
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <aio.h>
#include <string.h>
#include <fcntl.h>

#define BUFF_SIZE 1024  //缓冲大小

int main(){
    //1. 准备缓冲区
    struct aiocb cb = {0};

    int fd = open("test.txt",O_RDONLY);
    if(-1 == fd) printf("文件打开失败:%m\n"),exit(-1);
    printf("文件打开成功!\n");
    //2. 异步读取文件数据
    cb.aio_buf = malloc(BUFF_SIZE + 1); //开辟内存空间
    memset(cb.aio_buf,0,BUFF_SIZE + 1); //清空内存
    cb.aio_fildes = fd;                    //文件描述符
    cb.aio_nbytes = BUFF_SIZE;            //读取数据大小
    cb.aio_offset = 0;                    //文件偏移量

    int r = aio_read(&cb);
    if(-1 == r) printf("异步读取失败:%m\n"),close(fd),exit(-2);
    printf("异步读取成功!\n");

    //3. 检查是否读取数据完毕
    int n = 0;
    while(aio_error(&cb)) n++;

    //4. 得到数据
    r = aio_return(&cb);
    if(r > 0){
        printf("拿到了数据:n:%d,r:%d bytes,data: %s\n",
            n,r,cb.aio_buf);
    }

    //5. 释放内存 关闭文件
    free(cb.aio_buf);
    close(fd);

    return 0;
}

5. aio异步读阻塞方式实现

//异步读实现(阻塞方式)
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <aio.h>
#include <string.h>
#include <fcntl.h>

#define BUFF_SIZE 1024
#define AIO_LIST_NUM 2  //aio个数

int main(){
    //1. 准备缓冲区
    struct aiocb cb = {0};
    //准备aio_suspend的第一个参数 结构体指针数组
    struct aiocb* aiocb_list[AIO_LIST_NUM] = {0};

    int fd = open("test.txt",O_RDONLY);
    if(-1 == fd) printf("文件打开失败:%m\n"),exit(-1);
    printf("文件打开成功!\n");
    //2. 异步读取文件数据

    cb.aio_buf = malloc(BUFF_SIZE + 1); //开辟内存空间
    memset(cb.aio_buf,0,BUFF_SIZE + 1); //清空内存
    cb.aio_fildes = fd;                    //文件描述符
    cb.aio_nbytes = BUFF_SIZE;            //读取数据大小
    cb.aio_offset = 0;                    //文件偏移量

    int r = aio_read(&cb);
    if(-1 == r) printf("异步读取失败:%m\n"),close(fd),exit(-2);
    printf("异步读取成功!\n");

    //将结构体cb设置到aio_suspend监视数组中去
    aiocb_list[0] = &cb;
    //3. aio_suspend阻塞式等待
    printf("阻塞!\n");
    r = aio_suspend(aiocb_list,AIO_LIST_NUM,NULL);
    if(-1 == r) printf("aio_suspend失败:%m\n"),close(fd),exit(-3);
    printf("aio_suspend成功!\n");
    printf("阻塞结束!\n");

    //4. 得到数据
    r = aio_return(&cb);
    if(r > 0){
        printf("拿到了数据:r:%d bytes,data: %s\n",
            r,cb.aio_buf);
    }

    //5. 释放内存 关闭文件
    free(cb.aio_buf);
    close(fd);

    return 0;
}

6. aio异步读写实现

//异步读写实现
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <aio.h>
#include <string.h>
#include <fcntl.h>

#define BUFF_SIZE 1024
#define AIO_LIST_NUM 2  //aio个数

int main(){

    //1. 准备缓冲区
    struct aiocb rcb = {0};
    struct aiocb wcb = {0};
    //准备lio_listio的第二个参数 结构体指针数组
    struct aiocb* aiocb_list[AIO_LIST_NUM] = {NULL};

    //2. 异步读取文件数据
    int rfd = open("test.txt",O_RDONLY);
    if(-1 == rfd) printf("文件打开失败:%m\n"),exit(-1);
    printf("文件打开成功!\n");

    rcb.aio_buf = malloc(BUFF_SIZE + 1); //开辟内存空间
    memset(rcb.aio_buf,0,BUFF_SIZE + 1); //清空内存
    rcb.aio_fildes = rfd;                //文件描述符
    rcb.aio_nbytes = BUFF_SIZE;            //读取数据大小
    rcb.aio_offset = 0;                    //文件偏移量
    rcb.aio_lio_opcode = LIO_READ;      //设置操作方式

    //将结构体rcb设置到aio_suspend监视数组中去
    aiocb_list[0] = &rcb;

    //3. 异步写入文件数据
    int wfd = open("test1.txt",O_WRONLY | O_APPEND);
    if(-1 == wfd) printf("文件打开失败:%m\n"),exit(-3);
    printf("文件打开成功!\n");

    wcb.aio_buf = malloc(BUFF_SIZE + 1); //开辟内存空间
    memset(wcb.aio_buf,0,BUFF_SIZE + 1); //清空内存
    strcpy(wcb.aio_buf,"哈哈哈哈\n");         //准备要写入的数据
    wcb.aio_fildes = wfd;                 //文件描述符
    wcb.aio_nbytes = strlen("哈哈哈哈\n");    //写入数据大小
    wcb.aio_lio_opcode = LIO_WRITE;       //设置操作方式

    //将结构体wcb设置到aio_suspend监视数组中去
    aiocb_list[1] = &wcb;

    //4. lio_listio 监控多个io
    int r = lio_listio(LIO_WAIT,aiocb_list,AIO_LIST_NUM,NULL);
    printf("lio_listio r: %d\n",r);

    //5. 得到数据
    r = aio_return(&rcb);
    if(r > 0){
        printf("拿到了数据:r:%d bytes,data: %s\n",
            r,rcb.aio_buf);
    }

    r = aio_return(&wcb);
    if(r > 0){
        printf("写入数据成功:r %d\n",r);
    }

    //6. 释放内存 关闭文件
    free(rcb.aio_buf);
    free(wcb.aio_buf);
    close(rfd);
    close(wfd);

    return 0;
}

7. aio注意项

使用 aio 的一些函数时需要加载 rt 库

**Windows中库的加载:

#include <mmsystem.h>  
#pragma comment(lib,"winmm.lib")  //库的加载  

Linux中库的加载在编译链接时做:
gcc -c aio.c
gcc aio.o //不加载库

gcc -c aio.c  
gcc aio.o -l rt   //加载库  
gcc aio.c -lrt** 
相关文章
|
30天前
|
Ubuntu Linux Shell
(已解决)Linux环境—bash: wget: command not found; Docker pull报错Error response from daemon: Get https://registry-1.docker.io/v2/: net/http: request canceled
(已成功解决)Linux环境报错—bash: wget: command not found;常见Linux发行版本,Linux中yum、rpm、apt-get、wget的区别;Docker pull报错Error response from daemon: Get https://registry-1.docker.io/v2/: net/http: request canceled
252 68
(已解决)Linux环境—bash: wget: command not found; Docker pull报错Error response from daemon: Get https://registry-1.docker.io/v2/: net/http: request canceled
|
22天前
|
Linux API C语言
Linux基础IO
Linux基础IO操作是系统管理和开发的基本技能。通过掌握文件描述符、重定向与管道、性能分析工具、文件系统操作以及网络IO命令等内容,可以更高效地进行系统操作和脚本编写。希望本文提供的知识和示例能帮助读者更深入地理解和运用Linux IO操作。
50 14
|
2月前
|
存储 JSON Java
细谈 Linux 中的多路复用epoll
大家好,我是 V 哥。`epoll` 是 Linux 中的一种高效多路复用机制,用于处理大量文件描述符(FD)事件。相比 `select` 和 `poll`,`epoll` 具有更高的性能和可扩展性,特别适用于高并发服务器。`epoll` 通过红黑树管理和就绪队列分离事件,实现高效的事件处理。本文介绍了 `epoll` 的核心数据结构、操作接口、触发模式以及优缺点,并通过 Java NIO 的 `Selector` 类展示了如何在高并发场景中使用多路复用。希望对大家有所帮助,欢迎关注威哥爱编程,一起学习进步。
|
3月前
|
Linux C++
Linux C/C++之IO多路复用(poll,epoll)
这篇文章详细介绍了Linux下C/C++编程中IO多路复用的两种机制:poll和epoll,包括它们的比较、编程模型、函数原型以及如何使用这些机制实现服务器端和客户端之间的多个连接。
68 0
Linux C/C++之IO多路复用(poll,epoll)
|
5月前
|
存储 Java
【IO面试题 四】、介绍一下Java的序列化与反序列化
Java的序列化与反序列化允许对象通过实现Serializable接口转换成字节序列并存储或传输,之后可以通过ObjectInputStream和ObjectOutputStream的方法将这些字节序列恢复成对象。
|
6月前
|
Java 大数据
解析Java中的NIO与传统IO的区别与应用
解析Java中的NIO与传统IO的区别与应用
|
4月前
|
Java 大数据 API
Java 流(Stream)、文件(File)和IO的区别
Java中的流(Stream)、文件(File)和输入/输出(I/O)是处理数据的关键概念。`File`类用于基本文件操作,如创建、删除和检查文件;流则提供了数据读写的抽象机制,适用于文件、内存和网络等多种数据源;I/O涵盖更广泛的输入输出操作,包括文件I/O、网络通信等,并支持异常处理和缓冲等功能。实际开发中,这三者常结合使用,以实现高效的数据处理。例如,`File`用于管理文件路径,`Stream`用于读写数据,I/O则处理复杂的输入输出需求。
281 12
|
5月前
|
Java 数据处理
Java IO 接口(Input)究竟隐藏着怎样的神秘用法?快来一探究竟,解锁高效编程新境界!
【8月更文挑战第22天】Java的输入输出(IO)操作至关重要,它支持从多种来源读取数据,如文件、网络等。常用输入流包括`FileInputStream`,适用于按字节读取文件;结合`BufferedInputStream`可提升读取效率。此外,通过`Socket`和相关输入流,还能实现网络数据读取。合理选用这些流能有效支持程序的数据处理需求。
63 2
|
5月前
|
XML 存储 JSON
【IO面试题 六】、 除了Java自带的序列化之外,你还了解哪些序列化工具?
除了Java自带的序列化,常见的序列化工具还包括JSON(如jackson、gson、fastjson)、Protobuf、Thrift和Avro,各具特点,适用于不同的应用场景和性能需求。
|
5月前
|
缓存 Java
【IO面试题 一】、介绍一下Java中的IO流
Java中的IO流是对数据输入输出操作的抽象,分为输入流和输出流,字节流和字符流,节点流和处理流,提供了多种类支持不同数据源和操作,如文件流、数组流、管道流、字符串流、缓冲流、转换流、对象流、打印流、推回输入流和数据流等。
【IO面试题 一】、介绍一下Java中的IO流