Linux C/C++之IO多路复用(aio)

简介: 这篇文章介绍了Linux中IO多路复用技术epoll和异步IO技术aio的区别、执行过程、编程模型以及具体的编程实现方式。

1. epoll与aio的区别

1.1 文件描述符的分类

网络 io : socketFd
文件 io : fd

1.2 Windows与Linux异步操作的区别

windows: 所有描述符号的异步操作都是 iocp

linux: 针对socketFd 使用epoll做专门的操作(io多路复用)
针对fd 使用aio做专门的操作(异步io)

2. aio的执行过程

**涉及到OS的状态切换:
让io过程异步进行从而提高线程读写效率
aio执行完毕后会 立即 返回
两种方式来操作需要操作的数据:

    1. 检查(被检查)  
    2. 通知(信号 信号量 回调函数)(主动通知)**

3. aio编程模型

  1. 准备缓冲区(读到的数据存储的指定位置 struct aiocb cb
  2. 异步操作 异步读 异步写 aio_read aio_write
  3. 检查是否(读写)操作完毕 aio_error 循环检查
                   **aio\_suspend**  阻塞式
    
  4. 得到数据 aio_return

4. aio异步读检查方式实现

//异步读实现(检查方式)
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <aio.h>
#include <string.h>
#include <fcntl.h>

#define BUFF_SIZE 1024  //缓冲大小

int main(){
    //1. 准备缓冲区
    struct aiocb cb = {0};

    int fd = open("test.txt",O_RDONLY);
    if(-1 == fd) printf("文件打开失败:%m\n"),exit(-1);
    printf("文件打开成功!\n");
    //2. 异步读取文件数据
    cb.aio_buf = malloc(BUFF_SIZE + 1); //开辟内存空间
    memset(cb.aio_buf,0,BUFF_SIZE + 1); //清空内存
    cb.aio_fildes = fd;                    //文件描述符
    cb.aio_nbytes = BUFF_SIZE;            //读取数据大小
    cb.aio_offset = 0;                    //文件偏移量

    int r = aio_read(&cb);
    if(-1 == r) printf("异步读取失败:%m\n"),close(fd),exit(-2);
    printf("异步读取成功!\n");

    //3. 检查是否读取数据完毕
    int n = 0;
    while(aio_error(&cb)) n++;

    //4. 得到数据
    r = aio_return(&cb);
    if(r > 0){
        printf("拿到了数据:n:%d,r:%d bytes,data: %s\n",
            n,r,cb.aio_buf);
    }

    //5. 释放内存 关闭文件
    free(cb.aio_buf);
    close(fd);

    return 0;
}

5. aio异步读阻塞方式实现

//异步读实现(阻塞方式)
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <aio.h>
#include <string.h>
#include <fcntl.h>

#define BUFF_SIZE 1024
#define AIO_LIST_NUM 2  //aio个数

int main(){
    //1. 准备缓冲区
    struct aiocb cb = {0};
    //准备aio_suspend的第一个参数 结构体指针数组
    struct aiocb* aiocb_list[AIO_LIST_NUM] = {0};

    int fd = open("test.txt",O_RDONLY);
    if(-1 == fd) printf("文件打开失败:%m\n"),exit(-1);
    printf("文件打开成功!\n");
    //2. 异步读取文件数据

    cb.aio_buf = malloc(BUFF_SIZE + 1); //开辟内存空间
    memset(cb.aio_buf,0,BUFF_SIZE + 1); //清空内存
    cb.aio_fildes = fd;                    //文件描述符
    cb.aio_nbytes = BUFF_SIZE;            //读取数据大小
    cb.aio_offset = 0;                    //文件偏移量

    int r = aio_read(&cb);
    if(-1 == r) printf("异步读取失败:%m\n"),close(fd),exit(-2);
    printf("异步读取成功!\n");

    //将结构体cb设置到aio_suspend监视数组中去
    aiocb_list[0] = &cb;
    //3. aio_suspend阻塞式等待
    printf("阻塞!\n");
    r = aio_suspend(aiocb_list,AIO_LIST_NUM,NULL);
    if(-1 == r) printf("aio_suspend失败:%m\n"),close(fd),exit(-3);
    printf("aio_suspend成功!\n");
    printf("阻塞结束!\n");

    //4. 得到数据
    r = aio_return(&cb);
    if(r > 0){
        printf("拿到了数据:r:%d bytes,data: %s\n",
            r,cb.aio_buf);
    }

    //5. 释放内存 关闭文件
    free(cb.aio_buf);
    close(fd);

    return 0;
}

6. aio异步读写实现

//异步读写实现
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <aio.h>
#include <string.h>
#include <fcntl.h>

#define BUFF_SIZE 1024
#define AIO_LIST_NUM 2  //aio个数

int main(){

    //1. 准备缓冲区
    struct aiocb rcb = {0};
    struct aiocb wcb = {0};
    //准备lio_listio的第二个参数 结构体指针数组
    struct aiocb* aiocb_list[AIO_LIST_NUM] = {NULL};

    //2. 异步读取文件数据
    int rfd = open("test.txt",O_RDONLY);
    if(-1 == rfd) printf("文件打开失败:%m\n"),exit(-1);
    printf("文件打开成功!\n");

    rcb.aio_buf = malloc(BUFF_SIZE + 1); //开辟内存空间
    memset(rcb.aio_buf,0,BUFF_SIZE + 1); //清空内存
    rcb.aio_fildes = rfd;                //文件描述符
    rcb.aio_nbytes = BUFF_SIZE;            //读取数据大小
    rcb.aio_offset = 0;                    //文件偏移量
    rcb.aio_lio_opcode = LIO_READ;      //设置操作方式

    //将结构体rcb设置到aio_suspend监视数组中去
    aiocb_list[0] = &rcb;

    //3. 异步写入文件数据
    int wfd = open("test1.txt",O_WRONLY | O_APPEND);
    if(-1 == wfd) printf("文件打开失败:%m\n"),exit(-3);
    printf("文件打开成功!\n");

    wcb.aio_buf = malloc(BUFF_SIZE + 1); //开辟内存空间
    memset(wcb.aio_buf,0,BUFF_SIZE + 1); //清空内存
    strcpy(wcb.aio_buf,"哈哈哈哈\n");         //准备要写入的数据
    wcb.aio_fildes = wfd;                 //文件描述符
    wcb.aio_nbytes = strlen("哈哈哈哈\n");    //写入数据大小
    wcb.aio_lio_opcode = LIO_WRITE;       //设置操作方式

    //将结构体wcb设置到aio_suspend监视数组中去
    aiocb_list[1] = &wcb;

    //4. lio_listio 监控多个io
    int r = lio_listio(LIO_WAIT,aiocb_list,AIO_LIST_NUM,NULL);
    printf("lio_listio r: %d\n",r);

    //5. 得到数据
    r = aio_return(&rcb);
    if(r > 0){
        printf("拿到了数据:r:%d bytes,data: %s\n",
            r,rcb.aio_buf);
    }

    r = aio_return(&wcb);
    if(r > 0){
        printf("写入数据成功:r %d\n",r);
    }

    //6. 释放内存 关闭文件
    free(rcb.aio_buf);
    free(wcb.aio_buf);
    close(rfd);
    close(wfd);

    return 0;
}

7. aio注意项

使用 aio 的一些函数时需要加载 rt 库

**Windows中库的加载:

#include <mmsystem.h>  
#pragma comment(lib,"winmm.lib")  //库的加载  

Linux中库的加载在编译链接时做:
gcc -c aio.c
gcc aio.o //不加载库

gcc -c aio.c  
gcc aio.o -l rt   //加载库  
gcc aio.c -lrt** 
相关文章
|
27天前
|
弹性计算 人工智能 架构师
阿里云携手Altair共拓云上工业仿真新机遇
2024年9月12日,「2024 Altair 技术大会杭州站」成功召开,阿里云弹性计算产品运营与生态负责人何川,与Altair中国技术总监赵阳在会上联合发布了最新的“云上CAE一体机”。
阿里云携手Altair共拓云上工业仿真新机遇
|
3天前
|
人工智能 Rust Java
10月更文挑战赛火热启动,坚持热爱坚持创作!
开发者社区10月更文挑战,寻找热爱技术内容创作的你,欢迎来创作!
370 16
|
19天前
|
存储 关系型数据库 分布式数据库
GraphRAG:基于PolarDB+通义千问+LangChain的知识图谱+大模型最佳实践
本文介绍了如何使用PolarDB、通义千问和LangChain搭建GraphRAG系统,结合知识图谱和向量检索提升问答质量。通过实例展示了单独使用向量检索和图检索的局限性,并通过图+向量联合搜索增强了问答准确性。PolarDB支持AGE图引擎和pgvector插件,实现图数据和向量数据的统一存储与检索,提升了RAG系统的性能和效果。
|
6天前
|
JSON 自然语言处理 数据管理
阿里云百炼产品月刊【2024年9月】
阿里云百炼产品月刊【2024年9月】,涵盖本月产品和功能发布、活动,应用实践等内容,帮助您快速了解阿里云百炼产品的最新动态。
阿里云百炼产品月刊【2024年9月】
|
21天前
|
人工智能 IDE 程序员
期盼已久!通义灵码 AI 程序员开启邀测,全流程开发仅用几分钟
在云栖大会上,阿里云云原生应用平台负责人丁宇宣布,「通义灵码」完成全面升级,并正式发布 AI 程序员。
|
23天前
|
机器学习/深度学习 算法 大数据
【BetterBench博士】2024 “华为杯”第二十一届中国研究生数学建模竞赛 选题分析
2024“华为杯”数学建模竞赛,对ABCDEF每个题进行详细的分析,涵盖风电场功率优化、WLAN网络吞吐量、磁性元件损耗建模、地理环境问题、高速公路应急车道启用和X射线脉冲星建模等多领域问题,解析了问题类型、专业和技能的需要。
2592 22
【BetterBench博士】2024 “华为杯”第二十一届中国研究生数学建模竞赛 选题分析
|
5天前
|
存储 人工智能 搜索推荐
数据治理,是时候打破刻板印象了
瓴羊智能数据建设与治理产品Datapin全面升级,可演进扩展的数据架构体系为企业数据治理预留发展空间,推出敏捷版用以解决企业数据量不大但需构建数据的场景问题,基于大模型打造的DataAgent更是为企业用好数据资产提供了便利。
181 2
|
3天前
|
编译器 C#
C#多态概述:通过继承实现的不同对象调用相同的方法,表现出不同的行为
C#多态概述:通过继承实现的不同对象调用相同的方法,表现出不同的行为
105 65
|
7天前
|
Linux 虚拟化 开发者
一键将CentOs的yum源更换为国内阿里yum源
一键将CentOs的yum源更换为国内阿里yum源
332 2
|
23天前
|
机器学习/深度学习 算法 数据可视化
【BetterBench博士】2024年中国研究生数学建模竞赛 C题:数据驱动下磁性元件的磁芯损耗建模 问题分析、数学模型、python 代码
2024年中国研究生数学建模竞赛C题聚焦磁性元件磁芯损耗建模。题目背景介绍了电能变换技术的发展与应用,强调磁性元件在功率变换器中的重要性。磁芯损耗受多种因素影响,现有模型难以精确预测。题目要求通过数据分析建立高精度磁芯损耗模型。具体任务包括励磁波形分类、修正斯坦麦茨方程、分析影响因素、构建预测模型及优化设计条件。涉及数据预处理、特征提取、机器学习及优化算法等技术。适合电气、材料、计算机等多个专业学生参与。
1580 17
【BetterBench博士】2024年中国研究生数学建模竞赛 C题:数据驱动下磁性元件的磁芯损耗建模 问题分析、数学模型、python 代码