Linux C/C++之IO多路复用(aio)

简介: 这篇文章介绍了Linux中IO多路复用技术epoll和异步IO技术aio的区别、执行过程、编程模型以及具体的编程实现方式。

1. epoll与aio的区别

1.1 文件描述符的分类

网络 io : socketFd
文件 io : fd

1.2 Windows与Linux异步操作的区别

windows: 所有描述符号的异步操作都是 iocp

linux: 针对socketFd 使用epoll做专门的操作(io多路复用)
针对fd 使用aio做专门的操作(异步io)

2. aio的执行过程

**涉及到OS的状态切换:
让io过程异步进行从而提高线程读写效率
aio执行完毕后会 立即 返回
两种方式来操作需要操作的数据:

    1. 检查(被检查)  
    2. 通知(信号 信号量 回调函数)(主动通知)**

3. aio编程模型

  1. 准备缓冲区(读到的数据存储的指定位置 struct aiocb cb
  2. 异步操作 异步读 异步写 aio_read aio_write
  3. 检查是否(读写)操作完毕 aio_error 循环检查
                   **aio\_suspend**  阻塞式
    
  4. 得到数据 aio_return

4. aio异步读检查方式实现

//异步读实现(检查方式)
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <aio.h>
#include <string.h>
#include <fcntl.h>

#define BUFF_SIZE 1024  //缓冲大小

int main(){
    //1. 准备缓冲区
    struct aiocb cb = {0};

    int fd = open("test.txt",O_RDONLY);
    if(-1 == fd) printf("文件打开失败:%m\n"),exit(-1);
    printf("文件打开成功!\n");
    //2. 异步读取文件数据
    cb.aio_buf = malloc(BUFF_SIZE + 1); //开辟内存空间
    memset(cb.aio_buf,0,BUFF_SIZE + 1); //清空内存
    cb.aio_fildes = fd;                    //文件描述符
    cb.aio_nbytes = BUFF_SIZE;            //读取数据大小
    cb.aio_offset = 0;                    //文件偏移量

    int r = aio_read(&cb);
    if(-1 == r) printf("异步读取失败:%m\n"),close(fd),exit(-2);
    printf("异步读取成功!\n");

    //3. 检查是否读取数据完毕
    int n = 0;
    while(aio_error(&cb)) n++;

    //4. 得到数据
    r = aio_return(&cb);
    if(r > 0){
        printf("拿到了数据:n:%d,r:%d bytes,data: %s\n",
            n,r,cb.aio_buf);
    }

    //5. 释放内存 关闭文件
    free(cb.aio_buf);
    close(fd);

    return 0;
}

5. aio异步读阻塞方式实现

//异步读实现(阻塞方式)
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <aio.h>
#include <string.h>
#include <fcntl.h>

#define BUFF_SIZE 1024
#define AIO_LIST_NUM 2  //aio个数

int main(){
    //1. 准备缓冲区
    struct aiocb cb = {0};
    //准备aio_suspend的第一个参数 结构体指针数组
    struct aiocb* aiocb_list[AIO_LIST_NUM] = {0};

    int fd = open("test.txt",O_RDONLY);
    if(-1 == fd) printf("文件打开失败:%m\n"),exit(-1);
    printf("文件打开成功!\n");
    //2. 异步读取文件数据

    cb.aio_buf = malloc(BUFF_SIZE + 1); //开辟内存空间
    memset(cb.aio_buf,0,BUFF_SIZE + 1); //清空内存
    cb.aio_fildes = fd;                    //文件描述符
    cb.aio_nbytes = BUFF_SIZE;            //读取数据大小
    cb.aio_offset = 0;                    //文件偏移量

    int r = aio_read(&cb);
    if(-1 == r) printf("异步读取失败:%m\n"),close(fd),exit(-2);
    printf("异步读取成功!\n");

    //将结构体cb设置到aio_suspend监视数组中去
    aiocb_list[0] = &cb;
    //3. aio_suspend阻塞式等待
    printf("阻塞!\n");
    r = aio_suspend(aiocb_list,AIO_LIST_NUM,NULL);
    if(-1 == r) printf("aio_suspend失败:%m\n"),close(fd),exit(-3);
    printf("aio_suspend成功!\n");
    printf("阻塞结束!\n");

    //4. 得到数据
    r = aio_return(&cb);
    if(r > 0){
        printf("拿到了数据:r:%d bytes,data: %s\n",
            r,cb.aio_buf);
    }

    //5. 释放内存 关闭文件
    free(cb.aio_buf);
    close(fd);

    return 0;
}

6. aio异步读写实现

//异步读写实现
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <aio.h>
#include <string.h>
#include <fcntl.h>

#define BUFF_SIZE 1024
#define AIO_LIST_NUM 2  //aio个数

int main(){

    //1. 准备缓冲区
    struct aiocb rcb = {0};
    struct aiocb wcb = {0};
    //准备lio_listio的第二个参数 结构体指针数组
    struct aiocb* aiocb_list[AIO_LIST_NUM] = {NULL};

    //2. 异步读取文件数据
    int rfd = open("test.txt",O_RDONLY);
    if(-1 == rfd) printf("文件打开失败:%m\n"),exit(-1);
    printf("文件打开成功!\n");

    rcb.aio_buf = malloc(BUFF_SIZE + 1); //开辟内存空间
    memset(rcb.aio_buf,0,BUFF_SIZE + 1); //清空内存
    rcb.aio_fildes = rfd;                //文件描述符
    rcb.aio_nbytes = BUFF_SIZE;            //读取数据大小
    rcb.aio_offset = 0;                    //文件偏移量
    rcb.aio_lio_opcode = LIO_READ;      //设置操作方式

    //将结构体rcb设置到aio_suspend监视数组中去
    aiocb_list[0] = &rcb;

    //3. 异步写入文件数据
    int wfd = open("test1.txt",O_WRONLY | O_APPEND);
    if(-1 == wfd) printf("文件打开失败:%m\n"),exit(-3);
    printf("文件打开成功!\n");

    wcb.aio_buf = malloc(BUFF_SIZE + 1); //开辟内存空间
    memset(wcb.aio_buf,0,BUFF_SIZE + 1); //清空内存
    strcpy(wcb.aio_buf,"哈哈哈哈\n");         //准备要写入的数据
    wcb.aio_fildes = wfd;                 //文件描述符
    wcb.aio_nbytes = strlen("哈哈哈哈\n");    //写入数据大小
    wcb.aio_lio_opcode = LIO_WRITE;       //设置操作方式

    //将结构体wcb设置到aio_suspend监视数组中去
    aiocb_list[1] = &wcb;

    //4. lio_listio 监控多个io
    int r = lio_listio(LIO_WAIT,aiocb_list,AIO_LIST_NUM,NULL);
    printf("lio_listio r: %d\n",r);

    //5. 得到数据
    r = aio_return(&rcb);
    if(r > 0){
        printf("拿到了数据:r:%d bytes,data: %s\n",
            r,rcb.aio_buf);
    }

    r = aio_return(&wcb);
    if(r > 0){
        printf("写入数据成功:r %d\n",r);
    }

    //6. 释放内存 关闭文件
    free(rcb.aio_buf);
    free(wcb.aio_buf);
    close(rfd);
    close(wfd);

    return 0;
}

7. aio注意项

使用 aio 的一些函数时需要加载 rt 库

**Windows中库的加载:

#include <mmsystem.h>  
#pragma comment(lib,"winmm.lib")  //库的加载  

Linux中库的加载在编译链接时做:
gcc -c aio.c
gcc aio.o //不加载库

gcc -c aio.c  
gcc aio.o -l rt   //加载库  
gcc aio.c -lrt** 
相关文章
|
5月前
|
监控 应用服务中间件 Linux
掌握并发模型:深度揭露网络IO复用并发模型的原理。
总结,网络 I/O 复用并发模型通过实现非阻塞 I/O、引入 I/O 复用技术如 select、poll 和 epoll,以及采用 Reactor 模式等技巧,为多任务并发提供了有效的解决方案。这样的模型有效提高了系统资源利用率,以及保证了并发任务的高效执行。在现实中,这种模型在许多网络应用程序和分布式系统中都取得了很好的应用成果。
132 35
|
4月前
|
Linux C语言 网络架构
Linux的基础IO内容补充-FILE
而当我们将运行结果重定向到log.txt文件时,数据的刷新策略就变为了全缓冲,此时我们使用printf和fwrite函数打印的数据都打印到了C语言自带的缓冲区当中,之后当我们使用fork函数创建子进程时,由于进程间具有独立性,而之后当父进程或是子进程对要刷新缓冲区内容时,本质就是对父子进程共享的数据进行了修改,此时就需要对数据进行写时拷贝,至此缓冲区当中的数据就变成了两份,一份父进程的,一份子进程的,所以重定向到log.txt文件当中printf和fwrite函数打印的数据就有两份。此时我们就可以知道,
70 0
|
4月前
|
存储 Linux Shell
Linux的基础IO
那么,这里我们温习一下操作系统的概念我们在Linux平台下运行C代码时,C库函数就是对Linux系统调用接口进行的封装,在Windows平台下运行C代码时,C库函数就是对Windows系统调用接口进行的封装,这样做使得语言有了跨平台性,也方便进行二次开发。这就是因为在根本上操作系统确实像银行一样,并不完全信任用户程序,因为直接开放底层资源(如内存、磁盘、硬件访问权限)给用户程序会带来巨大的风险。所以就向银行一样他的服务是由工作人员隔着一层玻璃,然后对顾客进行服务的。
53 0
|
10月前
|
Ubuntu Linux Shell
(已解决)Linux环境—bash: wget: command not found; Docker pull报错Error response from daemon: Get https://registry-1.docker.io/v2/: net/http: request canceled
(已成功解决)Linux环境报错—bash: wget: command not found;常见Linux发行版本,Linux中yum、rpm、apt-get、wget的区别;Docker pull报错Error response from daemon: Get https://registry-1.docker.io/v2/: net/http: request canceled
4575 69
(已解决)Linux环境—bash: wget: command not found; Docker pull报错Error response from daemon: Get https://registry-1.docker.io/v2/: net/http: request canceled
|
8月前
|
存储 网络协议 Linux
【Linux】进程IO|系统调用|open|write|文件描述符fd|封装|理解一切皆文件
本文详细介绍了Linux中的进程IO与系统调用,包括 `open`、`write`、`read`和 `close`函数及其用法,解释了文件描述符(fd)的概念,并深入探讨了Linux中的“一切皆文件”思想。这种设计极大地简化了系统编程,使得处理不同类型的IO设备变得更加一致和简单。通过本文的学习,您应该能够更好地理解和应用Linux中的进程IO操作,提高系统编程的效率和能力。
312 34
|
10月前
|
Linux API C语言
Linux基础IO
Linux基础IO操作是系统管理和开发的基本技能。通过掌握文件描述符、重定向与管道、性能分析工具、文件系统操作以及网络IO命令等内容,可以更高效地进行系统操作和脚本编写。希望本文提供的知识和示例能帮助读者更深入地理解和运用Linux IO操作。
208 14
|
12月前
|
Ubuntu Linux 编译器
Linux/Ubuntu下使用VS Code配置C/C++项目环境调用OpenCV
通过以上步骤,您已经成功在Ubuntu系统下的VS Code中配置了C/C++项目环境,并能够调用OpenCV库进行开发。请确保每一步都按照您的系统实际情况进行适当调整。
1996 3
|
12月前
|
资源调度 Linux 调度
Linux C/C++之线程基础
这篇文章详细介绍了Linux下C/C++线程的基本概念、创建和管理线程的方法,以及线程同步的各种机制,并通过实例代码展示了线程同步技术的应用。
180 0
Linux C/C++之线程基础
|
存储 Linux 编译器
Linux C/C++ 编程 内存管理之道:探寻编程世界中的思维乐趣
Linux C/C++ 编程 内存管理之道:探寻编程世界中的思维乐趣
245 0
|
关系型数据库 MySQL 数据库
Linux C/C++ 开发(学习笔记七):Mysql数据库C/C++编程实现 插入/读取/删除
Linux C/C++ 开发(学习笔记七):Mysql数据库C/C++编程实现 插入/读取/删除
438 0