Linux c/c++文件虚拟内存映射

简介: 这篇文章介绍了在Linux环境下,如何使用虚拟内存映射技术来提高文件读写的速度,并通过C/C++代码示例展示了文件映射的整个流程。
  1. 使用虚拟内存映射操作文件可以大大提高向文件之中写入数据的速率
  2. 文件映射虚拟内存编程模型

文件写入模型

  1. 打开文件 open()
  2. 修改文件大小 ftruncate()
  3. 挂载映射 mmap()
  4. 使用虚拟内存 指针方式
  5. 卸载映射 munmap()
  6. 关闭文件 close()
#include <stdio.h>
#include <unistd.h>
#include <fcntl.h>
#include <stdlib.h>
#include <string.h>
#include <sys/mman.h>

struct student{
    int id;
    char name[20];
    int age;
    double score;
};

int main(){
    //1.打开文件
    int fd = open("stu.dat",O_CREAT | O_RDWR);
    if(-1 == fd)
        printf("文件打开失败!\n"),exit(-1);
    else
        printf("文件打开成功!\n");
    //2.修改文件大小
    ftruncate(fd, 3*sizeof(struct student));
    //3.挂载映射
    struct student* p = mmap(NULL,3*sizeof(struct student),PROT_WRITE|PROT_READ,
        MAP_SHARED,fd,0);
    if((void*)-1 == p)
        printf("映射虚拟内存失败:%m\n"),close(fd),exit(-1);
    printf("映射虚拟内存成功!\n");
    //4.使用虚拟内存
    struct student* pp = p;
    pp->id = 1;
    strcpy(pp->name,"张三");
    pp->age = 33;
    pp->score = 1.33;
    pp++;

    pp->id = 2;
    strcpy(pp->name,"李四");
    pp->age = 44;
    pp->score = 1.44;
    pp++;

    pp->id = 3;
    strcpy(pp->name,"王二");
    pp->age = 22;
    pp->score = 1.22;

    printf("数据写入完成!\n");
    //5.卸载映射
    int ret = munmap(p,3*sizeof(struct student));
    if(ret){
        printf("卸载失败\n"),exit(-1);
    }else{
        printf("卸载成功\n");
    }
    //6.关闭文件
    close(fd);

    return 0;
}

文件读取模型

  1. 打开文件 open()
  2. 挂载映射 mmap()
  3. 使用虚拟内存 指针方式
  4. 卸载映射 munmap()
  5. 关闭文件 close()
#include <stdio.h>
#include <unistd.h>
#include <fcntl.h>
#include <stdlib.h>
#include <sys/mman.h>

struct student{
    int id;
    char name[20];
    int age;
    double score;
};

int main(){
    //打开文件
    int fd = open("stu.dat",O_RDONLY);
    if(-1 == fd)
        printf("文件打开失败:\n"),exit(-1);
    printf("文件打开成功:\n");
    //挂载映射
    struct student* p = mmap(NULL,3*sizeof(struct student),PROT_READ,
        MAP_SHARED,fd,0);
    //读取数据
    struct student* pp = p;
    for(int i = 0;i < 3; i++){
        printf("%d:%s:%d:%g\n",pp->id,pp->name,pp->age,pp->score);
        pp++;
    }
    //卸载映射
    munmap(p,3*sizeof(struct student));
    //关闭文件
    close(fd);

    return 0;
}

void* mmap(void *start, size_t length, int prot, int flags, int fd, off_t offset);

参数1: 映射区的开始地址,设置为0(NULL)时由系统决定映射开始地址

参数2: 映射区的长度

参数3: 期望的内存保护方式,不能与文件的打开模式冲突,它的值可以是下面值的组合

PROT_EXEC     //映射页内容可被执行
PROT_WRITE    //映射页可被写入
PROT_READ     //映射页可被读取
PROT_NONE     //映射页不可访问

参数4: 指定映射对象的类型,映射选项和映射页是否可以共享,它的值可以是下面值的组合

MAP_FIXED //使用指定的映射起始地址,如果由start和len参数指定的内存区重叠于现存的映射空间,重叠部分将会被丢弃。如果指定的起始地址不可用,操作将会失败。并且起始地址必须落在页的边界上。

MAP_SHARED //与其它所有映射这个对象的进程共享映射空间。对共享区的写入,相当于输出到文件。直到msync()或者munmap()被调用,文件实际上不会被更新。

MAP_PRIVATE //建立一个写入时拷贝的私有映射。内存区域的写入不会影响到原文件。这个标志和以上标志是互斥的,只能使用其中一个。

MAP_DENYWRITE //这个标志被忽略。

MAP_EXECUTABLE //这个标志被忽略。

MAP_NORESERVE //不要为这个映射保留交换空间。当交换空间被保留,对映射区修改的可能会得到保证。当交换空间不被保留,同时内存不足,对映射区的修改会引起段违例信号。

MAP_LOCKED //锁定映射区的页面,从而防止页面被交换出内存。

MAP_GROWSDOWN //用于堆栈,告诉内核VM系统,映射区可以向下扩展。

MAP_ANONYMOUS //匿名映射,映射区不与任何文件关联。

MAP_ANON //MAP_ANONYMOUS的别称,不再被使用。

MAP_FILE //兼容标志,被忽略。

MAP_32BIT //将映射区放在进程地址空间的低2GB,MAP_FIXED指定时会被忽略。当前这个标志只在x86-64平台上得到支持。

MAP_POPULATE //为文件映射通过预读的方式准备好页表。随后对映射区的访问不会被页违例阻塞。

MAP_NONBLOCK //仅和MAP_POPULATE一起使用时才有意义。不执行预读,只为已存在于内存中的页面建立页表入口。

参数5: 文件描述符fd

参数6: 被映射文件的起始映射位置(即文件的偏移量)

int munmap(void *start, size_t length);

参数1: mmap()函数返回的地址

参数2: 映射虚拟内存的长度

函数返回值:

成功时: mmap函数返回被映射区的指针, munmap()返回0

失败时: mmap函数返回MAP_FAILED(void*)-1,munmap函数返回-1

相关文章
|
10月前
|
缓存 监控 Linux
Linux内存问题排查命令详解
Linux服务器卡顿?可能是内存问题。掌握free、vmstat、sar三大命令,快速排查内存使用情况。free查看实时内存,vmstat诊断系统整体性能瓶颈,sar实现长期监控,三者结合,高效定位并解决内存问题。
908 0
Linux内存问题排查命令详解
|
存储 数据管理 Linux
区分Linux中.tar文件与.tar.gz文件的不同。
总之,".tar"文件提供了一种方便的文件整理方式,其归档但不压缩的特点适用于快速打包和解压,而".tar.gz"文件通过额外的压缩步骤,尽管处理时间更长,但可以减小文件尺寸,更适合于需要节约存储空间或进行文件传输的场景。用户在选择时应根据具体需求,考虑两种格式各自的优劣。
1960 13
|
安全 Linux
Linux赋予文件000权限的恢复技巧
以上这些步骤就像是打开一扇锁住的门,步骤看似简单,但是背后却有着严格的逻辑和规则。切记,在任何时候,变更文件权限都要考虑安全性,不要无谓地放宽权限,那样可能
460 16
|
存储 Linux 数据处理
深入剖析Linux中一切即文件的哲学和重定向的机制
在计算机的奇妙世界中,Linux的这套哲学和机制减少了不同类型资源的处理方式,简化了抽象的概念,并蕴藏着强大的灵活性。就像变戏法一样,轻轻松松地在文件、程序与设备之间转换数据流,标准输入、输出、错误流就在指尖舞动,程序的交互和数据处理因此变得既高效又富有乐趣。
236 4
|
Ubuntu Linux
"unzip"命令解析:Linux下如何处理压缩文件。
总的来说,`unzip`命令是Linux系统下一款实用而方便的ZIP格式文件处理工具。本文通过简明扼要的方式,详细介绍了在各类Linux发行版上安装 `unzip`的方法,以及如何使用 `unzip`命令进行解压、查看和测试ZIP文件。希望本文章能为用户带来实际帮助,提高日常操作的效率。
3548 12
linux文件重命名命令
本指南介绍Linux文件重命名方法,包括单文件操作的`mv`命令和批量处理的`rename`命令。`mv`可简单更改文件名并保留扩展名,如`mv old_file.txt new_name.txt`;`rename`支持正则表达式,适用于复杂批量操作,如`rename &#39;s/2023/2024/&#39; *.log`。提供实用技巧如大小写转换、数字序列处理等,并提醒覆盖风险与版本差异,建议使用`-n`参数预览效果。
|
Linux
百度搜索:蓝易云【Linux中如何对文件进行压缩和解压缩?】
这些是在Linux中进行文件压缩和解压缩的常见方法。根据您的需求和具体情况,可能会使用其他压缩工具和选项。您可以通过查阅相应命令的帮助文档来获取更多详细信息。
331 1
|
NoSQL Java Linux
Linux常用命令(文件目录操作、拷贝移动、打包压缩、文本编辑、查找)
Linux常用命令(文件目录操作、拷贝移动、打包压缩、文本编辑、查找)
|
算法 Java Linux
Linux下文件增删改查定位压缩操作与权限所属用户
Linux下文件增删改查定位压缩操作与权限所属用户
277 0
26Linux - 文件管理(文件压缩解压:bzip2)
26Linux - 文件管理(文件压缩解压:bzip2)
254 0