Linux系统编程-进程间通信(mmap内存映射)

简介: 前面文章介绍了进程间常用的通信方式: 无名管道和命名管道,这篇文章介绍内存映射,内存映射在多进程访问文件读写的时候非常方便。

前面文章介绍了进程间常用的通信方式: 无名管道和命名管道,这篇文章介绍内存映射,内存映射在多进程访问文件读写的时候非常方便。

1. 内存映射mmap函数介绍

mmap函数可以将磁盘上的文件映射到内存空间中,返回映射的首地址。

相关函数: mmap munmap msync

函数原型与参数介绍:

#include <unistd.h>
#include <sys/mman.h>
int msync(const void *start, size_t length, int flags);        
函数功能: 把对内存区域所做的更改同步到文件

void *mmap(void *addr, size_t length, int prot, int flags,int fd, off_t offset);
函数功能: 用来将某个文件内容映射到内存中,对该内存区域的存取即是直接对该文件内容的读写。通过这样可以加快文件访问速度。
返回值:成功返回映射的内存的起始地址。
(1)    第一个参数start指向欲对应的内存起始地址,通常设为NULL,代表让系统自动选定地址,对应成功后该地址会返回。
(2)    第二个参数length代表将文件中多大的部分对应到内存。
(3)    第三个参数prot代表映射区域的保护方式有下列组合:
PROT_EXEC 映射区域可被执行
PROT_READ 映射区域可被读取
PROT_WRITE 映射区域可被写入
PROT_NONE 映射区域不能存取
(4)    第四个参数 flags会影响映射区域的各种特性:
MAP_FIXED      如果参数start所指的地址无法成功建立映射时,则放弃映射,不对地址做修正。通常不鼓励用此旗标。
MAP_SHARED  对映射区域的写入数据会复制回文件内,而且允许其他映射该文件的进程共享。
MAP_PRIVATE 对映射区域的写入操作会产生一个映射文件的复制,即私人的“写入时复制”, 对此区域作的任何修改都不会写回原来的文件内容。
MAP_ANONYMOUS     建立匿名映射。此时会忽略参数fd,不涉及文件,而且映射区域无法和其他进程共享。
MAP_DENYWRITE     只允许对映射区域的写入操作,而不能对fd指向的文件进行读写,对该文件直接写入的操作将会被拒绝。
MAP_LOCKED      将映射区域锁定住,这表示该区域不会被置换(swap)。
在调用mmap()时必须要指定MAP_SHARED 或MAP_PRIVATE。
    
(5)    第五个参数fd为open()返回的文件描述词,代表欲映射到内存的文件。
(6)    第六个参数offset为文件映射的偏移量,通常设置为0,代表从文件最前方开始对应,offset必须是分页大小的整数倍。
    
用法示例:
fb_mem=mmap(NULL,smem_len,PROT_READ|PROT_WRITE,MAP_SHARED,fb,0);
    
int munmap(void *addr, size_t length);
函数功能: 取消映射,用来取消参数start所指的映射内存起始地址,参数length则是欲取消的内存大小。当进程结束,映射内存会自动解除,但关闭对应的文件描述词时不会解除映射。返回值:如果解除映射成功则返回0,否则返回-1。
通过内存映射进行进程通信,多个进程可以同时映射同一个文件到内存空间,只要一个进程对文件进行了修改,其他进程都可以得到修改的数据。
注意: 打开文件的权限需要与映射的权限一致!

2. 案例代码: mmap用法示例(1)

下面代码的功能: 创建一个新文件,设置文件大小,使用mmap函数映射文件地址出来,对地址直接拷贝数据进入,再取消映射。 这时再打开文件,数据已经存放到到文件中了。演示通过mmap映射文件地址方式读写文件。

#include <stdio.h>
#include <unistd.h>
#include <string.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <dirent.h>
#include <stdlib.h>
#include <sys/mman.h>

int main(int argc,char **argv)
{
    if(argc!=2)
    {
        printf("./a.out <文件>\n");
        return 0;
    }
    /*1. 创建一个文件*/
    int fd;
    fd=open(argv[1],O_RDWR|O_CREAT,S_IRWXU);
    if(fd<0)
    {
        printf("%s 文件打开失败.\n",argv[1]);
        return 0;
    }
    /*2. 设置文件的大小*/
    ftruncate(fd, 1024);
    /*3. 获取文件大小*/
    struct stat s_buf;
    fstat(fd,&s_buf);
    printf("文件的大小:%d Byte\n",s_buf.st_size);
    /*4. 映射文件到内存空间*/
    unsigned char *mem_p=NULL;
    mem_p=mmap(NULL,s_buf.st_size,PROT_READ|PROT_WRITE,MAP_SHARED,fd,0);
    if(mem_p==NULL)
    {
        printf("文件映射失败.\n");
        close(fd);
        return 0;
    }
    /*5. 关闭文件*/
    close(fd);
    /*6. 实现文件读写*/
    strcpy(mem_p,"mmap函数测试.实现文件读写.");
    /*7. 打印文件里的内容*/
    printf("mem_p=%s\n",mem_p);
    /*8. 取消映射*/
    munmap(mem_p,s_buf.st_size);
    return 0;
}

3. 案例代码: mmap用法示例(2)

下面代码的功能: 程序运行时,从命令行传入一个存在的文件路径进去,再调用open打开文件,再通过mmap映射文件地址,得到地址之后向文件拷贝一串字符串数据进去。

注意: 通过mmap映射的地址写数据一定要保证范围不能超过文件的本身大小范围。超过就段错误了。

#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <sys/mman.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <string.h>

char buff[]="内存映射测试";
int main(int argc,char **argv)
{
    if(argc!=2)
    {
        printf("./app <文件>\n");
        return 0;
    }
    char *m_p;
    struct stat stat_buf;
    stat(argv[1],&stat_buf);
    int fd=open(argv[1],O_RDWR);
    m_p=mmap(0,stat_buf.st_size,PROT_READ|PROT_WRITE,MAP_SHARED,fd,0);
    if(m_p!=NULL)printf("映射成功!\n");
    printf("m_p=%s\n",m_p);
    //memset(m_p,0,stat_buf.st_size);
    memcpy(m_p,buff,strlen(buff));
    munmap(m_p,stat_buf.st_size);
    close(fd);
    return 0;
}

4. 案例代码: 多进程并发拷贝一个大文件

代码要求: 使用mmap函数映射文件到内存。 memcpy()
使用多进程并发拷贝一个大文件,巩固mmap的用法
详细要求: 创建5个子进程同时拷贝一个文件,每个进程拷贝文件的一部分。
设置指定文件的大小:int truncate(const char *path, off_t length)

拷贝结构图如下:

image-20211214091005326

示例代码:

#include <stdio.h>
#include <unistd.h>
#include <string.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <dirent.h>
#include <stdlib.h>
#include <sys/mman.h>
#include <sys/wait.h>

//定义子进程的数量
#define FORK_NUMBER 4 

/*
实现多进程并发拷贝大文件---mmap
*/
int main(int argc,char **argv)
{
    if(argc!=3)
    {
        printf("./a.out <拷贝的源文件> <新文件>\n");
        return 0;
    }
    /*1. 打开源文件*/
    int src_fd=open(argv[1],O_RDWR);
    if(src_fd<0)
    {
        printf("%s 源文件打开失败.\n",argv[1]);
        return -1;
    }
    /*2. 创建新文件*/
    int new_fd=open(argv[2],O_RDWR|O_CREAT,S_IRUSR|S_IWUSR);
    if(new_fd<0)
    {
        printf("%s 新文件创建失败.\n",argv[2]);
        return -2;
    }
    /*3. 获取源文件大小设置新文件的大小*/
    struct stat s_buff;
    fstat(src_fd,&s_buff);
    printf("源文件的字节大小:%d\n",s_buff.st_size);
    ftruncate(new_fd,s_buff.st_size);
    /*4. 映射源文件到内存空间*/
    unsigned char *src_p;
    src_p=mmap(NULL,s_buff.st_size,PROT_READ|PROT_WRITE,MAP_SHARED,src_fd,0);
    if(src_p==NULL)
    {
        close(src_fd);
        printf("源文件映射失败.\n");
        return -3;
    }
    /*5. 映射新文件到内存空间*/
    unsigned char *new_p;
    new_p=mmap(NULL,s_buff.st_size,PROT_READ|PROT_WRITE,MAP_SHARED,new_fd,0);
    if(new_p==NULL)
    {
        close(new_fd);
        printf("新文件映射失败.\n");
        return -4;
    }
    /*6. 关闭文件*/
    close(new_fd);
    close(src_fd);
    /*7. 计算子进程和父进程拷贝的文件字节大小*/
    int cp_size; 
    int main_size;
    cp_size=s_buff.st_size/FORK_NUMBER; //每个子进程拷贝的大小
    main_size=s_buff.st_size%FORK_NUMBER; //父进程拷贝的大小
    /*8. 创建子进程*/
    int i;
    for(i=0;i<FORK_NUMBER;i++)
    {
        if(fork()==0)break;
    }
    /*9. 子进程完成文件的拷贝*/
    if(i<FORK_NUMBER) //表示就是子进程
    {
        memcpy(new_p+i*cp_size,src_p+i*cp_size,cp_size);
        munmap(new_p,s_buff.st_size);
        munmap(src_p,s_buff.st_size);
    }
    else //父进程
    {
        memcpy(new_p+i*cp_size,src_p+i*cp_size,main_size);
        munmap(new_p,s_buff.st_size);
        munmap(src_p,s_buff.st_size);
        pid_t pid;
        while(1)
        {
            pid=wait(NULL);
            if(pid==-1)break;
            printf("%d 子进程退出成功.\n",pid);
        }
        printf("父进程退出成功.\n");
    }
    return 0;
}
目录
相关文章
|
1月前
|
消息中间件 存储 网络协议
从零开始掌握进程间通信:管道、信号、消息队列、共享内存大揭秘
本文详细介绍了进程间通信(IPC)的六种主要方式:管道、信号、消息队列、共享内存、信号量和套接字。每种方式都有其特点和适用场景,如管道适用于父子进程间的通信,消息队列能传递结构化数据,共享内存提供高速数据交换,信号量用于同步控制,套接字支持跨网络通信。通过对比和分析,帮助读者理解并选择合适的IPC机制,以提高系统性能和可靠性。
129 14
|
1月前
|
缓存 Linux
linux 手动释放内存
在 Linux 系统中,内存管理通常自动处理,但业务繁忙时缓存占用过多可能导致内存不足,影响性能。此时可在业务闲时手动释放内存。
109 17
|
10天前
|
消息中间件 Linux
Linux中的System V通信标准--共享内存、消息队列以及信号量
希望本文能帮助您更好地理解和应用System V IPC机制,构建高效的Linux应用程序。
78 48
|
6天前
|
Linux
Linux编程: 在业务线程中注册和处理Linux信号
本文详细介绍了如何在Linux中通过在业务线程中注册和处理信号。我们讨论了信号的基本概念,并通过完整的代码示例展示了在业务线程中注册和处理信号的方法。通过正确地使用信号处理机制,可以提高程序的健壮性和响应能力。希望本文能帮助您更好地理解和应用Linux信号处理,提高开发效率和代码质量。
38 17
|
15天前
|
Linux
Linux编程: 在业务线程中注册和处理Linux信号
通过本文,您可以了解如何在业务线程中注册和处理Linux信号。正确处理信号可以提高程序的健壮性和稳定性。希望这些内容能帮助您更好地理解和应用Linux信号处理机制。
50 26
|
1月前
|
消息中间件 Linux
Linux:进程间通信(共享内存详细讲解以及小项目使用和相关指令、消息队列、信号量)
通过上述讲解和代码示例,您可以理解和实现Linux系统中的进程间通信机制,包括共享内存、消息队列和信号量。这些机制在实际开发中非常重要,能够提高系统的并发处理能力和数据通信效率。希望本文能为您的学习和开发提供实用的指导和帮助。
117 20
|
2月前
|
存储 监控 Linux
嵌入式Linux系统编程 — 5.3 times、clock函数获取进程时间
在嵌入式Linux系统编程中,`times`和 `clock`函数是获取进程时间的两个重要工具。`times`函数提供了更详细的进程和子进程时间信息,而 `clock`函数则提供了更简单的处理器时间获取方法。根据具体需求选择合适的函数,可以更有效地进行性能分析和资源管理。通过本文的介绍,希望能帮助您更好地理解和使用这两个函数,提高嵌入式系统编程的效率和效果。
121 13
|
2月前
|
运维 监控 Ubuntu
【运维】如何在Ubuntu中设置一个内存守护进程来确保内存不会溢出
通过设置内存守护进程,可以有效监控和管理系统内存使用情况,防止内存溢出带来的系统崩溃和服务中断。本文介绍了如何在Ubuntu中编写和配置内存守护脚本,并将其设置为systemd服务。通过这种方式,可以在内存使用超过设定阈值时自动采取措施,确保系统稳定运行。
113 4
|
2月前
|
算法 Linux
深入探索Linux内核的内存管理机制
本文旨在为读者提供对Linux操作系统内核中内存管理机制的深入理解。通过探讨Linux内核如何高效地分配、回收和优化内存资源,我们揭示了这一复杂系统背后的原理及其对系统性能的影响。不同于常规的摘要,本文将直接进入主题,不包含背景信息或研究目的等标准部分,而是专注于技术细节和实际操作。
|
7月前
|
运维 关系型数据库 MySQL
掌握taskset:优化你的Linux进程,提升系统性能
在多核处理器成为现代计算标准的今天,运维人员和性能调优人员面临着如何有效利用这些处理能力的挑战。优化进程运行的位置不仅可以提高性能,还能更好地管理和分配系统资源。 其中,taskset命令是一个强大的工具,它允许管理员将进程绑定到特定的CPU核心,减少上下文切换的开销,从而提升整体效率。
掌握taskset:优化你的Linux进程,提升系统性能