Linux IPC实践(8) --共享内存/内存映射

简介: 概述    共享内存区是最快的IPC形式。一旦这样的内存映射到共享它的进程的地址空间,这些进程间数据传递不再涉及到内核,换句话说是进程不再通过执行进入内核的系统调用来传递彼此的数据(如图)。

概述

    共享内存区是最快的IPC形式。一旦这样的内存映射到共享它的进程的地址空间,这些进程间数据传递不再涉及到内核,换句话说是进程不再通过执行进入内核的系统调用来传递彼此的数据(如图)。

 

共享内存 VS. 其他IPC形式

     管道/消息队列传递数据

 

共享内存传递数据

 

    共享内存生成之后,传递数据并不需要再走Linux内核,共享内存允许两个或多个进程共享一个给定的存储区域,数据并不需要在多个进程之间进行复制,因此,共享内存的传输速度更快!


mmap内存映射

将文件/设备空间映射到共享内存区

#include <sys/mman.h>
void *mmap(void *addr, size_t length, int prot, int flags, int fd, off_t offset);
int munmap(void *addr, size_t length);

参数:

    addr:  要映射的起始地址, 通常指定为NULL, 让内核自动选择;

    length: 映射到进程地址空间的字节数;

    prot: 映射区保护方式(见下);

    flags: 标志(见下);

    fd: 文件描述符;

    offset: 从文件头开始的偏移量;

 

prot

说明

PROT_READ

页面可读

PROT_WRITE

页面可写

PROC_EXEC

页面可执行

PROC_NONE

页面不可访问

 

flags

说明

MAP_SHARED

变动是共享的

MAP_PRIVATE

变动是私有的

MAP_FIXED

准确解释addr参数, 如果不指定该参数, 则会以4K大小的内存进行对齐

MAP_ANONYMOUS

建立匿名映射区, 不涉及文件

 

mmap返回值:

    成功: 返回映射到的内存区的起始地址;

    失败: 返回MAP_FAILED;

 

内存映射示意图:


(注意: 内存映射时, 是以页面(4K)作为单位)

/** 示例1: 写文件映射
将文件以可读,可写的方式映射到进程的地址空间, 然后向其中写入内容
**/
struct Student
{
    char name[4];
    int age;
};
int main(int argc,char **argv)
{
    if (argc != 2)
        err_quit("usage: ./main <file-name>");

    int fd = open(argv[1], O_CREAT|O_RDWR|O_TRUNC, 0666);
    if (fd == -1)
        err_exit("file open error");

//为内存映射争取空间
    if (lseek(fd, sizeof(Student)*5-1, SEEK_SET) == (off_t)-1)
        err_exit("lseek error");
    write(fd, "", 1);

    Student *p = (Student *)mmap(NULL, sizeof(Student)*5,
                                 PROT_WRITE|PROT_READ, MAP_SHARED, fd, 0);
    if (p == MAP_FAILED)
        err_exit("mmap error");

    // 此时:操纵文件就可以如同操纵内存一样了
    char ch = 'a';
    for (int i = 0; i < 5; ++i)
    {
        memcpy((p+i)->name, &ch, 1);
        (p+i)->age = 20+i;
        ++ ch;
    }
    cout << "file initialized!" << endl;
    if (munmap(p, sizeof(Student)*5) == -1)
        err_exit("munmap error");
    cout << "process exit..." << endl;

    return 0;
}
/**示例2: 读文件映射
**/
int main(int argc,char **argv)
{
    if (argc != 2)
        err_quit("usage: ./main <file-name>");

    //以只读方式打开
    int fd = open(argv[1], O_RDONLY);
    if (fd == -1)
        err_exit("file open error");

    void *mmap(void *addr, size_t length, int prot, int flags,
               int fd, off_t offset);
    Student *p = (Student *)mmap(NULL, sizeof(Student)*5,
                                 PROT_READ, MAP_SHARED, fd, 0);
    if (p == MAP_FAILED)
        err_exit("mmap error");

    // 从内存中读取数据(其实是从文件中读取)
    for (int i = 0; i < 5; ++i)
    {
        cout << "name: " << (p+i)->name << ", age: " << (p+i)->age << endl;
    }
    if (munmap(p, sizeof(Student)*5) == -1)
        err_exit("munmap error");
    cout << "process exit..." << endl;

    return 0;
}

map注意点:

    1. 内存映射不能(也不可能)改变文件的大小;

    2. 可用于进程间通信的有效地址空间不完全受限于映射文件的大小, 而应该以内存页面的大小为准(见下面测试);

    3. 文件一旦被映射之后, 所有对映射区域的访问实际上是对内存区域的访问; 映射区域内容写会文件时, 所写内容不能超过文件的大小.

/** 测试: 注意点2
文件以40K的内容进行创建, 而以120K的内容进行写回
**/
//程序1: 写文件映射
int main(int argc,char **argv)
{
    if (argc != 2)
        err_quit("usage: ./main <file-name>");

    int fd = open(argv[1], O_CREAT|O_RDWR|O_TRUNC, 0666);
    if (fd == -1)
        err_exit("file open error");

    // 注意: 此处我们的文件其实只有40个字节
    if (lseek(fd, sizeof(Student)*5-1, SEEK_SET) == (off_t)-1)
        err_exit("lseek error");
    write(fd, "", 1);

    // 但是我们却是以120个字节的方式进行映射
    Student *p = (Student *)mmap(NULL, sizeof(Student)*15,
                                 PROT_WRITE|PROT_READ, MAP_SHARED, fd, 0);
    if (p == MAP_FAILED)
        err_exit("mmap error");

    // 以120个字节的方式进行写入
    char ch = 'a';
    for (int i = 0; i < 15; ++i)
    {
        memcpy((p+i)->name, &ch, 1);
        (p+i)->age = 20+i;
        ++ ch;
    }
    cout << "file initialized!" << endl;
    // 以120字节的方式卸载该内存区
    if (munmap(p, sizeof(Student)*15) == -1)
        err_exit("munmap error");

    // 注意: 要故意暂停一会儿, 以便让read程序读取该共享内存的内容
    sleep(20);
    cout << "process exit..." << endl;
}
//程序2: 读文件映射
int main(int argc,char **argv)
{
    if (argc != 2)
        err_quit("usage: ./main <file-name>");

    //以只读方式打开
    int fd = open(argv[1], O_RDONLY);
    if (fd == -1)
        err_exit("file open error");

    void *mmap(void *addr, size_t length, int prot, int flags,
               int fd, off_t offset);
    // 以120字节的方式映射
    Student *p = (Student *)mmap(NULL, sizeof(Student)*15,
                                 PROT_READ, MAP_SHARED, fd, 0);
    if (p == MAP_FAILED)
        err_exit("mmap error");

    // 以120字节的方式读取
    for (int i = 0; i < 15; ++i)
    {
        cout << "name: " << (p+i)->name << ", age: " << (p+i)->age << endl;
    }
    if (munmap(p, sizeof(Student)*15) == -1)
        err_exit("munmap error");
    cout << "process exit..." << endl;
}

msync函数

int msync(void *addr, size_t length, int flags);

对映射的共享内存执行同步操作

参数:

    addr: 内存起始地址;

    length: 长度

    flags: 选项

flags

说明

MS_ASYNC

执行异步写

MS_SYNC

执行同步写, 直到内核将数据真正写入磁盘之后才返回

MS_INVALIDATE

使高速缓存的数据失效

返回值:

    成功: 返回0;

    失败: 返回-1;

目录
相关文章
|
6月前
|
传感器 数据采集 监控
Python生成器与迭代器:从内存优化到协程调度的深度实践
简介:本文深入解析Python迭代器与生成器的原理及应用,涵盖内存优化技巧、底层协议实现、生成器通信机制及异步编程场景。通过实例讲解如何高效处理大文件、构建数据流水线,并对比不同迭代方式的性能特点,助你编写低内存、高效率的Python代码。
274 0
|
7月前
|
SQL 缓存 安全
深度理解 Java 内存模型:从并发基石到实践应用
本文深入解析 Java 内存模型(JMM),涵盖其在并发编程中的核心作用与实践应用。内容包括 JMM 解决的可见性、原子性和有序性问题,线程与内存的交互机制,volatile、synchronized 和 happens-before 等关键机制的使用,以及在单例模式、线程通信等场景中的实战案例。同时,还介绍了常见并发 Bug 的排查与解决方案,帮助开发者写出高效、线程安全的 Java 程序。
412 0
|
9月前
|
监控 Linux 应用服务中间件
Linux多节点多硬盘部署MinIO:分布式MinIO集群部署指南搭建高可用架构实践
通过以上步骤,已成功基于已有的 MinIO 服务,扩展为一个 MinIO 集群。该集群具有高可用性和容错性,适合生产环境使用。如果有任何问题,请检查日志或参考MinIO 官方文档。作者联系方式vx:2743642415。
3128 57
|
6月前
|
边缘计算 算法 Java
Java 绿色计算与性能优化:从内存管理到能耗降低的全方位优化策略与实践技巧
本文探讨了Java绿色计算与性能优化的技术方案和应用实例。文章从JVM调优(包括垃圾回收器选择、内存管理和并发优化)、代码优化(数据结构选择、对象创建和I/O操作优化)等方面提出优化策略,并结合电商平台、社交平台和智能工厂的实际案例,展示了通过Java新特性提升性能、降低能耗的显著效果。最终指出,综合运用这些优化方法不仅能提高系统性能,还能实现绿色计算目标,为企业节省成本并符合环保要求。
244 0
|
存储 缓存 安全
Java内存模型深度解析:从理论到实践####
【10月更文挑战第21天】 本文深入探讨了Java内存模型(JMM)的核心概念与底层机制,通过剖析其设计原理、内存可见性问题及其解决方案,结合具体代码示例,帮助读者构建对JMM的全面理解。不同于传统的摘要概述,我们将直接以故事化手法引入,让读者在轻松的情境中领略JMM的精髓。 ####
190 6
|
消息中间件 Linux
Linux中的System V通信标准--共享内存、消息队列以及信号量
希望本文能帮助您更好地理解和应用System V IPC机制,构建高效的Linux应用程序。
463 48
|
消息中间件 Linux
Linux:进程间通信(共享内存详细讲解以及小项目使用和相关指令、消息队列、信号量)
通过上述讲解和代码示例,您可以理解和实现Linux系统中的进程间通信机制,包括共享内存、消息队列和信号量。这些机制在实际开发中非常重要,能够提高系统的并发处理能力和数据通信效率。希望本文能为您的学习和开发提供实用的指导和帮助。
890 20
|
缓存 监控 网络协议
Linux操作系统的内核优化与实践####
本文旨在探讨Linux操作系统内核的优化策略与实际应用案例,深入分析内核参数调优、编译选项配置及实时性能监控的方法。通过具体实例讲解如何根据不同应用场景调整内核设置,以提升系统性能和稳定性,为系统管理员和技术爱好者提供实用的优化指南。 ####
|
传感器 人工智能 物联网
C 语言在计算机科学中尤其在硬件交互方面占据重要地位。本文探讨了 C 语言与硬件交互的主要方法,包括直接访问硬件寄存器、中断处理、I/O 端口操作、内存映射 I/O 和设备驱动程序开发
C 语言在计算机科学中尤其在硬件交互方面占据重要地位。本文探讨了 C 语言与硬件交互的主要方法,包括直接访问硬件寄存器、中断处理、I/O 端口操作、内存映射 I/O 和设备驱动程序开发,以及面临的挑战和未来趋势,旨在帮助读者深入了解并掌握这些关键技术。
382 6
|
监控 算法 Linux
Linux内核锁机制深度剖析与实践优化####
本文作为一篇技术性文章,深入探讨了Linux操作系统内核中锁机制的工作原理、类型及其在并发控制中的应用,旨在为开发者提供关于如何有效利用这些工具来提升系统性能和稳定性的见解。不同于常规摘要的概述性质,本文将直接通过具体案例分析,展示在不同场景下选择合适的锁策略对于解决竞争条件、死锁问题的重要性,以及如何根据实际需求调整锁的粒度以达到最佳效果,为读者呈现一份实用性强的实践指南。 ####