【Linux】进程间通信——system V共享内存 | 消息队列 | 信号量

简介: system V共享内存、system V消息队列和system V信号量的介绍。

一、system V共享内存

1. 共享内存的原理

共享内存是一种在多个进程之间进行进程间通信的机制。它允许多个进程访问相同的物理内存区域,从而实现高效的数据交换和通信。

因为进程具有独立性(隔离性),内核数据结构包括对应的代码、数据与页表都是独立的。OS系统为了让进程间进行通信,必须让不同的进程看到同一份资源。所以共享内存的原理如下:

1.申请一块空间
2.将创建好的内存映射进进程的地址空间。

共享内存让不同的进程看到同一份的资源就是在物理内存上申请一块内存空间,将创建好的内存分别与各个进程的页表之间建立映射,然后在虚拟地址空间中将虚拟地址填充到各自页表的对应位置,建立起物理地址与虚拟地址的联系。

image.png

image.png

我们把创建好的内存称为共享内存,把进程和共享内存建立映射关系的操作称为挂接,把取消进程和内存的映射关系称为去关联,把释放内存称为释放共享内存

共享内存的建立: 在物理内存当中申请共享内存空间;将申请到的共享内存挂接到地址空间,即建立映射关系。

共享内存的释放: 共享内存与地址空间去关联,即取消映射关系;释放共享内存空间,即将物理内存归还给系统。

对共享内存的理解:

  • 共享内存不属于通信的任意一个进程,其属于操作系统,由操作系统所管理。

  • 管道的本质是文件,操作系统已经有相应的内核数据结构来管理文件,因此不需要再去设计新的内核数据结构去管理管道。而共享内存是专门为了进程间通信而设计的,操作系统可能会有很多共享内存,那么操作系统就需要将这些共享内存管理起来。

  • 管理的方式是先描述再组织,那么共享内存就等于共享内存块加上共享内存对应的内核数据结构。

  • 对共享内存的修改包括对属性的修改和对内容的修改。


2. 共享内存相关函数

  • shmget: 用来创建或者获取共享内存。失败时返回-1。

image.png

参数:

shmflg: 通常被设置成两个选项: IPC_CREAT、 IPC_EXCL

  • IPC_CREAT:共享内存不存在,则创建,如果存在则获取;
  • IPC_EXCL:无法单独使用,IPC_CREAT | IPC_EXCL:如果不存在就创建,如果存在就出错返回

size: 共享内存的大小

key: 共享内存字段的名字,通信的进程需要通过该key值找到同一个共享内存,从而进行通信。因此key能保证多个进程看到同一份共享内存,能进行唯一性标识。

  • ftok: 生成key。失败时返回-1。

image.png

ftok函数将pathname和project id 经过一定的算法转换成 key,pathname必须存在,projectid不能为0。

OS一定会存在很多的共享内存,共享内存本质就是在内存中申请一块空间,而key能进行唯一标识。OS申请的,自然要做管理,共享内存也是如此,如何管理:先描述,在组织。所以共享内存=物理内存块+共享内存的相关属性。进程如果在内存中创建了共享内存,为了让共享内存在系统中保证唯一的,通过key来进行标识,只要让另一个进程也看到同一个key。

  • shmat:将共享内存段连接到进程地址空间(建立页表映射关系)。成功返回一个指针,指向共享内存第一个字节;失败返回 (void*) -1。

image.png

参数:

shmid: 共享内存的标识符。

shmaddr: 指定连接地址,如果设置为nullptr,则让操作系统指定连接到合适的地址上。

shmflg: 它的两个可能取值是 SHM_RND 和 SHM_RDONLY。shmflg 等于 SHM_RDONLY 时,表示连接操作用来只读共享内存。

  • shmdt: 将共享内存段与当前进程脱离。成功返回0,失败返回-1。

image.png

参数:

shmaddr: 由shmat函数所返回的指针。

这里我们需要注意:将共享内存和当前进程脱离不等于删除共享内存。

  • shmctl: 用语控制共享内存。

image.png

参数:

shmid: 由shmget函数返回的共享内存标识符。

cmd: 将要采取的动作。(有三个可以选择)

buf: 为指向一个保存着共享内存的模式状态和访问权限的数据结构。不关心共享内存的内核数据结构时,buf可以设置为nullptr。

这里我们需要注意的是:当进程运行结束时,进程创建的共享内存还会存在,这是因为system V IPC资源的生命周期是随其内核的。其内核可以通过代码删除(shmctl函数),也可以通过ipcrm -m shmid 指令手动删除。使用ipcs -m 指令可以查看系统中已经创建好的共享内存。

image.png


3. 共享内存实现通信

makefile

.PHONY:all
all: shmclient shmserver

shmclient:client.cc
    g++ -o {
   
   mathJaxContainer[0]}^ -std=c++11
shmserver:server.cc
    g++ -o {
   
   mathJaxContainer[1]}^ -std=c++11

.PHONY:clean
clean:
    rm -f shmclient shmserver

comm.hpp

#ifndef __COMM_HPP__
#define __COMM_HPP_

#include <iostream>
#include <cstring>
#include <cstdio>
#include <cassert>
#include <unistd.h>
#include <sys/ipc.h>
#include <sys/shm.h>
#include <sys/types.h>
#include <sys/stat.h>
using namespace std;

#define PATHNAME "."
#define PROJID 0x6666

const int gsize = 4096;

//获取key
key_t getKey()
{
   
   
    key_t k = ftok(PATHNAME, PROJID);
    if(k == -1)
    {
   
   
        cerr << "error: " << errno << " : " << strerror(errno) << endl;
        exit(1);
    }
    return k;
}

//转十六进制函数
string toHex(int x)
{
   
   
    char buffer[64];
    snprintf(buffer, sizeof buffer, "0X%x", x);
    return buffer;
}

//共享内存公共函数
static int createShmHelper(key_t k, size_t size, int flag)
{
   
   
    int shmid = shmget(k, size, flag);
    if(shmid == -1)
    {
   
   
        cerr << "error: " << errno << " : " << strerror(errno) << endl;
        exit(2);
    }
    return shmid;
}

//创建共享内存
int createShm(key_t k, size_t size)
{
   
   
    umask(0);
    return createShmHelper(k, size, IPC_CREAT | IPC_EXCL | 0666);
}

//获取共享内存
int getShm(key_t k, size_t size)
{
   
   
    return createShmHelper(k, size, IPC_CREAT);
}

//关联进程
char* attachShm(int shmid)
{
   
   
    char* start = (char*)shmat(shmid, nullptr, 0);
    return start;
}

//去关联进程
void detachShm(char* start)
{
   
   
    int n = shmdt(start);
    assert(n != -1);
    (void)n;
}

//释放共享内存
void delShm(int shmid)
{
   
   
    int n = shmctl(shmid, IPC_RMID, nullptr);
    assert(n != -1);
    (void)n;
}

#define SERVER 1
#define CLIENT 0

class Init
{
   
   
public:
    Init(int t)
        :_type(t)
    {
   
   
        key_t key = getKey();
        if(_type == SERVER)
            _shmid = createShm(key, gsize);
        else
            _shmid = getShm(key, gsize);
        _start = attachShm(_shmid);           
    }

    char* getChar(){
   
   return _start;}

    ~Init()
    {
   
   
        detachShm(_start);
        if(_type == SERVER) delShm(_shmid);
    }
private:
    char* _start;
    int _type; // server or client
    int _shmid;
};

#endif

服务端:server.cc

#include "comm.hpp"

int main()
{
   
   

    Init init(SERVER);
    char* start = init.getChar();

    int n = 0;
    while(n <= 35)
    {
   
   
        cout <<"client -> server# "<< start << endl;
        sleep(1);
        n++;
    }

    // // 1. 创建key
    // key_t k = getKey();
    // cout << "server:" << toHex(k) << endl;

    // // 2. 创建共享内存
    // int shmid = createShm(k, gsize);
    // cout << "shmid:" << shmid << endl;
    // sleep(8);

    // // 3. 将自己和共享内存关联起来
    // char* start = attachShm(shmid);
    // sleep(20);

    // // 4. 将自己和共享内存去关联
    // detachShm(start);
    // sleep(3);
       // 5. 删除共享内存
    // delShm(shmid);

    return 0;
}

客户端:client

#include "comm.hpp"

int main()
{
   
   

    Init init(CLIENT);
    char *start = init.getChar();
    char c = 'A';

    while(c <= 'Z')
    {
   
   
        start[c - 'A'] = c;
        c++;
        start[c - 'A'] = '\0';
        sleep(1);
    }

    // // 1. 获取key
    // key_t k = getKey();
    // cout << "client:" << toHex(k) << endl;

    // // 2. 获取共享内存
    // int shmid = getShm(k, gsize);
    // cout << "shmid:" << shmid << endl;

    // // 3. 将自己和共享内存关联起来
    // char* start = attachShm(shmid);
    // sleep(15);

    // // 4. 将自己和共享内存去关联
    // detachShm(start);

    return 0;
}

image.png


4. 共享内存的特点

优点:

  • 只要通信双方使用共享内存,一方直接向共享内存中写入数据,另一方就可以马上看到对方写入的数据。共享内存是所有进程间通信(IPC)中速度最快的!因为其不需要过多的拷贝(不需要将数据给操作系统)

下面我们来比对一下共享内存和管道:

管道通信的拷贝:

C++输入设备把数据拷贝到cin或者stdin文件缓存区不考虑,这里总共进行了4次拷贝。

image.png

共享内存通信的拷贝:

直接从输入到共享内存,从共享内存到输出。

image.png

缺点:

以共享内存的方式进行进程间通信缺乏访问控制,会带来同步问题!比如:写端还没将全部数据写入,读端就已经开始读取了,这将会带来巨大的问题!


二、system V消息队列(了解)

消息队列 是OS提供的内核级队列,消息队列提供了一个从一个进程向另外一个进程发送一块数据的方法,每个数据块都被认为是有一个类型,接收者进程接收的数据块可以有不同的类型值。

  • 消息队列提供了一个从一个进程向另外一个进程发送一块数据的方法。
  • 每个数据块都被认为是有一个类型,接收者进程接收的数据块可以有不同的类型值。
  • IPC资源必须删除,否则不会自动清除,除非重启,所以system V IPC资源的生命周期随内核

常用系统调用:ftok,msgget(创建消息队列),msgctl(控制消息队列),msgsnd(向消息队列发送数据),msgrcv(从消息队列中读取数据)等。

image.png


三、system V信号量(信号量)

下面,我们先来引出几个概念:

"公共资源:" 被多个进程同时访问的资源,访问没有保护的公共资源:数据不一致问题。要让不同的进程看到同一份资源是为了通信,通信是为了让进程间实现协同,而进程之间具有独立性,所以为了解决独立性问题要让进程看到同一份资源,但是会导致数据不一致的问题。

"互斥": 任何一个时刻,都只允许一个执行流在进行共享资源的访问。各进程间竞争使用这些资源,竞争的这种关系为进程的互斥。

"临界资源": 任何一个时刻,都只允许一个执行流在进行访问的共享资源,叫做临界资源。

"临界区": 临界资源是需要通过代码访问的,凡是访问临界资源的代码,叫做临界区。

"原子性": 要么不做、要么做完,只有两种确定状态的属性,叫做原子性。

任何一个执行流,想访问临界资源中的一个子资源时,不能直接访问。得先申请信号量,信号量/信号灯 本质是一个计数器,描述资源数量的计数器。 信号量是对临界资源的预定机制。

  • 申请信号量
    只要申请信号量成功,临界资源内部一定给你预留了你想要的资源,申请信号量本质是对临界资源的一种预定机制,让信号计数器减减,信号量计数器为0时,进程申请信号量无法成功。只能阻塞等待其他进程退出,才能申请信号量,访问临界资源。
  • 访问临界资源——进程执行自己的临界区代码
  • 释放信号量——信号量计数器加加

image.png
image.png

我们可以发现,共享内存、消息队列、信号量接口相似度非常高,获取与删除,都是system V标准的进程间通信。

OS如何管理:先描述,在组织,对相关资源的内核数据结构做管理,对于共享内存、消息队列、信号量的第一个成员都是ipc_perm:

struct ipc_perm {
   
   
           key_t          __key;    /* Key supplied to shmget(2) */
           uid_t          uid;      /* Effective UID of owner */
           gid_t          gid;      /* Effective GID of owner */
           uid_t          cuid;     /* Effective UID of creator */
           gid_t          cgid;     /* Effective GID of creator */
           unsigned short mode;     /* Permissions + SHM_DEST and
                                       SHM_LOCKED flags */
           unsigned short __seq;    /* Sequence number */
};

虽然内部的属性差别很大,但是维护它们的数据结构的第一个成员都是ipc_perm类型的成员变量,都可以通过key来标识唯一性。这样设计的好处:在操作系统内可以定义一个struct ipc_perm类型的数组,此时每当我们申请一个IPC资源,就在该数组当中开辟一个这样的结构。((struct shmid_ds*)perms[0],强转,此时就可以访问其他剩下的属性)

image.png


相关实践学习
CentOS 7迁移Anolis OS 7
龙蜥操作系统Anolis OS的体验。Anolis OS 7生态上和依赖管理上保持跟CentOS 7.x兼容,一键式迁移脚本centos2anolis.py。本文为您介绍如何通过AOMS迁移工具实现CentOS 7.x到Anolis OS 7的迁移。
相关文章
|
25天前
|
缓存 监控 Linux
linux进程管理万字详解!!!
本文档介绍了Linux系统中进程管理、系统负载监控、内存监控和磁盘监控的基本概念和常用命令。主要内容包括: 1. **进程管理**: - **进程介绍**:程序与进程的关系、进程的生命周期、查看进程号和父进程号的方法。 - **进程监控命令**:`ps`、`pstree`、`pidof`、`top`、`htop`、`lsof`等命令的使用方法和案例。 - **进程管理命令**:控制信号、`kill`、`pkill`、`killall`、前台和后台运行、`screen`、`nohup`等命令的使用方法和案例。
95 4
linux进程管理万字详解!!!
|
16天前
|
存储 运维 监控
深入Linux基础:文件系统与进程管理详解
深入Linux基础:文件系统与进程管理详解
57 8
|
13天前
|
Linux
如何在 Linux 系统中查看进程占用的内存?
如何在 Linux 系统中查看进程占用的内存?
|
24天前
|
算法 Linux 定位技术
Linux内核中的进程调度算法解析####
【10月更文挑战第29天】 本文深入剖析了Linux操作系统的心脏——内核中至关重要的组成部分之一,即进程调度机制。不同于传统的摘要概述,我们将通过一段引人入胜的故事线来揭开进程调度算法的神秘面纱,展现其背后的精妙设计与复杂逻辑,让读者仿佛跟随一位虚拟的“进程侦探”,一步步探索Linux如何高效、公平地管理众多进程,确保系统资源的最优分配与利用。 ####
65 4
|
25天前
|
缓存 负载均衡 算法
Linux内核中的进程调度算法解析####
本文深入探讨了Linux操作系统核心组件之一——进程调度器,着重分析了其采用的CFS(完全公平调度器)算法。不同于传统摘要对研究背景、方法、结果和结论的概述,本文摘要将直接揭示CFS算法的核心优势及其在现代多核处理器环境下如何实现高效、公平的资源分配,同时简要提及该算法如何优化系统响应时间和吞吐量,为读者快速构建对Linux进程调度机制的认知框架。 ####
|
4月前
|
存储 编译器 C语言
【C语言篇】数据在内存中的存储(超详细)
浮点数就采⽤下⾯的规则表⽰,即指数E的真实值加上127(或1023),再将有效数字M去掉整数部分的1。
392 0
|
2月前
|
存储 C语言
数据在内存中的存储方式
本文介绍了计算机中整数和浮点数的存储方式,包括整数的原码、反码、补码,以及浮点数的IEEE754标准存储格式。同时,探讨了大小端字节序的概念及其判断方法,通过实例代码展示了这些概念的实际应用。
64 1
|
2月前
|
存储
共用体在内存中如何存储数据
共用体(Union)在内存中为所有成员分配同一段内存空间,大小等于最大成员所需的空间。这意味着所有成员共享同一块内存,但同一时间只能存储其中一个成员的数据,无法同时保存多个成员的值。
|
2月前
|
存储 弹性计算 算法
前端大模型应用笔记(四):如何在资源受限例如1核和1G内存的端侧或ECS上运行一个合适的向量存储库及如何优化
本文探讨了在资源受限的嵌入式设备(如1核处理器和1GB内存)上实现高效向量存储和检索的方法,旨在支持端侧大模型应用。文章分析了Annoy、HNSWLib、NMSLib、FLANN、VP-Trees和Lshbox等向量存储库的特点与适用场景,推荐Annoy作为多数情况下的首选方案,并提出了数据预处理、索引优化、查询优化等策略以提升性能。通过这些方法,即使在资源受限的环境中也能实现高效的向量检索。
|
2月前
|
存储 编译器
数据在内存中的存储
数据在内存中的存储
42 4