AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

多线程、多进程同时操作MMAP，会怎么样？（二）

2023-01-07 418
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
日志服务 SLS，月写入数据量 50GB 1个月
简介： 多线程、多进程同时操作MMAP，会怎么样？

文件锁flock

在linux 系统中，flock函数是为解决多进程对同一文件的读写冲突的，而flock函数只能锁定整个文件，无法锁定文件的某一区域。且flock可以保证robust，这也是我们选择它最终目的。

int flock(int fd,int operation);
  • fd 文件描述
  • operation 锁的模式
  • LOCK_SH 建立共享锁定。多个进程可同时对同一个文件作共享锁定。
  • LOCK_EX 建立互斥锁定。多个进程中一个文件同时只有一个互斥锁定。
  • LOCK_UN 解除文件锁定状态。
  • LOCK_NB 无法建立锁定时，此操作可不被阻断，马上返回进程。通常与LOCK_SH或LOCK_EX 做组合
  • 单一文件无法同时建立共享锁定和互斥锁定，且当使用dup()或fork()时文件描述符也不会继承此种锁定。
  • 返回值 返回0表示成功，若有错误则返回-1，错误代码存于errno。

代码实现

void MMIPC::setData(const string &key, const string &value) {
//    AutoMutex autoMutex(m_mutex_lock);
    // 上跨进程写锁
    flock(m_fd, LOCK_EX);
    string content = key + ":" + value + ",";
//    ALOGD("setData content=%s", content.c_str());
    size_t numberOfBytes = content.length();
    if (m_position + numberOfBytes > m_file_size) {
        auto msg = "m_position: " + to_string(m_position) + ", numberOfBytes: " +
                   to_string(numberOfBytes) +
                   ", m_file_size: " + to_string(m_file_size);
        throw out_of_range(msg);
    }
    m_position = strlen(m_ptr);
    memcpy(m_ptr + m_position, (void *) content.c_str(), numberOfBytes);
//    ALOGD("setData success m_ptr.len=%d", m_position + numberOfBytes);
    // 解锁
    flock(m_fd, LOCK_UN);
}

运行效果

2022-07-24 12:54:32.259 10191-10191/com.zzy.mmipc D/MMIPC->: 进程：com.zzy.mmipc 日志： set data
2022-07-24 12:54:32.521 10221-10221/com.zzy.mmipc D/MMIPC->: 进程：com.zzy.mmipc:childProcess 日志： init
2022-07-24 12:54:32.523 10221-10221/com.zzy.mmipc D/MMIPC->: root dir /data/user/0/com.zzy.mmipc/files
2022-07-24 12:54:32.524 10221-10221/com.zzy.mmipc D/MMIPC->: open success for mutex: fd[76], /data/user/0/com.zzy.mmipc/files/default_mutex.ipc
2022-07-24 12:54:32.524 10221-10221/com.zzy.mmipc E/MMIPC->: pid[10221]
2022-07-24 12:54:32.524 10221-10221/com.zzy.mmipc D/MMIPC->: open m_fd[76], /data/user/0/com.zzy.mmipc/files/default_mmap.ipc
2022-07-24 12:54:32.524 10221-10221/com.zzy.mmipc D/MMIPC->: m_fd size[4194304]
2022-07-24 12:54:32.524 10221-10221/com.zzy.mmipc D/MMIPC->: getFileSize m_file_size 4194304, default_mmap_size 4194304
2022-07-24 12:54:32.524 10221-10221/com.zzy.mmipc D/MMIPC->: mmap success
2022-07-24 12:54:44.677 10221-10221/com.zzy.mmipc D/MMIPC->: 进程：com.zzy.mmipc:childProcess 日志： 2796540
2022-07-24 12:55:52.774 10191-10191/com.zzy.mmipc D/MMIPC->: 进程：com.zzy.mmipc 日志： 3600000

怎么是36万？不应该是18万么，是的，因为我跑了两遍，一遍不放心不是，万一出问题呢。接着之前的经验，为了避免自己手欠无法正常的配对使用锁，我们封装下文件锁flock，如下

//
// Created by 张占永 on 2022/7/24.
//
#include <fcntl.h>
#include <sys/file.h>
#include <unistd.h>
#include <cerrno>
#include "AndroidLog.h"
#ifndef MMIPC_FILELOCK_H
#define MMIPC_FILELOCK_H
enum LockType {
    SharedLockType,
    ExclusiveLockType,
};
class FileLock {
    int m_fd;
    bool isFileLockValid() { return m_fd >= 0; }
public:
    explicit FileLock(int fd);
    bool lock(LockType lockType);
    bool try_lock(LockType lockType);
    bool unlock();
    // just forbid it for possibly misuse
    explicit FileLock(const FileLock &other) = delete;
    FileLock &operator=(const FileLock &other) = delete;
    class Autolock {
    public:
        inline Autolock(FileLock &flock, LockType lockType) : mFLock(flock), m_lockType(lockType) {
            mFLock.lock(m_lockType);
        }
        inline Autolock(FileLock *flock, LockType lockType) : mFLock(*flock), m_lockType(lockType) {
            mFLock.lock(m_lockType);
        }
        inline ~Autolock() { mFLock.unlock(); }
    private:
        FileLock &mFLock;
        LockType m_lockType;
    };
};
inline FileLock::FileLock(int fd)
        : m_fd(fd) {
}
inline bool FileLock::lock(LockType lockType) {
    if (!isFileLockValid()) {
        return false;
    }
    int res = flock(m_fd, lockType == SharedLockType ? LOCK_SH : LOCK_EX);
    if (res == -1) {
        ALOGD("flock lock fail: fd[%d]", m_fd);
    }
    return res == 0;
}
inline bool FileLock::try_lock(LockType lockType) {
    if (!isFileLockValid()) {
        return false;
    }
    int res = flock(m_fd, lockType == SharedLockType ? LOCK_SH | LOCK_NB : LOCK_EX | LOCK_NB);
    if (res == -1) {
        ALOGD("flock try_lock fail: fd[%d]", m_fd);
    }
    return res == 0;
}
inline bool FileLock::unlock() {
    if (!isFileLockValid()) {
        return false;
    }
    int res = flock(m_fd, LOCK_UN);
    if (res == -1) {
        ALOGD("flock unlock fail: fd[%d]", m_fd);
    }
    return res == 0;
}
typedef FileLock::Autolock AutoFileLock;
#endif //MMIPC_FILELOCK_H

然后调用如下

void MMIPC::setData(const string &key, const string &value) {
//    AutoMutex autoMutex(m_mutex_lock);
    // 加文件锁
    AutoFileLock autoFileLock(m_file_lock, ExclusiveLockType);
    string content = key + ":" + value + ",";
//    ALOGD("setData content=%s", content.c_str());
    size_t numberOfBytes = content.length();
    if (m_position + numberOfBytes > m_file_size) {
        auto msg = "m_position: " + to_string(m_position) + ", numberOfBytes: " +
                   to_string(numberOfBytes) +
                   ", m_file_size: " + to_string(m_file_size);
        throw out_of_range(msg);
    }
    m_position = strlen(m_ptr);
    memcpy(m_ptr + m_position, (void *) content.c_str(), numberOfBytes);
//    ALOGD("setData success m_ptr.len=%d", m_position + numberOfBytes);
}

运行一下，看看如何

2022-07-24 13:36:29.715 28670-28670/com.zzy.mmipc D/MMIPC->: 进程：com.zzy.mmipc 日志： init
2022-07-24 13:36:29.716 28670-28670/com.zzy.mmipc D/MMIPC->: root dir /data/user/0/com.zzy.mmipc/files
2022-07-24 13:36:29.716 28670-28670/com.zzy.mmipc D/MMIPC->: open success for mutex: fd[75], /data/user/0/com.zzy.mmipc/files/default_mutex.ipc
2022-07-24 13:36:29.716 28670-28670/com.zzy.mmipc E/MMIPC->: pid[28670]
2022-07-24 13:36:29.717 28670-28670/com.zzy.mmipc D/MMIPC->: open m_fd[75], /data/user/0/com.zzy.mmipc/files/default_mmap.ipc
2022-07-24 13:36:29.717 28670-28670/com.zzy.mmipc D/MMIPC->: m_fd size[0]
2022-07-24 13:36:29.717 28670-28670/com.zzy.mmipc D/MMIPC->: getFileSize m_file_size 0, default_mmap_size 4194304
2022-07-24 13:36:29.717 28670-28670/com.zzy.mmipc D/MMIPC->: mmap success
2022-07-24 13:36:29.929 28670-28670/com.zzy.mmipc D/MMIPC->: 进程：com.zzy.mmipc 日志： set data
2022-07-24 13:36:30.414 28737-28737/com.zzy.mmipc D/MMIPC->: 进程：com.zzy.mmipc:childProcess 日志： init
2022-07-24 13:36:30.415 28737-28737/com.zzy.mmipc D/MMIPC->: root dir /data/user/0/com.zzy.mmipc/files
2022-07-24 13:36:30.415 28737-28737/com.zzy.mmipc D/MMIPC->: open success for mutex: fd[76], /data/user/0/com.zzy.mmipc/files/default_mutex.ipc
2022-07-24 13:36:30.415 28737-28737/com.zzy.mmipc E/MMIPC->: pid[28737]
2022-07-24 13:36:30.415 28737-28737/com.zzy.mmipc D/MMIPC->: open m_fd[76], /data/user/0/com.zzy.mmipc/files/default_mmap.ipc
2022-07-24 13:36:30.415 28737-28737/com.zzy.mmipc D/MMIPC->: m_fd size[4194304]
2022-07-24 13:36:30.415 28737-28737/com.zzy.mmipc D/MMIPC->: getFileSize m_file_size 4194304, default_mmap_size 4194304
2022-07-24 13:36:30.415 28737-28737/com.zzy.mmipc D/MMIPC->: mmap success
2022-07-24 13:36:38.311 28737-28737/com.zzy.mmipc D/MMIPC->: 进程：com.zzy.mmipc:childProcess 日志： 1463520
2022-07-24 13:36:51.944 28670-28670/com.zzy.mmipc D/MMIPC->: 进程：com.zzy.mmipc 日志： 1800000

好的，18万，完美。是不是可结束了？其实光有flock是不行的，还需要线程同步，这里又用到了mutex的线程锁，可以往上翻一翻看下，今天就到此结束。

总结

多线程如何保持结果一致性，我们做了两种实现方式：

  • Looper 实现
  • mutex 互斥锁

多进程如何保持结果一致性，我们做了三种：

  • Semaphores 找了大量的示例，没有测试成功，抱歉
  • mutext 实现了跨进程的互斥锁，但它无法保证robust，意思是在进程出现异常死掉时，无法释放锁，导致其他进程无法再次获取，从而产生不可预估的问题
  • flock 实现了跨进程的文件锁，但需要配合mutex线程锁来解决多线程问题

总之，目前为止，我们搞定了mmap的跨线程以及跨进程同步的问题，接下来就可以考虑如何设计传输的数据结构，下期我们来用pb做载体，体验pb的魅力。

源码地址

github.com/ibaozi-cn/m…

文章标签：
日志服务
Linux
关键词：
线程进程
线程多进程
进程mmap
线程mmap
相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
i校长
目录
相关文章
游客qf4jmczx4xu2y
|
2月前
|
调度 开发者 Python
深入浅出操作系统：进程与线程的奥秘
在数字世界的底层，操作系统扮演着不可或缺的角色。它如同一位高效的管家，协调和控制着计算机硬件与软件资源。本文将拨开迷雾，深入探索操作系统中两个核心概念——进程与线程。我们将从它们的诞生谈起，逐步剖析它们的本质、区别以及如何影响我们日常使用的应用程序性能。通过简单的比喻，我们将理解这些看似抽象的概念，并学会如何在编程实践中高效利用进程与线程。准备好跟随我一起，揭开操作系统的神秘面纱，让我们的代码运行得更加流畅吧！
游客qf4jmczx4xu2y
73 3
jianz123
|
4月前
|
消息中间件 并行计算 安全
进程、线程、协程
【10月更文挑战第16天】进程、线程和协程是计算机程序执行的三种基本形式。进程是操作系统资源分配和调度的基本单位，具有独立的内存空间，稳定性高但资源消耗大。线程是进程内的执行单元，共享内存，轻量级且并发性好，但同步复杂。协程是用户态的轻量级调度单位，适用于高并发和IO密集型任务，资源消耗最小，但不支持多核并行。
jianz123
73 1
技术小达人
|
1月前
|
消息中间件 调度
如何区分进程、线程和协程？看这篇就够了！
本课程主要探讨操作系统中的进程、线程和协程的区别。进程是资源分配的基本单位，具有独立性和隔离性；线程是CPU调度的基本单位，轻量且共享资源，适合并发执行；协程更轻量，由程序自身调度，适合I/O密集型任务。通过学习这些概念，可以更好地理解和应用它们，以实现最优的性能和资源利用。
技术小达人
63 11
软件求生
|
1月前
|
Java Linux 调度
硬核揭秘：线程与进程的底层原理，面试高分必备！
嘿，大家好！我是小米，29岁的技术爱好者。今天来聊聊线程和进程的区别。进程是操作系统中运行的程序实例，有独立内存空间；线程是进程内的最小执行单元，共享内存。创建进程开销大但更安全，线程轻量高效但易引发数据竞争。面试时可强调：进程是资源分配单位，线程是CPU调度单位。根据不同场景选择合适的并发模型，如高并发用线程池。希望这篇文章能帮你更好地理解并回答面试中的相关问题，祝你早日拿下心仪的offer！
软件求生
39 6
LuckiBit
|
2月前
|
消息中间件 Unix Linux
【C语言】进程和线程详解
在现代操作系统中，进程和线程是实现并发执行的两种主要方式。理解它们的区别和各自的应用场景对于编写高效的并发程序至关重要。
LuckiBit
86 6
潇洒洒
|
2月前
|
调度 开发者
深入理解：进程与线程的本质差异
在操作系统和计算机编程领域，进程和线程是两个核心概念。它们在程序执行和资源管理中扮演着至关重要的角色。本文将深入探讨进程与线程的区别，并分析它们在现代软件开发中的应用和重要性。
潇洒洒
81 5
天下无贼001
|
2月前
|
算法 调度 开发者
深入理解操作系统：进程与线程的管理
在数字世界的复杂编织中，操作系统如同一位精明的指挥家，协调着每一个音符的奏响。本篇文章将带领读者穿越操作系统的幕后，探索进程与线程管理的奥秘。从进程的诞生到线程的舞蹈，我们将一起见证这场微观世界的华丽变奏。通过深入浅出的解释和生动的比喻，本文旨在揭示操作系统如何高效地处理多任务，确保系统的稳定性和效率。让我们一起跟随代码的步伐，走进操作系统的内心世界。
天下无贼001
52 2
最好zzz
|
2月前
|
调度 开发者
核心概念解析：进程与线程的对比分析
在操作系统和计算机编程领域，进程和线程是两个基本而核心的概念。它们是程序执行和资源管理的基础，但它们之间存在显著的差异。本文将深入探讨进程与线程的区别，并分析它们在现代软件开发中的应用和重要性。
最好zzz
82 4
叫个什么名字
|
3月前
|
并行计算 数据处理 调度
Python中的并发编程：探索多线程与多进程的奥秘####
本文深入探讨了Python中并发编程的两种主要方式——多线程与多进程，通过对比分析它们的工作原理、适用场景及性能差异，揭示了在不同应用需求下如何合理选择并发模型。文章首先简述了并发编程的基本概念，随后详细阐述了Python中多线程与多进程的实现机制，包括GIL（全局解释器锁）对多线程的影响以及多进程的独立内存空间特性。最后，通过实例演示了如何在Python项目中有效利用多线程和多进程提升程序性能。 ####
叫个什么名字
83 5
肥猪肥猪-17824
|
3月前
|
Linux 调度 C语言
深入理解操作系统：进程和线程的管理
【10月更文挑战第32天】本文旨在通过浅显易懂的语言和实际代码示例，带领读者探索操作系统中进程与线程的奥秘。我们将从基础知识出发，逐步深入到它们在操作系统中的实现和管理机制，最终通过实践加深对这一核心概念的理解。无论你是编程新手还是希望复习相关知识的资深开发者，这篇文章都将为你提供有价值的见解。
肥猪肥猪-17824
93 5

热门文章

最新文章

  • 1
    阿里面试：5000qps访问一个500ms的接口，如何设计线程池的核心线程数、最大线程数？ 需要多少台机器？
  • 2
    Python GIL（全局解释器锁）机制对多线程性能影响的深度分析
  • 3
    Java线程调度揭秘：从算法到策略，让你面试稳赢！
  • 4
    Linux编程： 在业务线程中注册和处理Linux信号
  • 5
    多线程优化For循环：实战指南
  • 6
    面试中的难题：线程异步执行后如何共享数据？
  • 7
    Linux编程： 在业务线程中注册和处理Linux信号
  • 8
    【JAVA】封装多线程原理
  • 9
    Java线程池ExecutorService学习和使用
  • 10
    Java 面试必问！线程构造方法和静态块的执行线程到底是谁？
  • 1
    第六十章 使用 ^PERFSAMPLE 监控进程 - 预定义分析示例
    44
  • 2
    第五十九章 使用 ^PERFSAMPLE 监控进程 - 收集样本
    43
  • 3
    深入理解操作系统中的进程调度策略
    64
  • 4
    深入理解操作系统中的进程调度策略
    162
  • 5
    【JAVA学习之路 | 提高篇】进程与线程(Thread)
    58
  • 6
    Python中的线程池与进程池
    83
  • 7
    【Linux 系统】进程信号 -- 详解（下）
    84
  • 8
    【Linux 系统】进程信号 -- 详解（上）
    105
  • 9
    【Linux 系统】进程间通信（共享内存、消息队列、信号量）（下）
    112
  • 10
    【Linux 系统】进程间通信（共享内存、消息队列、信号量）（上）
    162

    • 相关电子书

    更多
  • 服务上云加速大家居产业C2M进程
  • 多IO线程优化版
  • 多线程

    • 相关实验场景

    更多
  • 观察进程的并发性
    • 下一篇
    PAI Model Gallery 支持云上一键部署 DeepSeek-V3、DeepSeek-R1 系列模型