【linux线程(三)】生产者消费者模型详解(多版本)

简介: 【linux线程(三)】生产者消费者模型详解(多版本)

1. 前言

学习进程和线程也很久了,它们具体能解决

什么问题?有什么实际的运用?

本章重点:

本篇文章着重讲解基于多线程下的
生产者消费者模型的概念以及实现.
不仅如此,文章还会拓展基于使用信号量
实现的环形队列版的生产者消费者模型


2. 初识生产者消费者模型

先回答第一个问题:

什么是生产者消费者模型?

生产者消费者模型的本质就是通过一个阻塞队列来将生产者和消费者解耦合的模型.可以将这个模型比作一个超时,生产者生产了数据(商品)后,不会直接拿给消费者使用,而是将数据(商品)先加入到超市,让超市帮我们卖数据(商品).同理,对于消费者来说它并不会直接去生产者的厂家直接拿数据(商品),而是去超市中购买数据(商品).这样生产者和消费者两个对象就解耦合了

再回答第二个问题:

这个模型有什么好处?

想象一下这个场景,假如没有超市的存在,消费者去买物品的伤害要直接到生产厂家去买,并且消费者还不知道生产厂家现在是否有物品,很容易跑空.对于生产者来说,他也不知道消费者需要哪些物品,也就不好生产,容易生产出来的物品没人问津,加入超市这个角色就可以解决上面的问题.综上所述,生产者消费者模型不仅仅将二者解耦了,并且还提高了效率,不会让两方出现跑空的情况(超市没有商品了,消费者最清楚,超市有商品时,生产者最清楚)

不仅如此,生产者消费者模型还支持多个线程一起进入,阻塞队列属于临界资源,所以同一时刻,不管是生产者还是消费者,都只允许一个线程进入到阻塞队列进行push或pop操作.除此之外,我们还需要两个条件变量push_cond和pop_cond,当阻塞队列已满时,push_cond条件变量会让生产者线程等待消费者线程在队列中取走数据,而当阻塞队列为空时,pop_cond条件变量会让消费者线程等待生产者往队列中加入数据,一来一回,也就是push操作会唤醒pop_cond条件变量,而pop操作会唤醒push_cond条件变量


3. 阻塞队列版本的代码实现

在的代码中一定会涉及到加解锁的问题,所以可以根据RAII思想,先设计出一个专门用于加解锁的类:

lockguard.hpp文件:

#pragma once
#include<iostream>
#include<pthread.h>
using namespace std;
class Mutex //封装pthread库的锁
{
public:
    Mutex(pthread_mutex_t* pmtx)
        :_pmtx(pmtx)
    {}
    void lock()
    {
        pthread_mutex_lock(_pmtx);
    }
    void unlock()
    {
        pthread_mutex_unlock(_pmtx);
    }
    ~Mutex()
    {
        delete _pmtx;
        _pmtx = nullptr;
    }   
private:
    pthread_mutex_t* _pmtx;
};
//利用RAII思想,用对象的生命周期控制资源
class LockGuard//封装了锁后,出了作用域会自动调用析构函数,解锁!
{
public:
    LockGuard(pthread_mutex_t* mtx)
        :_mtx(mtx)
    {
        _mtx.lock();
    }
    ~LockGuard()
    {
        _mtx.unlock();
    }
private:
    Mutex _mtx;
};

下一步,编写基于阻塞队列的模型,

在实现它之前需要先注意一些点:

下面的define语句可有可无,主要是为了图方便.第二点,检测临界资源是否就绪时要使用while而不是if,因为有时可能会错误的唤醒一个进程,如果是if语句,一旦错误唤醒,就会直接进入临界区,不合理,使用while的话,就算是错误唤醒了一个线程,只要资源不就绪也不能往后走.在下面的代码中并没有使用上上面封装的锁,这是为了方便同学们即使不封装锁也能很好的查看代码,最后,代码的解释都放在注释当中了,如果你还有问题,欢迎你来私信我

block_queue.hpp文件:

#pragma once
#include<iostream>
#include<queue>
#include<pthread.h>
#include"LockGuard.cpp"
using namespace std;
#define INIT_MTX(mtx) pthread_mutex_init(&mtx,nullptr)
#define INIT_COND(cond) pthread_cond_init(&cond,nullptr)
#define DESTORY_MTX(mtx) pthread_mutex_destroy(&mtx)
#define DESTORY_COND(cond) pthread_cond_destroy(&cond)
template<class T>
class BlockQueue
{
public:
    BlockQueue(size_t capacity = 5)
        :_capacity(capacity)
    {
        INIT_MTX(_mtx);
        INIT_COND(_condisempty);
        INIT_COND(_condisfull);
    }
    ~BlockQueue()
    {
        DESTORY_MTX(_mtx);
        DESTORY_COND(_condisempty);
        DESTORY_COND(_condisfull);
    }
    void push(const T& in)
    {
        //1. 加锁
        pthread_mutex_lock(&_mtx);
        //2. 检测临界资源是否满足访问条件,不满足就利用条件变量让它等待
        while(isfull())
        {
            cout<<"队列已满,push等待中..."<<endl;
            //我是抱着锁去等待的,所以即使消费者去pop了,没有锁也只能阻塞等待,就造成死循环了!
            //pthread_cond_wait的第二个参数是一把锁,当成功调用wait后,传入的锁会自动释放!
            //被唤醒时,还是在加锁和解锁之间,wait函数会自动帮线程获取锁
            // 1. wait函数可能会调用失败
            // 2. wait函数可能存在伪唤醒的情况
            // 所以不能使用if语句来判断,而是用while,醒来后再判断一下是不是真的唤醒
            pthread_cond_wait(&_condisfull,&_mtx);//若队列满了,就去isfull变量中等待
            cout<<"等待成功,继续执行..."<<endl;
        }
        //3. 访问临界资源
        _bq.push(in);
        //5. 生产完后唤醒消费者(满足一定条件再唤醒)
        if(_bq.size() >= _capacity/2)
            pthread_cond_signal(&_condisempty);
        //4. 解锁
        pthread_mutex_unlock(&_mtx);
    }
    void pop(T* out)
    {
        //1. 加锁
        pthread_mutex_lock(&_mtx);
        //2. 检测临界资源是否满足访问条件,不满足就利用条件变量让它等待
        while(isempty())
        {
            cout<<"队列为空,pop等待中..."<<endl;
            pthread_cond_wait(&_condisempty,&_mtx);
            cout<<"等待成功,继续执行..."<<endl;
        }
        //3. 访问临界资源
        *out = _bq.front();
        _bq.pop();
        //4. 解锁
        pthread_mutex_unlock(&_mtx);
        //5. 消费完后唤醒生产者
        pthread_cond_signal(&_condisfull);
    }
    bool isempty()
    {
        return _bq.size() == 0;
    }
    bool isfull()
    {
        return _bq.size() ==_capacity;
    }
private:
    queue<T> _bq;
    size_t _capacity;  //阻塞队列容量上限
    pthread_mutex_t _mtx;  //通过互斥锁保证队列push/pop时,不会被pop/push(正在生产时就来消费)
    //push或pop时,怎么知道队列是不是满或空呢?通过条件变量来同步信息
    pthread_cond_t _condisempty; //用它来表示阻塞队列是否为空的条件
    pthread_cond_t _condisfull; //用它来表示阻塞队列是否为满的条件
};

对于这段代码的测试代码较为繁杂,我

把代码的码云链接放出来,有兴趣的同学

下来写完可以去做一些测试:

我的码云链接


4. 初识posix信号量

POSIX信号量和SystemV信号量作用相同,都是用于同步操作,达到无冲突的访问共享资源目的。 但POSIX可以用于线程间同步。

请思考以下问题:

在基于阻塞队列的生产者消费者模型中,生产者关心的是阻塞队列是否满了,而消费者关心的是阻塞队列是否有数据,既然它们关心的资源不同,但进入到阻塞队列就会直接加锁,是不是有一点不合理?有没有一种方法可以只让生产者与生产者之间以及消费者与消费者之间存在锁竞争?而生产者和消费者之间不存在锁竞争?答案是使用信号量!

什么是信号量?

信号量的本质是一个计数器,在使用资源前需要预定资源,也就是让信号量减一.类似于去电影院看电影需要提前买票预定座位,并且在访问完资源释放信号量,也就是让信号量加一

根据以上的信息可以简化模型:

生产者关心队列是否为满,刚开始队列是空,那么生产者的信号量就是n(队列的长度),而消费者关心队列是否有资源,刚开始队列为空,那么消费者的信号量就是0.并且在生产者push一个数据到队列后,生产者的信号量需要减一,而消费者的信号量会加一,同理,消费者从队列拿走一个数据后,生产者的信号量会加一,而消费者的信号量会减一

信号量的使用方法分为以下几步:

  • 初始化信号量
  • 销毁信号量

  • 等待信号量(信号量减一)

  • 发布信号量(信号量加一)

等待和发布信号量的操作又被称为PV操作


5. 基于信号量的环形队列模型

可以优化最初的生产者消费者模型:

使用一个环形队列,只有生产和消费指向环形队列中的同一个位置(队列为满或空)时,才会出现生产者和消费者互斥或同步的问题,而当生产和消费指向环形队列中的不同位置时,只需控制信号量即可

  • 生产者关心空间资源,使用信号量spacesem,起始值为N
  • 消费者关心数据资源,使用信号量datasem,起始值为0
  • 期望:生产者不能让消费者套圈(为空时要先让生产者先运行)
  • 期望:消费者不能超过生产者(为满时要让消费者先运行)
  • 需要两把锁,一把给生产者之间当互斥锁,另外一把给消费者用

6. 环形队列模型的代码编写

还是和之前一样,可以选择将操作信号量的函数专门写为一个类,当然也可以用原生的

sem.hpp文件中

#pragma once
#include<semaphore.h>
using namespace std;
class Sem
{
public:
    Sem(int value)
    {
        sem_init(&_sem,0,value);
    }
    ~Sem()
    {
        sem_destroy(&_sem);
    }
    void p() //PV操作分别代表信号量减一和信号量加一
    {
        sem_wait(&_sem);
    }
    void v()
    {
        sem_post(&_sem);
    }
private:
    sem_t _sem;
};

在RingQueue.hpp文件中:

#pragma once
#include<iostream>
#include<pthread.h>
#include<vector>
#include<unistd.h>
#include<semaphore.h>
using namespace std;
#include"Sem.hpp"
const int g_num = 5;
template<class T>
class RingQueue
{
public:
    RingQueue(int num = g_num)
        :_num(num)
        ,_rq(num)
        ,_pushindex(0)
        ,_popindex(0)
        ,_space_sem(num)//最开始空间资源是满的
        ,_data_sem(0)//最开始数据资源是空的
    {
        pthread_mutex_init(&pushlock,nullptr);
        pthread_mutex_init(&poplock,nullptr);
    }
    ~RingQueue()
    {
        pthread_mutex_destroy(&pushlock);
        pthread_mutex_destroy(&poplock);
    }
    void push(const T& in)//生产者进行,关心空间资源,生产者们的临界资源是pushindex下标
    {
        _space_sem.p();
        pthread_mutex_lock(&pushlock);//对生产者们进行加锁
        _rq[_pushindex++] = in;
        _pushindex %= _num;
        pthread_mutex_unlock(&pushlock);
        _data_sem.v();
    }
    void pop(T* out)//消费者进行,关心数据资源,消费者们的临界资源也是popindex下标
    {
        //一般先申请信号量,再进行加锁
        _data_sem.p();
        pthread_mutex_lock(&poplock);//对消费者们进行加锁
        //竞争成功的生产者线程只有一个
        *out = _rq[_popindex++];
        _popindex %= _num;
        pthread_mutex_unlock(&poplock);
        _space_sem.v();
    }
private:
    vector<T> _rq;//环形队列可用数组表示
    size_t _num;//总共的元素个数
    size_t _pushindex = 0;//push的下标
    size_t _popindex = 0;//pop的下标
    Sem _space_sem;
    Sem _data_sem;
    pthread_mutex_t pushlock;//生产者的锁
    pthread_mutex_t poplock;//消费者的锁
};

关于代码的解释都在注释中,若你有疑问,欢迎私信我~


7. 总结以及拓展

生产者消费者模型是我们学习线程中的一个很重要的模型,它的思想有助于帮我们解决后续的难题,并且校招时,有可能会让手撕一个生产者消费者模型,所以同学要学扎实了


🔎 下期预告:线程池详解 🔍


相关文章
|
27天前
|
存储 NoSQL Redis
Redis 新版本引入多线程的利弊分析
【10月更文挑战第16天】Redis 新版本引入多线程是一个具有挑战性和机遇的改变。虽然多线程带来了一些潜在的问题和挑战,但也为 Redis 提供了进一步提升性能和扩展能力的可能性。在实际应用中,我们需要根据具体的需求和场景,综合评估多线程的利弊,谨慎地选择和使用 Redis 的新版本。同时,Redis 开发者也需要不断努力,优化和完善多线程机制,以提供更加稳定、高效和可靠的 Redis 服务。
33 1
|
22天前
|
并行计算 JavaScript 前端开发
单线程模型
【10月更文挑战第15天】
|
23天前
|
安全 Java
Java多线程通信新解:本文通过生产者-消费者模型案例,深入解析wait()、notify()、notifyAll()方法的实用技巧
【10月更文挑战第20天】Java多线程通信新解:本文通过生产者-消费者模型案例,深入解析wait()、notify()、notifyAll()方法的实用技巧,包括避免在循环外调用wait()、优先使用notifyAll()、确保线程安全及处理InterruptedException等,帮助读者更好地掌握这些方法的应用。
15 1
|
2月前
|
消息中间件 存储 NoSQL
剖析 Redis List 消息队列的三种消费线程模型
Redis 列表(List)是一种简单的字符串列表,它的底层实现是一个双向链表。 生产环境,很多公司都将 Redis 列表应用于轻量级消息队列 。这篇文章,我们聊聊如何使用 List 命令实现消息队列的功能以及剖析消费者线程模型 。
97 20
剖析 Redis List 消息队列的三种消费线程模型
|
1月前
|
NoSQL Redis 数据库
Redis单线程模型 redis 为什么是单线程?为什么 redis 单线程效率还能那么高,速度还能特别快
本文解释了Redis为什么采用单线程模型,以及为什么Redis单线程模型的效率和速度依然可以非常高,主要原因包括Redis操作主要访问内存、核心操作简单、单线程避免了线程竞争开销,以及使用了IO多路复用机制epoll。
46 0
Redis单线程模型 redis 为什么是单线程?为什么 redis 单线程效率还能那么高,速度还能特别快
|
2月前
|
NoSQL 网络协议 Unix
1)Redis 属于单线程还是多线程?不同版本之间有什么区别?
1)Redis 属于单线程还是多线程?不同版本之间有什么区别?
64 1
|
1月前
|
安全 调度 C#
STA模型、同步上下文和多线程、异步调度
【10月更文挑战第19天】本文介绍了 STA 模型、同步上下文和多线程、异步调度的概念及其优缺点。STA 模型适用于单线程环境,确保资源访问的顺序性;同步上下文和多线程提高了程序的并发性和响应性,但增加了复杂性;异步调度提升了程序的响应性和资源利用率,但也带来了编程复杂性和错误处理的挑战。选择合适的模型需根据具体应用场景和需求进行权衡。
|
1月前
|
消息中间件 NoSQL 关系型数据库
【多线程-从零开始-捌】阻塞队列,消费者生产者模型
【多线程-从零开始-捌】阻塞队列,消费者生产者模型
23 0
|
4天前
|
Linux
在 Linux 系统中,“cd”命令用于切换当前工作目录
在 Linux 系统中,“cd”命令用于切换当前工作目录。本文详细介绍了“cd”命令的基本用法和常见技巧,包括使用“.”、“..”、“~”、绝对路径和相对路径,以及快速切换到上一次工作目录等。此外,还探讨了高级技巧,如使用通配符、结合其他命令、在脚本中使用,以及实际应用案例,帮助读者提高工作效率。
22 3
|
4天前
|
监控 安全 Linux
在 Linux 系统中,网络管理是重要任务。本文介绍了常用的网络命令及其适用场景
在 Linux 系统中,网络管理是重要任务。本文介绍了常用的网络命令及其适用场景,包括 ping(测试连通性)、traceroute(跟踪路由路径)、netstat(显示网络连接信息)、nmap(网络扫描)、ifconfig 和 ip(网络接口配置)。掌握这些命令有助于高效诊断和解决网络问题,保障网络稳定运行。
17 2