线程池 - 分析与实现(二)

简介: 线程池 - 分析与实现(二)

线程池 - 分析与实现(二)

回顾

  • 线程池的作用?
  • 线程池的工作原理?

本文重点

  • 线程池工作方式的核心
  • 线程池的API有哪些?具体怎么实现?

充电站

推荐一个零声学院免费公开课程,个人觉得老师讲得不错,分享给大家:Linux,Nginx,ZeroMQ,MySQL,Redis,fastdfs,MongoDB,ZK,流媒体,CDN,P2P,K8S,Docker,TCP/IP,协程,DPDK等技术内容,立即学习

线程池工作方式的核心

1)外界作什么?

2)线程池做了些什么?

3)线程获取到任务后做了什么?

外界调用push_task将任务将入任务队列,线程池中的线程去取任务队列中的任务,取到任务后去执行任务,具体利用任务中的回调函数去处理。这样就构成了一个生产者、消费者的模式。

线程池API

核心: 1)create/init; 2)push_task; 3)destroy/deinit

非核心有 task_count、free_thread,通过名称都很好理解API的作用。

API代码实现

线程池的创建

核心:对结构体struct NTREADPOOL中所有成员进行初始化。

// 线程创建
int ntyThreadPoolCreate(nThreadPool *workqueue, int numWorkers) {
    //参数判断
  if (numWorkers < 1) numWorkers = 1;
  memset(workqueue, 0, sizeof(nThreadPool));
  //对条件变量初始化
  pthread_cond_t blank_cond = PTHREAD_COND_INITIALIZER;
  memcpy(&workqueue->jobs_cond, &blank_cond, sizeof(workqueue->jobs_cond)); //不是基本类型建议使用memcpy进行数据初始化
    //mutex init
  pthread_mutex_t blank_mutex = PTHREAD_MUTEX_INITIALIZER;
  memcpy(&workqueue->jobs_mtx, &blank_mutex, sizeof(workqueue->jobs_mtx));
    //(thread, worker一一对应) thread count
  int i = 0;
  for (i = 0;i < numWorkers;i ++) {
    nWorker *worker = (nWorker*)malloc(sizeof(nWorker));
    if (worker == NULL) {
      perror("malloc");
      return 1;
    }
    memset(worker, 0, sizeof(nWorker));
    worker->workqueue = workqueue;
    //开始创建线程,参数:线程id、属性、入口函数、参数
    int ret = pthread_create(&worker->thread, NULL, ntyWorkerThread, (void *)worker);
    if (ret) {  //ret > 0 创建失败 
      perror("pthread_create");
      free(worker);
      return 1;
    }
    LL_ADD(worker, worker->workqueue->workers);
  }
  return 0;
}

线程入口函数

取任务 --> 执行

// 线程入口函数
static void *ntyWorkerThread(void *ptr) {
  nWorker *worker = (nWorker*)ptr;
  while (1) {
    pthread_mutex_lock(&worker->workqueue->jobs_mtx);
    while (worker->workqueue->waiting_jobs == NULL) {
      if (worker->terminate) break;
      pthread_cond_wait(&worker->workqueue->jobs_cond, &worker->workqueue->jobs_mtx);
    }
    if (worker->terminate) {
      pthread_mutex_unlock(&worker->workqueue->jobs_mtx);
      break;
    }
    nJob *job = worker->workqueue->waiting_jobs;
    if (job != NULL) {
      LL_REMOVE(  , worker->workqueue->waiting_jobs);
    }
    pthread_mutex_unlock(&worker->workqueue->jobs_mtx);
    if (job == NULL) continue;
    job->job_function(job);
  }
  free(worker);
  pthread_exit(NULL);
}

线程池的销毁

// An highlighted block
void ntyThreadPoolShutdown(nThreadPool *workqueue) {
  nWorker *worker = NULL;
  for (worker = workqueue->workers;worker != NULL;worker = worker->next) {
    worker->terminate = 1;
  }
  pthread_mutex _lock(&workqueue->jobs_mtx);
  workqueue->workers = NULL;
  workqueue->waiting_jobs = NULL;
  //广播通知,所有的条件变量被激活
  pthread_cond_broadcast(&workqueue->jobs_cond); //广播通知
  pthread_mutex_unlock(&workqueue->jobs_mtx);
}

向任务队列增加任务函数

// 增加任务函数
void ntyThreadPoolQueue(nThreadPool *workqueue, nJob *job) {
  pthread_mutex_lock(&workqueue->jobs_mtx);
  LL_ADD(job, workqueue->waiting_jobs);
  pthread_cond_signal(&workqueue->jobs_cond); //任务激活
  pthread_mutex_unlock(&workqueue->jobs_mtx);
}

小结

实现了四个API,分别是线程池创建函数,线程入口函数,任务队列增加函数、线程池销毁函数。

API的测试

为线程池准备一千个任务,任务主要做的就是打印。线程池中、准备八十个线程。

// 测试
#define KING_MAX_THREAD     80
#define KING_COUNTER_SIZE   1000
void king_counter(nJob *job) {
  int index = *(int*)job->user_data;
  printf("index : %d, selfid : %lu\n", index, pthread_self());
  free(job->user_data);
  free(job);
}
int main(int argc, char *argv[]) {
  nThreadPool pool;
  ntyThreadPoolCreate(&pool, KING_MAX_THREAD);
  int i = 0;
  for (i = 0;i < KING_COUNTER_SIZE;i ++) {
    nJob *job = (nJob*)malloc(sizeof(nJob));
    if (job == NULL) {
      perror("malloc");
      exit(1);
    }
    job->job_function = king_counter;
    job->user_data = malloc(sizeof(int));
    *(int*)job->user_data = i;
    ntyThreadPoolQueue(&pool, job);
  }
  getchar();
  printf("\n");
}
#endif

测试部分结果

总结

主要介绍了线程池的核心工作方式,把握核心逻辑。同时,详细讲述了线程池核心API以代码的实现,主要掌握代码逻辑。对API进行测试,达到预期的效果。


相关文章
|
16天前
|
并行计算 安全 Java
Python GIL(全局解释器锁)机制对多线程性能影响的深度分析
在Python开发中,GIL(全局解释器锁)一直备受关注。本文基于CPython解释器,探讨GIL的技术本质及其对程序性能的影响。GIL确保同一时刻只有一个线程执行代码,以保护内存管理的安全性,但也限制了多线程并行计算的效率。文章分析了GIL的必要性、局限性,并介绍了多进程、异步编程等替代方案。尽管Python 3.13计划移除GIL,但该特性至少要到2028年才会默认禁用,因此理解GIL仍至关重要。
85 16
Python GIL(全局解释器锁)机制对多线程性能影响的深度分析
|
4月前
|
存储 NoSQL Redis
Redis 新版本引入多线程的利弊分析
【10月更文挑战第16天】Redis 新版本引入多线程是一个具有挑战性和机遇的改变。虽然多线程带来了一些潜在的问题和挑战,但也为 Redis 提供了进一步提升性能和扩展能力的可能性。在实际应用中,我们需要根据具体的需求和场景,综合评估多线程的利弊,谨慎地选择和使用 Redis 的新版本。同时,Redis 开发者也需要不断努力,优化和完善多线程机制,以提供更加稳定、高效和可靠的 Redis 服务。
107 1
|
4月前
线程CPU异常定位分析
【10月更文挑战第3天】 开发过程中会出现一些CPU异常升高的问题,想要定位到具体的位置就需要一系列的分析,记录一些分析手段。
113 0
|
2月前
|
调度 开发者
核心概念解析:进程与线程的对比分析
在操作系统和计算机编程领域,进程和线程是两个基本而核心的概念。它们是程序执行和资源管理的基础,但它们之间存在显著的差异。本文将深入探讨进程与线程的区别,并分析它们在现代软件开发中的应用和重要性。
82 4
|
8月前
|
存储 SQL 监控
JAVA 线程池的分析和使用
JAVA 线程池的分析和使用
55 0
|
5月前
|
安全 Java API
Java线程池原理与锁机制分析
综上所述,Java线程池和锁机制是并发编程中极其重要的两个部分。线程池主要用于管理线程的生命周期和执行并发任务,而锁机制则用于保障线程安全和防止数据的并发错误。它们深入地结合在一起,成为Java高效并发编程实践中的关键要素。
56 0
|
6月前
|
存储 监控 Java
|
6月前
|
安全 Java 开发者
Swing 的线程安全分析
【8月更文挑战第22天】
87 4
|
6月前
|
Java 数据库连接 数据库
当线程中发生异常时的情况分析
【8月更文挑战第22天】
155 4
|
6月前
|
安全 Java 程序员
线程安全与 Vector 类的分析
【8月更文挑战第22天】
100 4