听说90%的人都没搞定手撕协程池这道面试题!

简介: 听说90%的人都没搞定手撕协程池这道面试题!

特别的缘分

听说90%的人都没搞定手撕协程池这道面试题!

能看到这篇文章一定是特殊的缘分,请务必珍惜,请详细看看吧,哈哈。

image.png

不止上图,最近 Go就业训练营 中不少小伙伴说,面试中碰到了好几次手撕协程池的问题。

解题思路:

  1. 定义协程池结构体:首先,我们需要定义一个协程池的结构体,包含协程池的属性和方法。结构体中需要包含一个任务队列、协程池的大小、当前运行的协程数量等属性。
  2. 初始化协程池:在初始化函数中,我们需要创建一个指定大小的任务队列,并初始化协程池的属性。
  3. 添加任务到协程池:当有任务需要执行时,我们将任务添加到任务队列中。
  4. 启动协程池:在启动函数中,我们需要根据协程池的大小创建对应数量的协程,并从任务队列中获取任务进行执行。每个协程会不断从任务队列中获取任务并执行,直到任务队列为空。
  5. 控制协程数量:在协程池中,我们需要控制同时运行的协程数量,以防止过多的协程导致资源浪费。可以使用信号量或者计数器来控制协程的数量。

通过以上的解题思路,我们可以实现一个基本的协程池。

在实际应用中,可能还需要考虑一些其他的因素,如任务优先级、任务超时处理等。根据具体的需求,可以对协程池进行进一步的扩展和优化。

说完了解题思路,再给大家一个可参考,可运行的示例代码:

示例代码:

package main
import (
        "fmt"
        "sync"
)
type Job struct {
        ID int
}
type Worker struct {
        ID         int
        JobChannel chan Job
        Quit       chan bool
}
type Pool struct {
        WorkerNum   int
        JobChannel  chan Job
        WorkerQueue chan chan Job
        Quit        chan bool
        wg          sync.WaitGroup
}
// NewWorker 创建一个新的工作者
func NewWorker(id int, workerQueue chan chan Job) Worker {
        return Worker{
                ID:         id,
                JobChannel: make(chan Job),
                Quit:       make(chan bool),
        }
}
// Start 启动工作者
func (w Worker) Start(workerQueue chan chan Job) {
        go func() {
                for {
                        workerQueue <- w.JobChannel
                        select {
                        case job := <-w.JobChannel:
                                fmt.Printf("Worker %d started job %d\n", w.ID, job.ID)
                                // 执行任务
                                fmt.Printf("Worker %d finished job %d\n", w.ID, job.ID)
                        case <-w.Quit:
                                return
                        }
                }
        }()
}
// Start 启动工作者池
func (p *Pool) Start() {
        for i := 0; i < p.WorkerNum; i++ {
                worker := NewWorker(i, p.WorkerQueue)
                worker.Start(p.WorkerQueue)
        }
        go func() {
                for {
                        select {
                        case job := <-p.JobChannel:
                                worker := <-p.WorkerQueue
                                worker <- job
                        case <-p.Quit:
                                for i := 0; i < p.WorkerNum; i++ {
                                        worker := <-p.WorkerQueue
                                        worker <- Job{} // 发送空任务,通知协程退出
                                }
                                p.wg.Done()
                                return
                        }
                }
        }()
}
// AddJob 添加作业到作业通道
func (p *Pool) AddJob(job Job) {
        p.JobChannel <- job
}
// Stop 停止工作者池
func (p *Pool) Stop() {
        p.Quit <- true
        p.wg.Wait()
}
func main() {
        pool := Pool{
                WorkerNum:   5,
                JobChannel:  make(chan Job),
                WorkerQueue: make(chan chan Job, 5),
                Quit:        make(chan bool),
        }
        pool.Start()
        for i := 0; i < 10; i++ {
                job := Job{ID: i}
                pool.AddJob(job)
        }
        pool.Stop()
}

以下是对代码的注释:

  • Job 结构体定义了作业的 ID。
  • Worker 结构体定义了工作者的 ID、作业通道和退出通道。
  • Pool 结构体定义了工作者数量、作业通道、工作者队列和退出通道,以及一个等待组(WaitGroup)。
  • NewWorker 函数创建一个新的工作者,并返回一个工作者实例。
  • Start 方法启动一个工作者,它从工作者队列中获取自己的作业通道,并在循环中等待作业的到来,执行作业并在退出通道接收到信号时返回。
  • Pool 的 Start 方法启动工作者池,创建指定数量的工作者,并将它们启动。同时,它还启动一个循环,等待作业的到来,并将作业分发给可用的工作者。
  • AddJob 方法将作业添加到作业通道中,供工作者池处理。
  • Stop 方法停止工作者池,向退出通道发送信号,并等待所有工作者完成当前作业后返回。
  • main 函数创建一个工作者池实例,启动工作者池,并添加一些作业。最后,调用 Stop 方法停止工作者池。

答疑

有小伙伴提出了疑问:

WorkerQueue chan chan Job 的作用是什么?为什么要这么定义?

解答一下:

WorkerQueue chan chan Job 的作用是用于传递工作者(Worker)的作业通道(JobChannel)。它是一个通道(channel),其中每个元素都是一个作业通道。

为什么要这么定义呢?这是因为在工作者池模式中,每个工作者需要一个独立的作业通道来接收作业。通过将每个工作者的作业通道放入一个通道中,可以实现对工作者的动态分配和管理。

具体来说,WorkerQueue 通道用于存储每个工作者的作业通道。当有新的作业到达时,工作者池会从 WorkerQueue 中取出一个可用的工作者的作业通道,并将作业发送到该通道中,由相应的工作者进行处理。

这种设计可以有效地控制并发任务的分配和调度。通过将工作者的作业通道放入 WorkerQueue 中,可以实现对工作者的复用和动态管理,避免了频繁地创建和销毁工作者协程的开销。

总结起来,WorkerQueue 的定义允许工作者池动态地管理工作者的作业通道,实现对并发任务的高效分配和调度。

运行结果

image.png

总结

以上代码实现了一个简单的工作池(Worker Pool)模式。工作池由一组固定数量的工作者(Worker)协程组成,它们从作业通道(JobChannel)中获取作业(Job)并执行。

欢迎在评论区交流讨论。

相关文章
|
Go 调度 机器学习/深度学习
|
5月前
|
安全 Android开发 Kotlin
Android面试题之Kotlin协程并发问题和互斥锁
Kotlin的协程提供轻量级并发解决方案,如`kotlinx.coroutines`库。`Mutex`用于同步,确保单个协程访问共享资源。示例展示了`withLock()`、`lock()`、`unlock()`和`tryLock()`的用法,这些方法帮助在协程中实现线程安全,防止数据竞争。
67 1
|
5月前
|
存储 Java 调度
Android面试题之Kotlin 协程的挂起、执行和恢复过程
了解Kotlin协程的挂起、执行和恢复机制。挂起时,状态和上下文(局部变量、调用栈、调度器等)被保存;挂起点通过`Continuation`对象处理,释放线程控制权。当恢复条件满足,调度器重新分配线程,调用`resumeWith`恢复执行。关注公众号“AntDream”获取更多并发知识。
119 2
|
5月前
|
JSON 安全 调度
Android面试题之Kotlin协程一文搞定
本文介绍了协程的基础知识,强调它是轻量级线程,用于处理耗时任务而不阻塞主线程,确保主线程安全。协程特点包括使异步逻辑同步化,并允许函数挂起和恢复。挂起函数由`suspend`关键字标识,只能在协程内部调用。挂起与阻塞的主要区别在于挂起不会导致主线程ANR。 结构化并发和协程作用域(如`CoroutineScope`、`GlobalScope`、`MainScope`等)提供了任务管理,文章还探讨了并发、启动模式、协程取消、超时任务以及资源释放等主题。
69 0
|
5月前
|
存储 Java 调度
Android面试题之Kotlin协程到底是什么?它是线程吗?
本文探讨了协程与线程的区别,指出协程并非线程,而是轻量级的线程替代。协程轻量体现在它们共享调用栈,内存占用少,仅需几个KB。协程切换发生在用户态,避免了昂贵的内核态切换。在Kotlin中,协程通过Continuation对象实现上下文保存,允许高效并发执行,而不会像线程那样消耗大量资源。通过`runBlocking`和`launch`示例展示了协程的非阻塞挂起特性。总结来说,协程的轻量主要源于内存占用少、切换开销低和高并发能力。
90 0
|
6月前
|
监控 负载均衡 算法
Golang深入浅出之-Go语言中的协程池设计与实现
【5月更文挑战第3天】本文探讨了Go语言中的协程池设计,用于管理goroutine并优化并发性能。协程池通过限制同时运行的goroutine数量防止资源耗尽,包括任务队列和工作协程两部分。基本实现思路涉及使用channel作为任务队列,固定数量的工作协程处理任务。文章还列举了一个简单的协程池实现示例,并讨论了常见问题如任务队列溢出、协程泄露和任务调度不均,提出了解决方案。通过合理设置缓冲区大小、确保资源释放、优化任务调度以及监控与调试,可以避免这些问题,提升系统性能和稳定性。
189 6
|
6月前
|
调度 Python
Python多线程、多进程与协程面试题解析
【4月更文挑战第14天】Python并发编程涉及多线程、多进程和协程。面试中,对这些概念的理解和应用是评估候选人的重要标准。本文介绍了它们的基础知识、常见问题和应对策略。多线程在同一进程中并发执行,多进程通过进程间通信实现并发,协程则使用`asyncio`进行轻量级线程控制。面试常遇到的问题包括并发并行混淆、GIL影响多线程性能、进程间通信不当和协程异步IO理解不清。要掌握并发模型,需明确其适用场景,理解GIL、进程间通信和协程调度机制。
157 0
|
安全 调度 数据库
Kotlin 学习笔记(五)—— 协程的基础知识,面试官的最爱了~(下)
Kotlin 学习笔记(五)—— 协程的基础知识,面试官的最爱了~(下)
62 0
|
Java Go Android开发
Kotlin 学习笔记(五)—— 协程的基础知识,面试官的最爱了~(上)
Kotlin 学习笔记(五)—— 协程的基础知识,面试官的最爱了~(上)
86 0
|
Java 程序员 Go
grpool goroutine池详解 | 协程管理
goroutine协程非常轻量级,这也是为什么go支持高并发,但是goroutine频繁创建销毁对GC的压力比较大。
189 0
grpool goroutine池详解 | 协程管理