Go并发调度进阶-GMP和调度器的主要结构,只有接触到底层你才更有底气

简介: Go并发调度进阶-GMP和调度器的主要结构,只有接触到底层你才更有底气

640.png

Go并发调度进阶



1. GMP主要结构


元旦结束了,该收收心工作了。今天主要是为大家带来GMP主要结构和调度器结构,欢迎大家点赞关注和转发哈。


1. G 的结构


G 既然是 Goroutine,必然需要定义自身的执行栈:


type g struct {
 stack struct {
  lo uintptr
  hi uintptr
 }        // 栈内存:[stack.lo, stack.hi)
 stackguard0 uintptr
 stackguard1 uintptr
 _panic       *_panic
 _defer       *_defer
 m            *m    // 当前的 m
 sched        gobuf
 stktopsp     uintptr  // 期望 sp 位于栈顶,用于回溯检查
 param        unsafe.Pointer // wakeup 唤醒时候传递的参数
 atomicstatus uint32
 goid         int64
 preempt      bool        // 抢占信号,stackguard0 = stackpreempt 的副本
 timer        *timer         // 为 time.Sleep 缓存的计时器
 ...
}


除了执行栈之外,还有很多与调试和 profiling 相关的字段。一个 G 没有什么黑魔法,无非是将需要执行的函数参数进行了拷贝,保存了要执行的函数体的入口地址,用于执行。


2. M 的结构


type m struct {
 g0          *g   // 用于执行调度指令的 Goroutine
 gsignal     *g   // 处理 signal 的 g
 tls         [6]uintptr // 线程本地存储
 curg        *g   // 当前运行的用户 Goroutine
 p           puintptr // 执行 go 代码时持有的 p (如果没有执行则为 nil)
 spinning    bool  // m 当前没有运行 task 且正处于寻找 task 的活跃状态
 cgoCallers  *cgoCallers // cgo 调用崩溃的 cgo 回溯
 alllink     *m   // 在 allm 上
 mcache      *mcache
 ...
}


M 是 OS 线程的实体。我们介绍几个比较重要的字段,包括:


  • 持有用于执行调度器的 g0,goroutine切换需要用到它。
  • 持有用于信号处理的 gsignal
  • 持有线程本地存储 tls
  • 持有当前正在运行的 curg
  • 持有运行 Goroutine 时需要的本地资源 p
  • 表示自身的自旋和非自旋状态 spining
  • 管理在它身上执行的 cgo 调用
  • 将自己与其他的 M 进行串联
  • 持有当前线程上进行内存分配的本地缓存 mcache,内存分配使用。


还有其他五十多个字段,包括关于M的一些调度统计、调试信息等,因为不太重要就没有给大家罗列出来。


3. P 的结构


type p struct {
 id           int32
 status       uint32 // p 的状态 pidle/prunning/...
 link         puintptr
 m            muintptr   // 反向链接到关联的 m (nil 则表示 idle)
 mcache       *mcache
 pcache       pageCache
 deferpool    [5][]*_defer // 不同大小的可用的 defer 结构池
 deferpoolbuf [5][32]*_defer
 runqhead     uint32 // 可运行的 Goroutine 队列,可无锁访问 这是队列头
 runqtail     uint32 //队列尾
 runq         [256]guintptr //使用数组实现的循环队列
 runnext      guintptr
 timersLock   mutex
 timers       []*timer
 preempt      bool
 ...
}


P 只是处理器的抽象,而非处理器本身,大家一定要记住这句话,它仅仅是处理器的抽象,它存在的意义在于实现工作窃取(work stealing)算法。简单来说,每个 P 持有一个本地队列,这个本地队列中存储的就是未来要被调度的 G。


在没有 P 的情况下,所有的 G 只能放在一个全局的队列中。当 M 执行完 G 之后想从全局队列中获取一个G的时候,必须将队列锁住从而取G。


当引入了 P 之后,P 持有 G 的本地队列,而持有 P 的 M 执行完 G 后在 P 本地队列中没有发现其他 G 可以执行时,虽然仍然会先检查全局队列、网络轮询器,但这时增加了一个从其他 P 的 队列偷取(steal)一个 G 来执行的过程。优先级为本地 > 全局 > 网络轮询器 > 偷取


我们举个例子你就知道了:银行柜台有三个窗口,每个窗口都有顾客在排队(本地队列),但是有一个窗口由于处理速度很快一下子就没有人了(本地队列为空),那么这个时候没有在排队的顾客(全局队列)会立刻跑到该窗口,当这个窗口彻底没有人时(全局队列为空),排在其他两个窗口的人迅速跑到这个窗口,即所谓的偷取。


4. GMP调用关系

640.png


M 会从与它绑定的 P 的本地队列获取可运行的 G,也会从网络轮询器里获取可运行的 G,还会从其他 P 偷 G。


5. 调度器sched结构


type schedt struct {
 lock mutex
 pidle      puintptr // 空闲 p 链表
 npidle     uint32 // 空闲 p 数量
 nmspinning uint32 // 自旋状态的 M 的数量
 runq       gQueue // 全局 runnable G 队列
 runqsize   int32
 gFree struct {  // 有效 dead G 的全局缓存.
  lock    mutex
  stack   gList // 包含栈的 Gs
  noStack gList // 没有栈的 Gs
  n       int32
 }
 sudoglock  mutex // sudog 结构的集中缓存
 sudogcache *sudog
 deferlock  mutex // 不同大小的有效的 defer 结构的池
 deferpool  [5]*_defer
 ...
}


调度器初始化步骤:


// runtime/proc.go
func schedinit() {
 _g_ := getg() //当前main的G
 (...)
 // M 初始化
 mcommoninit(_g_.m)
 (...)
 // P 初始化
 if procresize(procs) != nil {
  throw("unknown runnable goroutine during bootstrap")
 }
 (...)
}


640.png

GMP彼此的初始化顺序遵循:mcommoninit、procresize、newproc,他们分别负责初始化 M 资源池(allm)、P 资源池(allp)、G 的运行现场(g.sched)以及调度队列(p.runq)。


6. 小结


本小节主要是讲解GMP主要结构以及调度器结构,下篇主要讲解GMP如何初始化的,相信大家在看完这篇GMP基础之后,再结合下篇文章GMP的初始化,那么就会对GMP有一个更加完美的认识同时你也不用非得报班花6000多的大洋去学习,那些冤枉钱只会让你越来越贫穷,越来越觉得钱花了,工作没有找到,悲矣


目录
打赏
0
0
0
0
5
分享
相关文章
Go 语言中的 Sync.Map 详解:并发安全的 Map 实现
`sync.Map` 是 Go 语言中用于并发安全操作的 Map 实现,适用于读多写少的场景。它通过两个底层 Map(`read` 和 `dirty`)实现读写分离,提供高效的读性能。主要方法包括 `Store`、`Load`、`Delete` 等。在大量写入时性能可能下降,需谨慎选择使用场景。
|
1月前
|
Go语言入门:分支结构
本文介绍了Go语言中的条件语句,包括`if...else`、`if...else if`和`switch`结构,并通过多个练习详细解释了它们的用法。`if...else`用于简单的条件判断;`if...else if`处理多条件分支;`switch`则适用于基于不同值的选择逻辑。特别地,文章还介绍了`fallthrough`关键字,用于优化重复代码。通过实例如判断年龄、奇偶数、公交乘车及成绩等级等,帮助读者更好地理解和应用这些结构。
43 15
|
4月前
|
go语言中的控制结构
【11月更文挑战第3天】
127 58
如何利用Go语言的高效性、并发支持、简洁性和跨平台性等优势,通过合理设计架构、实现负载均衡、构建容错机制、建立监控体系、优化数据存储及实施服务治理等步骤,打造稳定可靠的服务架构。
在数字化时代,构建高可靠性服务架构至关重要。本文探讨了如何利用Go语言的高效性、并发支持、简洁性和跨平台性等优势,通过合理设计架构、实现负载均衡、构建容错机制、建立监控体系、优化数据存储及实施服务治理等步骤,打造稳定可靠的服务架构。
105 1
探索Go语言中的并发模式:goroutine与channel
在本文中,我们将深入探讨Go语言中的核心并发特性——goroutine和channel。不同于传统的并发模型,Go语言的并发机制以其简洁性和高效性著称。本文将通过实际代码示例,展示如何利用goroutine实现轻量级的并发执行,以及如何通过channel安全地在goroutine之间传递数据。摘要部分将概述这些概念,并提示读者本文将提供哪些具体的技术洞见。
Go语言的并发特性
【10月更文挑战第26天】Go语言的并发特性
47 1
监控局域网其他电脑:Go 语言迪杰斯特拉算法的高效应用
在信息化时代,监控局域网成为网络管理与安全防护的关键需求。本文探讨了迪杰斯特拉(Dijkstra)算法在监控局域网中的应用,通过计算最短路径优化数据传输和故障检测。文中提供了使用Go语言实现的代码例程,展示了如何高效地进行网络监控,确保局域网的稳定运行和数据安全。迪杰斯特拉算法能减少传输延迟和带宽消耗,及时发现并处理网络故障,适用于复杂网络环境下的管理和维护。
揭秘 Go 语言中空结构体的强大用法
Go 语言中的空结构体 `struct{}` 不包含任何字段,不占用内存空间。它在实际编程中有多种典型用法:1) 结合 map 实现集合(set)类型;2) 与 channel 搭配用于信号通知;3) 申请超大容量的 Slice 和 Array 以节省内存;4) 作为接口实现时明确表示不关注值。此外,需要注意的是,空结构体作为字段时可能会因内存对齐原因占用额外空间。建议将空结构体放在外层结构体的第一个字段以优化内存使用。
|
1月前
|
Go 语言入门指南:切片
Golang中的切片(Slice)是基于数组的动态序列,支持变长操作。它由指针、长度和容量三部分组成,底层引用一个连续的数组片段。切片提供灵活的增减元素功能,语法形式为`[]T`,其中T为元素类型。相比固定长度的数组,切片更常用,允许动态调整大小,并且多个切片可以共享同一底层数组。通过内置的`make`函数可创建指定长度和容量的切片。需要注意的是,切片不能直接比较,只能与`nil`比较,且空切片的长度为0。
Go 语言入门指南:切片
|
1月前
|
公司局域网管理系统里的 Go 语言 Bloom Filter 算法,太值得深挖了
本文探讨了如何利用 Go 语言中的 Bloom Filter 算法提升公司局域网管理系统的性能。Bloom Filter 是一种高效的空间节省型数据结构,适用于快速判断元素是否存在于集合中。文中通过具体代码示例展示了如何在 Go 中实现 Bloom Filter,并应用于局域网的 IP 访问控制,显著提高系统响应速度和安全性。随着网络规模扩大和技术进步,持续优化算法和结合其他安全技术将是企业维持网络竞争力的关键。
52 2
公司局域网管理系统里的 Go 语言 Bloom Filter 算法,太值得深挖了