深入浅出Go并发之协程—goroutine

简介: 深入浅出Go并发之协程—goroutine

1 梳理概念:进程、线程、协程

1.1 进程

在《计算机操作系统》一书中,进程这样被解释:

进程是进程实体的运行过程,是程序的基本执行实体,是系统进行资源分配和调度的一个独立单位。进程实体 = 程序段 + 相关数据段 + 进程控制块(PCB),

进程的特性:①动态性 ②并发性 ③独立性 ④异步性 ⑤结构性

进程的三种基本状态:就绪(Ready)状态、执行(Running)状态、阻塞(Block)状态

1.2 线程

线程是操作系统能够进行运算调度的最小单位。它被包含在进程之中,是进程中的实际运作单位。

同一进程中的多条线程将共享该进程中的全部系统资源,如虚拟地址空间,文件描述符和信号处理等等。但同一进程中的多个线程有各自的调用栈(call stack),自己的寄存器环境(register context),自己的线程本地存储(thread-local storage)。

一个进程可以有很多线程,每条线程并行执行不同的任务。

线程的基本状态:派生,阻塞,激活,调度,结束

1.3 协程

协程,又称微线程,纤程。英文名Coroutine。一句话说明什么是协程:协程是一种用户态的轻量级线程

协程拥有自己的寄存器上下文和栈。协程调度切换时,将寄存器上下文和栈保存到其他地方,在切回来的时候,恢复先前保存的寄存器上下文和栈。因此:协程能保留上一次调用时的状态(即所有局部状态的一个特定组合),每次过程重入时,就相当于进入上一次调用的状态,换种说法:进入上一次离开时所处逻辑流的位置。

在并发编程中,协程与线程类似,每个协程表示一个执行单元,有自己的本地数据,与其它协程共享全局数据和其它资源。

协程的基本状态:见下文。

2 为什么协程能更好支持并发

因为协程是用户自己来编写调度逻辑的,对CPU来说,协程其实是单线程,所以CPU不用去考虑怎么调度、切换上下文,这就省去了CPU的切换开销,所以协程在一定程度上又好于多线程。

对比Java的线程

内核线程 用户线程
Java线程 1 1
Go协程 m n

因此协程的好处

  • 无需线程上下文切换的开销
  • 无需原子操作锁定及同步的开销
  • 方便切换控制流,简化编程模型
  • 高并发+高扩展性+低成本:一个CPU支持上万的协程都不是问题。所以很适合用于高并发处理。

3 Go项目中goruntine的使用方式

3.1 简单使用
package main
func main() {
   go func() {
      println("Hello goruntine")
   }()
}

为什么没有输出协程的输出语句,是因为主线程先执行完了,下面我们来试下:

package main
import "time"
func main() {
   go func() {
      println("Hello goruntine")
   }()
   time.Sleep(3 * time.Second)
}

3.2 控制使用

控制协程的数量

(1)使用sync.WaitGroup控制协程数量

package main
import (
   "fmt"
   "sync"
   "time"
)
func main() {
   var wg sync.WaitGroup
   fmt.Println("This is main thread start ...")
   wg.Add(2)
   go func() {
      defer wg.Done()
      fmt.Println("Go 1 finished ...")
   }()
   go func() {
      defer wg.Done()
      time.Sleep(3 * time.Second)
      fmt.Println("Go 2 finished ...")
   }()
   wg.Wait()
   fmt.Println("This is main thread finished ...")
}

(2)使用sync.Mutex控制协程数量

package main
import (
   "fmt"
   "sync"
)
func main() {
   var locker = new(sync.Mutex)
   var cond = sync.NewCond(locker)
   var done bool = false
   fmt.Println("Main is start...")
   cond.L.Lock()
   go func() {
      fmt.Println("Go is finished... ")
      done = true
      cond.Signal()
   }()
   fmt.Println("Main is wait...")
   if !done {
      cond.Wait()
      cond.L.Unlock()
   }
   fmt.Println("Main is finished...")
}

4 goruntine的基本原理

4.1 源码

package runtime中的runtime2.go文件中:

//Stack描述了一个Go执行堆栈。堆栈的边界是[lo, hi),两边都没有隐式数据结构。  
type stack struct {
   lo uintptr //下界
   hi uintptr //上界
}
type g struct {
   // Stack信息.
   stack       stack   // offset known to runtime/cgo
   stackguard0 uintptr // offset known to liblink
   stackguard1 uintptr // offset known to liblink
   _panic       *_panic // innermost panic - offset known to liblink
   _defer       *_defer // innermost defer
   m            *m      // current m; offset known to arm liblink
   sched        gobuf   // goroutine切换时,用于保存g的上下文
   ......
}
4.2 原理简述

通过go关键字调用底层函数runtime.newproc()创建一个goroutine

当调用该函数之后,goroutine会被设置成runnable状态

goroutine 本身只是一个数据结构,真正让 goroutine 运行起来的是调度器。Go 实现了一个用户态的调度器(GMP模型),这个调度器充分利用现代计算机的多核特性,同时让多个 goroutine 运行,同时 goroutine 设计的很轻量级,调度和上下文切换的代价都比较小。

4.3 goruntine状态
const (
   // G status
   _Gidle = iota //空闲中。G刚刚新建, 仍未初始化
    
   _Grunnable //待运行。就绪状态,G在运行队列中, 等待M取出并运行
    
   _Grunning //运行中。M正在运行这个G, 这时候M会拥有一个P
    
   _Gsyscall //系统调用中。M正在运行这个G发起的系统调用, 这时候M并不拥有P
    
   _Gwaiting // 等待中。G在等待某些条件完成, 这时候G不在运行也不在运行队列中(可能在channel的等待队列中)
    
   _Gmoribund_unused // 当前未使用。但在gdb中硬编码脚本。  
    
   _Gdead // 已中止。G未被使用, 可能已执行完毕
    
   _Genqueue_unused //  当前未使用。
    
   _Gcopystack // 栈复制中。G正在获取一个新的栈空间并把原来的内容复制过去(用于防止GC扫描)
    
   _Gpreempted // 停止自己来暂停抢占。 它类似于_Gwaiting,并且不在运行队列上,等待唤醒。
    
   // 以下状态为GC相关
   _Gscan          = 0x1000
   _Gscanrunnable  = _Gscan + _Grunnable  // 0x1001
   _Gscanrunning   = _Gscan + _Grunning   // 0x1002
   _Gscansyscall   = _Gscan + _Gsyscall   // 0x1003
   _Gscanwaiting   = _Gscan + _Gwaiting   // 0x1004
   _Gscanpreempted = _Gscan + _Gpreempted // 0x1009
)

(图片链接:https://inews.gtimg.com/newsapp_bt/0/14462492521/1000

5 Go的重要概念:GMP模型

  • M代表一个内核线程,也可以称为一个工作线程。goroutine就是跑在M之上的。
  • P代表着处理器(processor),它的主要用途就是用来执行goroutine的,一个P代表执行一个go代码片段的基础(上下文环境),所以它也维护了一个可运行的goroutine队列,和自由的goroutine队列,里面存储了所有需要它来执行的goroutine。
  • G 代表着goroutine 实际的数据结构(就是你封装的那个方法),并维护者goroutine 需要的栈、程序计数器以及它所在的M等信息。
  • Seched代表着一个调度器,它维护有存储空闲的M队列和空闲的P队列,可运行的G队列,自由的G队列以及调度器的一些状态信息等。
5.1 用户协程(goroutine )

代码实现的协程,包含函数执行的指令和参数,任务对象,线程上下文切换,字段保护,和字段的寄存器。

type g struct {
   stack       stack   // offset known to runtime/cgo
   stackguard0 uintptr // offset known to liblink
   stackguard1 uintptr // offset known to liblink
   _panic       *_panic // innermost panic - offset known to liblink
   _defer       *_defer // innermost defer
   m            *m      // current m; offset known to arm liblink
   sched        gobuf
   ......
}
5.2 内核线程(machine)

M是一个线程,每个M都有一个线程的栈。如果没有给线程的栈分配内存,操作系统会给线程的栈分配默认的内存。当线程的栈制定,M.stack->G.stack, M的PC寄存器会执行G提供的函数。

type m struct {
   g0      *g     // goroutine with scheduling stack
   morebuf gobuf  // gobuf arg to morestack
   divmod  uint32 // div/mod denominator for arm - known to liblink
   procid        uint64       // for debuggers, but offset not hard-coded
   gsignal       *g           // signal-handling g
   goSigStack    gsignalStack // Go-allocated signal handling stack
   sigmask       sigset       // storage for saved signal mask
   tls           [6]uintptr   // thread-local storage (for x86 extern register)
   mstartfn      func()
   curg          *g       // current running goroutine
   caughtsig     guintptr // goroutine running during fatal signal
   p             puintptr // attached p for executing go code (nil if not executing go code)
   nextp         puintptr
   oldp          puintptr // the p that was attached before executing a syscall
   id            int64
   mallocing     int32
   throwing      int32
   preemptoff    string // if != "", keep curg running on this m
   ......
}
5.3 处理器(processor)

prosessor处理器是用来处理goroutine的,processor包含着每一个goroutine的资源。

一个Processor有很多goruntine组成的等待队列,但是一个Processor同一时刻只能执行一个G。

type p struct {
   id          int32
   status      uint32 // one of pidle/prunning/...
   link        puintptr
   schedtick   uint32     // incremented on every scheduler call
   syscalltick uint32     // incremented on every system call
   sysmontick  sysmontick // last tick observed by sysmon
   m           muintptr   // back-link to associated m (nil if idle)
   mcache      *mcache
   pcache      pageCache
   raceprocctx uintptr
   deferpool    [5][]*_defer // pool of available defer structs of different sizes (see panic.go)
   deferpoolbuf [5][32]*_defer
   // Cache of goroutine ids, amortizes accesses to runtime·sched.goidgen.
   goidcache    uint64
   goidcacheend uint64
   // Queue of runnable goroutines. Accessed without lock.
   runqhead uint32
   runqtail uint32
   runq     [256]guintptr
 
   ......
}
5.4 调度器(schedt)

schedt主要工作就是创建 g。但是创建 g 的过程非常复杂,在调度 g 之前进行了多次判断:

  • 首先判断是否因为 gc 等待,如果是因为 gc 就等待 gc 结束。
  • 判断是否执行安全点函数。
type schedt struct {
   // accessed atomically. keep at top to ensure alignment on 32-bit systems.
   goidgen   uint64
   lastpoll  uint64 // time of last network poll, 0 if currently polling
   pollUntil uint64 // time to which current poll is sleeping
   lock mutex
   midle        muintptr // idle m's waiting for work
   nmidle       int32    // number of idle m's waiting for work
   nmidlelocked int32    // number of locked m's waiting for work
   mnext        int64    // number of m's that have been created and next M ID
   maxmcount    int32    // maximum number of m's allowed (or die)
   nmsys        int32    // number of system m's not counted for deadlock
   nmfreed      int64    // cumulative number of freed m's
   ngsys uint32 // number of system goroutines; updated atomically
   ...
}
5.5 相互关系

首先创建一个G对象,然后G被保存在P的本地队列或者全局队列(global queue)。这时P会唤醒一个M。P按照它的执行顺序继续执行任务。M寻找一个空闲的P,如果找得到,将G移动到它自己。然后M执行一个调度循环:调用G对象->执行->清理线程->继续寻找Goroutine。

在M的执行过程中,上下文切换随时发生。当切换发生,任务的执行现场需要被保护,这样在下一次调度执行可以进行现场恢复。M的栈保存在G对象,只有现场恢复需要的寄存器(SP,PC等),需要被保存到G对象。

如果G对象还没有被执行,M可以将G重新放到P的调度队列,等待下一次的调度执行。当调度执行时,M可以通过G的vdsoSP, vdsoPC 寄存器进行现场恢复。

参考:

https://www.jianshu.com/p/eae8b66e766d

https://blog.csdn.net/weixin_42522985/article/details/89349550

https://www.cnblogs.com/freely/p/6516542.html

https://www.golangroadmap.com/question_bank/golang.html

https://blog.csdn.net/guoweimelon/article/details/50845471

https://blog.csdn.net/wsk8520/article/details/116333850

https://zhuanlan.zhihu.com/p/261590663

https://www.cnblogs.com/ms27946/p/golang-study-gmp-schedule.html

相关文章
|
1月前
|
安全 Go 数据处理
Go语言中的并发编程:掌握goroutine和channel的艺术####
本文深入探讨了Go语言在并发编程领域的核心概念——goroutine与channel。不同于传统的单线程执行模式,Go通过轻量级的goroutine实现了高效的并发处理,而channel作为goroutines之间通信的桥梁,确保了数据传递的安全性与高效性。文章首先简述了goroutine的基本特性及其创建方法,随后详细解析了channel的类型、操作以及它们如何协同工作以构建健壮的并发应用。此外,还介绍了select语句在多路复用中的应用,以及如何利用WaitGroup等待一组goroutine完成。最后,通过一个实际案例展示了如何在Go中设计并实现一个简单的并发程序,旨在帮助读者理解并掌
|
1月前
|
安全 Java Go
Go语言中的并发编程:掌握goroutine与通道的艺术####
本文深入探讨了Go语言中的核心特性——并发编程,通过实例解析goroutine和通道的高效使用技巧,旨在帮助开发者提升多线程程序的性能与可靠性。 ####
|
1月前
|
存储 负载均衡 监控
如何利用Go语言的高效性、并发支持、简洁性和跨平台性等优势,通过合理设计架构、实现负载均衡、构建容错机制、建立监控体系、优化数据存储及实施服务治理等步骤,打造稳定可靠的服务架构。
在数字化时代,构建高可靠性服务架构至关重要。本文探讨了如何利用Go语言的高效性、并发支持、简洁性和跨平台性等优势,通过合理设计架构、实现负载均衡、构建容错机制、建立监控体系、优化数据存储及实施服务治理等步骤,打造稳定可靠的服务架构。
35 1
|
1月前
|
安全 Go 调度
探索Go语言的并发模型:goroutine与channel
在这个快节奏的技术世界中,Go语言以其简洁的并发模型脱颖而出。本文将带你深入了解Go语言的goroutine和channel,这两个核心特性如何协同工作,以实现高效、简洁的并发编程。
|
1月前
|
Go 调度 开发者
探索Go语言中的并发模式:goroutine与channel
在本文中,我们将深入探讨Go语言中的核心并发特性——goroutine和channel。不同于传统的并发模型,Go语言的并发机制以其简洁性和高效性著称。本文将通过实际代码示例,展示如何利用goroutine实现轻量级的并发执行,以及如何通过channel安全地在goroutine之间传递数据。摘要部分将概述这些概念,并提示读者本文将提供哪些具体的技术洞见。
|
1月前
|
安全 Go 调度
解密Go语言并发模型:CSP与goroutine的魔法
在本文中,我们将深入探讨Go语言的并发模型,特别是CSP(Communicating Sequential Processes)理论及其在Go中的实现——goroutine。我们将分析CSP如何为并发编程提供了一种清晰、简洁的方法,并通过goroutine展示Go语言在处理高并发场景下的独特优势。
|
2月前
|
Java 大数据 Go
Go语言:高效并发的编程新星
【10月更文挑战第21】Go语言:高效并发的编程新星
53 7
|
1月前
|
并行计算 安全 Go
Go语言的并发特性
【10月更文挑战第26天】Go语言的并发特性
19 1
|
25天前
|
并行计算 安全 Go
Go语言中的并发编程:掌握goroutines和channels####
本文深入探讨了Go语言中并发编程的核心概念——goroutine和channel。不同于传统的线程模型,Go通过轻量级的goroutine和通信机制channel,实现了高效的并发处理。我们将从基础概念开始,逐步深入到实际应用案例,揭示如何在Go语言中优雅地实现并发控制和数据同步。 ####
|
1月前
|
存储 Go 开发者
Go语言中的并发编程与通道(Channel)的深度探索
本文旨在深入探讨Go语言中并发编程的核心概念和实践,特别是通道(Channel)的使用。通过分析Goroutines和Channels的基本工作原理,我们将了解如何在Go语言中高效地实现并行任务处理。本文不仅介绍了基础语法和用法,还深入讨论了高级特性如缓冲通道、选择性接收以及超时控制等,旨在为读者提供一个全面的并发编程视角。