Go基础:goroutine使用、调度、runtime包

简介: Go基础:goroutine使用、调度、runtime包

目录

并发编程前言

进程和线程

并发和并行

协程和线程

Goroutine

使用goroutine

启动多个goroutine

goroutine与线程

可增长的栈

goroutine调度

runtime包

runtime.Gosched()

runtime.Goexit()

runtime.GOMAXPROCS



并发编程前言

进程和线程

   A. 进程是程序在操作系统中的一次执行过程,系统进行资源分配和调度的一个独立单位。

   B. 线程是进程的一个执行实体,是CPU调度和分派的基本单位,它是比进程更小的能独立运行的基本单位。

   C.一个进程可以创建和撤销多个线程;同一个进程中的多个线程之间可以并发执行。


并发和并行

   A. 多线程程序在一个核的cpu上运行,就是并发。

   B. 多线程程序在多个核的cpu上运行,就是并行。


协程和线程

协程

协程

协程

  • 协程:独立的栈空间,共享堆空间,调度由用户自己控制,本质上有点类似于用户级线程,这些用户级线程的调度也是自己实现的。
  • 线程:一个线程上可以跑多个协程,协程是轻量级的线程。
  • goroutine 只是由官方实现的超级"线程池"。
  • 每个实力4~5KB的栈内存占用和由于实现机制而大幅减少的创建和销毁开销是go高并发的根本原因
  • 并发不是并行:
  • 并发主要由切换时间片来实现"同时"运行,并行则是直接利用多核实现多线程的运行,go可以设置使用核数,以发挥多核计算机的能力。
  • goroutine 奉行通过通信来共享内存,而不是共享内存来通信


Goroutine

goroutine


Go语言中的goroutine就是这样一种机制,goroutine的概念类似于线程,但 goroutine是由Go的运行时(runtime)调度和管理的。Go程序会智能地将 goroutine 中的任务合理地分配给每个CPU。Go语言之所以被称为现代化的编程语言,就是因为它在语言层面已经内置了调度和上下文切换的机制。


在Go语言编程中你不需要去自己写进程、线程、协程,你的技能包里只有一个技能–goroutine,当你需要让某个任务并发执行的时候,你只需要把这个任务包装成一个函数,开启一个goroutine去执行这个函数就可以了,就是这么简单粗暴。

Go程序会为main()函数创建一个默认的goroutine

goroutine


使用goroutine

Go语言中使用goroutine非常简单,只需要在调用函数的时候在前面加上go关键字,就可以为一个函数创建一个goroutine。

一个goroutine必定对应一个函数,可以创建多个goroutine去执行相同的函数。


启动多个goroutine

goroutine切换点


在Go语言中实现并发就是这样简单,我们还可以启动多个goroutine。让我们再来一个例子: (这里使用了sync.WaitGroup来实现goroutine的同步)

var wg sync.WaitGroup
func hello(i int) {
    defer wg.Done() // goroutine结束就登记-1
    fmt.Println("Hello Goroutine!", i)
}
func main() {
    for i := 0; i < 10; i++ {
        wg.Add(1) // 启动一个goroutine就登记+1
        go hello(i)
    }
    wg.Wait() // 等待所有登记的goroutine都结束
}


多次执行上面的代码,会发现每次打印的数字的顺序都不一致。这是因为10个goroutine是并发执行的,而goroutine的调度是随机的。

注意

  • 如果主协程退出了,其他任务还执行吗(运行下面的代码测试一下吧)
package main
import (
  "fmt"
  "time"
)
func main() {
  // 合起来写
  go func() {
    i := 0
    for {
      i++
      fmt.Printf("new goroutine: i = %d\n", i)
      time.Sleep(time.Second)
    }
  }()
  i := 0
  for {
    i++
    fmt.Printf("main goroutine: i = %d\n", i)
    time.Sleep(time.Second)
    if i == 2 {
      break
    }
  }
}
// 返回结果
//main goroutine: i = 1
//new goroutine: i = 1
//new goroutine: i = 2
//main goroutine: i = 2


goroutine与线程

可增长的栈

OS线程(操作系统线程)一般都有固定的栈内存(通常为2MB),一个goroutine的栈在其生命周期开始时只有很小的栈(典型情况下2KB),goroutine的栈不是固定的,他可以按需增大和缩小,goroutine的栈大小限制可以达到1GB,虽然极少会用到这个大。所以在Go语言中一次创建十万左右的goroutine也是可以的。


goroutine调度

GPM是Go语言运行时(runtime)层面的实现,是go语言自己实现的一套调度系统。区别于操作系统调度OS线程。

  • 1.G很好理解,就是个goroutine的,里面除了存放本goroutine信息外 还有与所在P的绑定等信息
  • 2.P管理着一组goroutine队列,P里面会存储当前goroutine运行的上下文环境(函数指针,堆栈地址及地址边界),P会对自己管理的goroutine队列做一些调度(比如把占用CPU时间较长的goroutine暂停、运行后续的goroutine等等)当自己的队列消费完了就去全局队列里取,如果全局队列里也消费完了会去其他P的队列里抢任务。
  • 3.M(machine)是Go运行时(runtime)对操作系统内核线程的虚拟, M与内核线程一般是一一映射的关系, 一个groutine最终是要放到M上执行的;


P与M一般也是一一对应的。他们关系是: P管理着一组G挂载在M上运行。当一个G长久阻塞在一个M上时,runtime会新建一个M,阻塞G所在的P会把其他的G 挂载在新建的M上。当旧的G阻塞完成或者认为其已经死掉时 回收旧的M。


P的个数是通过runtime.GOMAXPROCS设定(最大256),Go1.5版本之后默认为物理线程数。 在并发量大的时候会增加一些P和M,但不会太多,切换太频繁的话得不偿失。

单从线程调度讲,Go语言相比起其他语言的优势在于OS线程是由OS内核来调度的,goroutine则是由Go运行时(runtime)自己的调度器调度的,这个调度器使用一个称为m:n调度的技术(复用/调度m个goroutine到n个OS线程)。 其一大特点是


goroutine的调度是在用户态下完成的, 不涉及内核态与用户态之间的频繁切换,包括内存的分配与释放,都是在用户态维护着一块大的内存池, 不直接调用系统的malloc函数(除非内存池需要改变),成本比调度OS线程低很多。 另一方面充分利用了多核的硬件资源,近似的把若干goroutine均分在物理线程上, 再加上本身goroutine的超轻量,以上种种保证了go调度方面的性能。

   

runtime包

runtime.Gosched()

让出CPU时间片,重新等待安排任务

package main
import (
  "fmt"
  "runtime"
)
func main() {
  go func(s string) {
    for i := 0; i < 2; i++ {
      fmt.Println(s)
    }
  }("world")
  // 主协程
  for i := 0; i < 2; i++ {
    // 切一下,再次分配任务
    runtime.Gosched()
    fmt.Println("hello")
  }
}
// 返回结果
//world
//world
//hello
//hello


runtime.Goexit()

退出当前协程

package main
import (
  "fmt"
  "runtime"
)
func main() {
  go func() {
    defer fmt.Println("A.defer")
    func() {
      defer fmt.Println("B.defer")
      // 结束协程
      runtime.Goexit()
      defer fmt.Println("C.defer")
      fmt.Println("B")
    }()
    fmt.Println("A")
  }()
  select {}
}
// 返回结果
//B.defer
//A.defer
//fatal error: all goroutines are asleep - deadlock!
//
//goroutine 1 [select (no cases)]:
//main.main()


runtime.GOMAXPROCS

  • Go运行时的调度器使用GOMAXPROCS参数来确定需要使用多少个OS线程来同时执行Go代码默认值是机器上的CPU核心数。例如在一个8核心的机器上,调度器会把Go代码同时调度到8个OS线程上(GOMAXPROCS是m:n调度中的n)。
  • Go语言中可以通过runtime.GOMAXPROCS()函数设置当前程序并发时占用的CPU逻辑核心数。
  • Go1.5版本之前,默认使用的是单核心执行。Go1.5版本之后,默认使用全部的CPU逻辑核心数。

我们可以通过将任务分配到不同的CPU逻辑核心上实现并行的效果,这里举个例子:

package main
import (
  "fmt"
  "runtime"
  "time"
)
func a() {
  for i := 1; i < 10; i++ {
    fmt.Println("A:", i)
  }
}
func b() {
  for i := 1; i < 10; i++ {
    fmt.Println("B:", i)
  }
}
func main() {
  runtime.GOMAXPROCS(1)
  go a()
  go b()
  time.Sleep(time.Second)
}
// 返回结果
//A: 1
//A: 2
//A: 3
//A: 4
//A: 5
//A: 6
//A: 7
//A: 8
//A: 9
//B: 1
//B: 2
//B: 3
//B: 4
//B: 5
//B: 6
//B: 7
//B: 8
//B: 9


两个任务只有一个逻辑核心,此时是做完一个任务再做另一个任务。 将逻辑核心数设为2,此时两个任务并行执行,代码如下。

package main
import (
  "fmt"
  "runtime"
  "time"
)
func a() {
  for i := 1; i < 10; i++ {
    fmt.Println("A:", i)
  }
}
func b() {
  for i := 1; i < 10; i++ {
    fmt.Println("B:", i)
  }
}
func main() {
  runtime.GOMAXPROCS(2)
  go a()
  go b()
  time.Sleep(time.Second)
}
// 返回结果
//B: 1
//B: 2
//B: 3
//B: 4
//B: 5
//B: 6
//B: 7
//B: 8
//B: 9
//A: 1
//A: 2
//A: 3
//A: 4
//A: 5
//A: 6
//A: 7
//A: 8
//A: 9
//
//Process finished with exit code 0


Go语言中的操作系统线程和goroutine的关系:

  • 1.一个操作系统线程对应用户态多个goroutine。
  • 2.go程序可以同时使用多个操作系统线程。
  • 3.goroutine和OS线程是多对多的关系,即m:n。



相关文章
|
4月前
|
Go 开发者
Go语言包的组织与导入 -《Go语言实战指南》
本章详细介绍了Go语言中的包(Package)概念及其使用方法。包是实现代码模块化、复用性和可维护性的核心单位,内容涵盖包的基本定义、命名规则、组织结构以及导入方式。通过示例说明了如何创建和调用包,并深入讲解了`go.mod`文件对包路径的管理。此外,还提供了多种导入技巧,如别名导入、匿名导入等,帮助开发者优化代码结构与可读性。最后以表格形式总结了关键点,便于快速回顾和应用。
214 61
|
16天前
|
Java 编译器 Go
【Golang】(1)Go的运行流程步骤与包的概念
初次上手Go语言!先来了解它的运行流程吧! 在Go中对包的概念又有怎样不同的见解呢?
54 4
|
3月前
|
JSON 中间件 Go
Go语言实战指南 —— Go中的反射机制:reflect 包使用
Go语言中的反射机制通过`reflect`包实现,允许程序在运行时动态检查变量类型、获取或设置值、调用方法等。它适用于初中级开发者深入理解Go的动态能力,帮助构建通用工具、中间件和ORM系统等。
266 63
|
4月前
|
存储 Go API
如何在 Go 中获取 goroutine 的 ID?
在 Go 语言中,Goroutine 是轻量级线程,但官方未提供直接获取 Goroutine ID 的 API,以避免开发者依赖其进行复杂操作。然而,在调试和日志跟踪时,获取 Goroutine ID 可能很有帮助。本文介绍了通过 `runtime.Stack` 解析调用栈信息提取 Goroutine ID 的方法,尽管性能较低,适合调试场景。同时推荐使用第三方包 `github.com/petermattis/goid`,它通过 C 和汇编实现更高效地获取 Goroutine ID。需要注意的是,Goroutine ID 不应用于业务逻辑,而应关注 Goroutine 行为与通道通信。
163 11
如何在 Go 中获取 goroutine 的 ID?
|
2月前
|
缓存 监控 安全
告别缓存击穿!Go 语言中的防并发神器:singleflight 包深度解析
在高并发场景中,多个请求同时访问同一资源易导致缓存击穿、数据库压力过大。Go 语言提供的 `singleflight` 包可将相同 key 的请求合并,仅执行一次实际操作,其余请求共享结果,有效降低系统负载。本文详解其原理、实现及典型应用场景,并附示例代码,助你掌握高并发优化技巧。
250 0
|
2月前
|
数据采集 消息中间件 编解码
Go语言实战案例:使用 Goroutine 并发打印
本文通过简单案例讲解 Go 语言核心并发模型 Goroutine,涵盖协程启动、输出控制、主程序退出机制,并结合 sync.WaitGroup 实现并发任务同步,帮助理解 Go 并发设计思想与实际应用。
|
4月前
|
数据采集 安全 Go
Go 语言并发编程基础:Goroutine 的创建与调度
Go 语言的 Goroutine 是轻量级线程,由 runtime 管理,具有启动快、占用小、支持高并发的特点。本章介绍 Goroutine 的基本概念、创建方式(如使用 `go` 关键字或匿名函数)、M:N 调度模型及其工作流程,并探讨其在高并发场景中的应用,帮助理解其高效并发的优势。
|
5月前
|
Go 持续交付 开发者
Go语言包与模块(module)的基本使用-《Go语言实战指南》
本章深入讲解Go语言中的包(Package)和模块(Module)概念。包是代码组织的最小单位,每个`.go`文件属于一个包,通过`import`实现复用;主程序包需命名为`main`。模块是Go 1.11引入的依赖管理机制,支持自动版本管理和私有/远程仓库,无需依赖GOPATH。通过实际示例,如自定义包`mathutil`和第三方模块`gin`的引入,展示其使用方法。常用命令包括`go mod init`、`go mod tidy`等,帮助开发者高效管理项目依赖。最后总结,包负责功能划分,模块实现现代化依赖管理,提升团队协作效率。
233 15
|
6月前
|
SQL 监控 Go
新一代 Cron-Job分布式调度平台,v1.0.8版本发布,支持Go执行器SDK!
现代化的Cron-Job分布式任务调度平台,支持Go语言执行器SDK,多项核心优势优于其他调度平台。
112 8
|
9月前
|
Go 数据库
Go语言中的包(package)是如何组织的?
在Go语言中,包是代码组织和管理的基本单元,用于集合相关函数、类型和变量,便于复用和维护。包通过目录结构、文件命名、初始化函数(`init`)及导出规则来管理命名空间和依赖关系。合理的包组织能提高代码的可读性、可维护性和可复用性,减少耦合度。例如,`stringutils`包提供字符串处理函数,主程序导入使用这些函数,使代码结构清晰易懂。
329 11

热门文章

最新文章