Go语言GC:吞吐量和延迟的博弈

简介: Go语言GC:吞吐量和延迟的博弈

/ 深入剖析 Go 语言垃圾回收及 SetFinalizer 用法 /


 

一、概述

Go 语言采用垃圾回收机制来自动回收无用的变量内存。本文将详细介绍 Go 语言垃圾回收的工作原理、分类算法以及 SetFinalizer 函数的用法。

主要内容包括:

  • Go 语言内存管理
  • 垃圾回收基本原理
  • 可达性分析算法
  • 生成式垃圾回收
  • 三色标记算法
  • 并发垃圾回收
  • SetFinalizer 函数
  • finalize 函数语义
  • 使用实例:关闭文件
  • 延迟回收对象
  • 定时触发 finalize
  • 优化内存占用
  • 扩展阅读-调优参数
  • 垃圾回收不足之处

通过本文可以深入理解 Go 的垃圾回收机制,并使用 SetFinalizer 优雅地管理资源。


 

二、Go 语言内存管理

Go 语言中的内存分配主要分为两种:

  • 栈内存:存放值类型对象
  • 堆内存:存放引用类型对象

使用内存后需要回收,Go 语言采用自动垃圾回收机制管理堆内存。


 

三、垃圾回收基本原理

Go 语言的垃圾回收器会定期执行标记-清除算法来回收无用对象占用的内存。

工作原理可以简化为以下几个步骤:

  1. 垃圾回收开始时,暂停所有 goroutine
  2. 标记所有正在使用的对象
  3. 清除所有没有标记的对象
  4. 回收这些对象的内存
  5. 垃圾回收结束,恢复 goroutine

这种“标记-清除”实现了高效自动的内存回收。


 

四、可达性分析算法

具体的“标记”阶段,垃圾回收器使用可达性分析算法:

从 GC Roots 对象开始作为起点,从这些节点开始遍历和搜索,所有被遍历到的对象就是正在使用的活动对象,而没有被遍历到的对象将被判定为要回收的目标。

a := Object{}
b := Object{}
a.b = &b

这里 a 和 b 互相引用,都可达,不会被回收。

但如果:

a := Object{}
b := Object{} 
a.b = &b
a = nil

将 a 设置为 nil 后,b 变为不可达,在 GC 时可以被回收。


 

五、生成式垃圾回收

Go 语言采用了生成式的垃圾回收方法。

在这种方法下,对象内存分为两种:

  • 从旧对象分配的内存称为黑色对象
  • 新分配内存称为白色对象

在垃圾回收时,只有白色对象可能被回收,黑色对象一定存活。

这样可以简化标记过程,提高回收效率。


 

六、三色标记算法

具体的可达性分析采用三色标记算法实现,对象标记为三种颜色:

  • 白色:对象未被标记的候选对象
  • 灰色:访问过的临时对象
  • 黑色:被标记的活跃对象

标记过程采用灰度推进,直到没有白色对象后结束。


 

七、并发垃圾回收

Go 语言从 1.5 版本开始,采用并发标记的方法,可以一边执行应用程序,一边进行标记回收。

并发回收的关键是写屏障技术,通过卡屏可达性分析,然后解除屏障恢复程序执行。

并发垃圾回收减少了应用程序的暂停时间。


 

八、SetFinalizer 函数

Go 语言还提供了 SetFinalizer 来指定对象被回收时的回调函数:

将 a 设置为 nil 后,b 变为不可达,在 GC 时可以被回收。
五、生成式垃圾回收
Go 语言采用了生成式的垃圾回收方法。
在这种方法下,对象内存分为两种:
从旧对象分配的内存称为黑色对象
新分配内存称为白色对象
在垃圾回收时,只有白色对象可能被回收,黑色对象一定存活。
这样可以简化标记过程,提高回收效率。
六、三色标记算法
具体的可达性分析采用三色标记算法实现,对象标记为三种颜色:
白色:对象未被标记的候选对象
灰色:访问过的临时对象
黑色:被标记的活跃对象
标记过程采用灰度推进,直到没有白色对象后结束。
七、并发垃圾回收
Go 语言从 1.5 版本开始,采用并发标记的方法,可以一边执行应用程序,一边进行标记回收。
并发回收的关键是写屏障技术,通过卡屏可达性分析,然后解除屏障恢复程序执行。
并发垃圾回收减少了应用程序的暂停时间。
八、SetFinalizer 函数
Go 语言还提供了 SetFinalizer 来指定对象被回收时的回调函数:

当 file 对象被回收时,会调用关闭文件回调。


 

九、finalize 函数语义

需要注意的是,finalize 函数只用来触发清理操作,而不能阻止对象被回收。

也不能依靠它来完成关键逻辑,GC 时间不定时。

正确的语义应该是:

func (obj *Object) finalize() {
  // 清理资源
  closeFile()
  // 重要的数据已同步其他地方
}


只完成清理工作,关键数据不依赖 finalize。


 

十、使用实例:关闭文件

关闭文件是一个常见的使用场景:

// 打开文件
f, _ := os.Open("test.txt")
// 注册finalizer
runtime.SetFinalizer(f, func(f *os.File) {
  fmt.Println("Closing file")
  f.Close() // 关闭文件
})
// 使用文件
buf := make([]byte, 10)
f.Read(buf)
// f会在GC时自动关闭

文件关闭不依赖 GC 时机,只是清理工作。


 

十一、延迟回收对象

使用 finalizer 时,对象回收会延迟,只有触发了 finalize 函数后才会回收对象:

type Obj struct{} 
func (o *Obj) Close() {
  fmt.Println("Closing Obj")
}
obj := &Obj{}
runtime.SetFinalizer(obj, func(obj *Obj) {
  obj.Close() // 执行关闭  
})
// 保证obj不被优先回收
runtime.KeepAlive(obj)

obj 会在 finalize 后才被回收,KeepAlive 使得 obj 不被提前回收


 

十二、定时触发 finalize

也可以通过定时器强制周期性触发 finalize,不依赖 GC:

timer := time.NewTimer(time.Second * 60)
for range timer.C {
  runtime.GC() // 主动触发GC
}


定时 GC 调用,可以定期触发 finalize。


 

十三、优化内存占用

合理使用 finalizer 可以及时释放资源,优化内存占用。具体做法包括:

  • 为打开的文件资源、网络连接等注册 finalizer,使其被 GC 时自动关闭和释放

  • 将不再使用的大对象显式设置为 nil,使其可被 GC 回收

  • 及时关闭不再使用的通道,避免 goroutine 泄露和通道阻塞

  • 调整 GC 频率,降低内存占用峰值

  • 减少变量作用域,及时释放不再使用的内存

这样可以尽快释放不再需要的内存,减轻 GC 压力,有效控制内存占用。


 

十四、调优 GC 参数

Go 语言提供了调整 GC 参数的方式,主要包括:

  • GOGC: GC 频率的设置,比如 GOGC=800 将触发更频繁的 GC

  • GOMAXPROCS: 并行 GC 使用的 CPU 数,默认逻辑 CPU 数

  • GCTimeThreshold: GC 的暂停时间阈值,超过阈值强制并行 GC

但建议不要随意修改这些参数,只有在测量和定位明确的性能问题后才调整。


 

十五、垃圾回收不足

Go 当前 GC 主要存在以下不足:

  • 停顿时间不可控,对延迟敏感服务不友好

  • 法收回已分配但未使用的内存

  • 算法优化空间还很大,比如延迟回收等

  • 对大对象垃圾回收不够高效

这需要通过改进算法、应用层优化来不断改善。但总体上 Go GC 对大多数应用已经足够高效。


 

十六、总结

Go 语言的垃圾回收具备高效的并发标记回收特性。但也需要注意它的不足之处。

利用 SetFinalizer 可以更精细地释放资源。理解 GC 工作原理可以帮助更好地分配和管理内存。



目录
相关文章
|
19小时前
|
安全 测试技术 数据库连接
使用Go语言进行并发编程
【5月更文挑战第15天】Go语言以其简洁语法和强大的并发原语(goroutines、channels)成为并发编程的理想选择。Goroutines是轻量级线程,由Go运行时管理。Channels作为goroutine间的通信机制,确保安全的数据交换。在编写并发程序时,应遵循如通过通信共享内存、使用`sync`包同步、避免全局变量等最佳实践。理解并发与并行的区别,有效管理goroutine生命周期,并编写测试用例以确保代码的正确性,都是成功进行Go语言并发编程的关键。
|
19小时前
|
数据采集 监控 Java
Go语言并发编程:Goroutines和Channels的详细指南
Go语言并发编程:Goroutines和Channels的详细指南
10 3
|
19小时前
|
数据采集 人工智能 搜索推荐
快速入门:利用Go语言下载Amazon商品信息的步骤详解
本文探讨了使用Go语言和代理IP技术构建高效Amazon商品信息爬虫的方法。Go语言因其简洁语法、快速编译、并发支持和丰富标准库成为理想的爬虫开发语言。文章介绍了电商网站的发展趋势,如个性化推荐、移动端优化和跨境电商。步骤包括设置代理IP、编写爬虫代码和实现多线程采集。提供的Go代码示例展示了如何配置代理、发送请求及使用goroutine进行多线程采集。注意需根据实际情况调整代理服务和商品URL。
快速入门:利用Go语言下载Amazon商品信息的步骤详解
|
19小时前
|
存储 编译器 Go
Go语言学习12-数据的使用
【5月更文挑战第5天】本篇 Huazie 向大家介绍 Go 语言数据的使用,包含赋值语句、常量与变量、可比性与有序性
40 6
Go语言学习12-数据的使用
|
19小时前
|
Java Go
一文带你速通go语言指针
Go语言指针入门指南:简述指针用于提升效率,通过地址操作变量。文章作者sharkChili是Java/CSDN专家,维护Java Guide项目。文中介绍指针声明、取值,展示如何通过指针修改变量值及在函数中的应用。通过实例解析如何使用指针优化函数,以实现对原变量的直接修改。作者还邀请读者加入交流群深入探讨,并鼓励关注其公众号“写代码的SharkChili”。
14 0
|
19小时前
|
存储 缓存 Java
来聊聊go语言的hashMap
本文介绍了Go语言中的`map`与Java的不同设计思想。作者`sharkChili`是一名Java和Go开发者,同时也是CSDN博客专家及JavaGuide项目的维护者。文章探讨了Go语言`map`的数据结构,包括`count`、`buckets指针`和`bmap`,解释了键值对的存储方式,如何利用内存对齐优化空间使用,并展示了`map`的初始化、插入键值对以及查找数据的源码过程。此外,作者还分享了如何通过汇编查看`map`操作,并鼓励读者深入研究Go的哈希冲突解决和源码。最后,作者提供了一个交流群,供读者讨论相关话题。
16 0
|
19小时前
|
Java Go
Go语言学习11-数据初始化
【5月更文挑战第3天】本篇带大家通过内建函数 new 和 make 了解Go语言的数据初始化过程
19 1
Go语言学习11-数据初始化
|
19小时前
|
自然语言处理 安全 Java
速通Go语言编译过程
Go语言编译过程详解:从词法分析(生成token)到句法分析(构建语法树),再到语义分析(类型检查、推断、匹配及函数内联)、生成中间码(SSA)和汇编码。最后,通过链接生成可执行文件。作者sharkchili,CSDN Java博客专家,分享技术细节,邀请读者加入交流群。
24 2
|
19小时前
|
Java Linux Go
一文带你速通Go语言基础语法
本文是关于Go语言的入门介绍,作者因其简洁高效的特性对Go语言情有独钟。文章首先概述了Go语言的优势,包括快速上手、并发编程简单、设计简洁且功能强大,以及丰富的标准库。接着,文章通过示例展示了如何编写和运行Go代码,包括声明包、导入包和输出语句。此外,还介绍了Go的语法基础,如变量类型(数字、字符串、布尔和复数)、变量赋值、类型转换和默认值。文章还涉及条件分支(if和switch)和循环结构(for)。最后,简要提到了Go函数的定义和多返回值特性,以及一些常见的Go命令。作者计划在后续文章中进一步探讨Go语言的其他方面。
13 0
|
19小时前
|
JavaScript 前端开发 Go
Go语言的入门学习
【4月更文挑战第7天】Go语言,通常称为Golang,是由Google设计并开发的一种编程语言,它于2009年公开发布。Go的设计团队主要包括Robert Griesemer、Rob Pike和Ken Thompson,这三位都是计算机科学和软件工程领域的杰出人物。
15 1

热门文章

最新文章

相关实验场景

更多