Python的垃圾回收把我坑惨了,原来引用计数和gc的区别这么大

简介: 本文深入剖析Python内存管理的双层机制:引用计数(即时释放普通对象)与gc模块(周期性清理循环引用)。通过真实案例揭示内存缓慢增长的根源,厘清常见误区(如`__del__`、`gc.disable()`、`gc.collect()`误用),强调排查需先判断问题属于哪一层——是循环引用滞留,还是意外强引用泄漏。(239字)

小何那天接手了一个运行了半年的后台任务服务。这个服务一直在跑,但最近运维发现它的内存占用在缓慢爬升,从启动时的三百兆,一个月涨到了将近一个G。

小何的第一反应是“有对象没被释放”。他打开代码,找到几个创建了全局列表和字典的地方,在每个添加元素的操作后面,都手动补了一行del或者.pop(),试图把不再需要的对象清理掉。改完观察了几天,内存涨得慢了一点,但依然在涨。

他很困惑:我明明把能删的都删了,引用计数应该把这些对象都回收了才对,为什么内存还在涨?

他请同事帮忙看代码。同事没有直接看他的修改,而是问了一个问题:“你确定是引用计数没收干净,还是你根本没考虑到有些对象根本不会被引用计数回收?”

小何愣住了。他一直把“Python的垃圾回收”当成一个统一的东西,以为只要没有变量指向对象,对象就会被收走。但同事的话点醒了他:Python的回收机制其实是两层,引用计数负责绝大多数普通对象的及时释放,gc负责引用计数处理不了的循环引用。他删了外部引用,只解决了第一层的问题;如果对象之间形成了环,引用计数永远不会归零,必须等gc来清理。

而gc什么时候来、来不来清理他代码里的那些环,他从来没有关心过。

代理 IP 使用小技巧 让你的数据抓取效率翻倍 (24).png

先看一个最直观的对比

引用计数和gc的工作方式,可以用一段最简单的代码来感受。

import sys

# 引用计数:一个对象被创建,计数为1
a = []
print(sys.getrefcount(a))  # 通常显示 2(a 本身 + getrefcount 的临时参数)

# 再增加一个引用
b = a
print(sys.getrefcount(a))  # 3

# 删除一个引用
del b
print(sys.getrefcount(a))  # 2,回到 1 个真实引用

# 删除最后一个外部引用
del a
# 此时 [] 的引用计数归零,引用计数机制立即释放它

引用计数的行为是同步的、即时的。最后一个引用消失的那一刻,对象就被释放了,不需要等待任何“回收周期”。

而gc不是这样工作的。gc不关心“某个对象的引用计数是不是归零了”,它关心的是一组互相引用的对象,是否已经与外界断开,却因为彼此之间的引用而无法归零。

class Node:
   def __init__(self, name):
       self.name = name
       self.peer = None

# 创建两个节点,互相引用,形成环
x = Node("x")
y = Node("y")
x.peer = y
y.peer = x

# 删除所有外部引用
del x
del y

# 此时 x 和 y 的引用计数都不是 0:
# x.peer 还指着 y,y.peer 还指着 x
# 引用计数机制完全无能为力
# 它们只能等待 gc 来发现并清理这个环

引用计数面对这个环时,看到的是“每个对象都还有人引用”,于是永远不会释放它们。只有gc会专门去扫描这种“环”,判断整个环是否已经与外部世界无关,然后打破引用,释放对象。

用一个生活场景来理解。

引用计数像一个自动关灯系统:每个房间里的人离开时,如果房间里一个人都不剩了,灯立刻关掉。绝大多数情况下这很高效,人来灯亮,人走灯灭。

但这个系统有一个盲区:如果一群人互相手拉手站在房间里,每个人都觉得“我不是最后一个”,灯就永远不会关。即使他们已经和外面的世界完全断了联系,自动关灯系统也看不见他们,因为它只检查“房间里还有没有人”,而他们每个人都被别人拉着,所以“有人”。

gc就是那个定期巡逻的保安。他不看单个人,他看整个房间:这群人手拉手,但和外面没有任何连接,说明他们其实已经“走完了”,可以把他们一起请出去,灯也就关了。

区别一目了然:引用计数看的是单个对象的引用数是否归零,gc看的是一组对象是否整体上与外部失联。前者是常态化的即时清理,后者是针对特定结构(环)的补充扫描。

引用计数:主力,快,但不处理环

引用计数是CPython中最主要的内存回收机制。它的原理简单到可以用一句话概括:每个对象内部维护一个计数器,记录有多少个引用指向它;引用增加时计数加一,引用减少时计数减一;计数归零时,对象立即被释放。

这个“立即”是关键。你写del a,或者一个局部变量随着函数结束而离开作用域,或者一个容器被清空,只要某个对象的引用计数降到零,它的内存马上就被回收,不需要等待任何后台进程或扫描周期。

引用计数的优点是确定性和低延迟。你知道一个对象什么时候会死——最后一个引用消失的时候。对于绝大多数不涉及循环引用的代码,内存释放是即时的、可预测的。

但它有一个结构性的盲区:环。只要一组对象之间存在互相引用,每个对象的计数就至少为1(被环里的其他对象指着),引用计数永远不会看到零。即使这组对象已经与程序的其他部分完全断开,它们也会一直留在内存里。

引用计数不会去检测环,因为“检测环”需要全局视角,需要比较一组对象的引用关系,这和引用计数“每个对象独立维护一个数字”的设计是冲突的。所以CPython保留了引用计数作为主力,另外引入了一个专门处理环的回收器——这就是gc模块。

gc:专门处理循环垃圾,触发时机不由你控制

gc模块的文档写得很清楚:循环垃圾收集器是引用计数的补充。它的唯一目标是找出那些“不可达但引用计数不为零”的环,然后释放它们。

gc的工作方式是周期性的、基于阈值的。它不会在每次引用变化时都运行,而是根据分配和释放的差额来决定何时启动一轮收集。具体来说,CPython把对象分为三代,新对象在第0代。当“分配次数减去释放次数”超过一个阈值时,第0代收集被触发;第0代收集若干次后,触发第1代;第1代收集若干次后,触发第2代(全量收集)。

这个机制意味着:一个循环引用从形成到被gc回收,中间可能有相当长的延迟。 如果你的代码在一个高频循环里不断制造小的循环引用,它们会先累积在第0代,等阈值到了才被清理。如果你在某个时刻创建了一个巨大的循环引用结构,然后它变成了垃圾,gc不一定“立刻”知道,可能要等到下一次阈值触发才会去处理它。

这种延迟在大多数程序里是可以接受的,因为gc的扫描本身有成本,频繁运行会拖慢程序。分代回收的设计就是为了在“及时性”和“开销”之间取得平衡。

但当你遇到内存问题时,这个延迟会变成一个让人困惑的现象:你明明看到对象已经没用了,内存却没有立刻降下来。 这时候你需要判断:是引用计数本该释放但没有释放(说明有意外强引用),还是引用计数根本管不了(说明是环),需要手动触发gc或调整gc策略。

坑一:__del__ 与循环引用的组合

在Python 3.4之前,一个对象如果定义了__del__方法,并且参与了循环引用,gc会拒绝回收整个环。原因是解释器无法确定__del__的执行顺序是否安全——如果环里的对象互相依赖,先调用谁的__del__都可能出问题。这些对象会被放进gc.garbage列表,永远不会被释放。

PEP 442在Python 3.4中改变了这个行为:定义了__del__的对象现在可以在循环中被回收,终结器的调用顺序由gc控制,保证了安全性。但这并不意味着__del__ + 循环引用变得“完全安全”了。__del__的执行时机仍然是不确定的,它可能在gc扫描的某个时刻被调用,而不是在对象“应该”死掉的那一刻。如果你在__del__里依赖外部状态(比如日志器、数据库连接、全局配置),而这些状态可能已经被销毁,就会出问题。

一个更隐蔽的坑来自弱引用回调。weakref.ref(obj, callback)的回调函数如果是一个闭包,它会隐式持有闭包作用域里的对象,可能形成新的强引用链,把本该被回收的对象“拉回来”。这种情况下,你甚至没有显式写__del__,但效果类似:对象因为一个你以为很轻的弱引用回调而变得不可回收。

坑二:gc.disable() 的误用

gc文档中有一句很容易被断章取义的话:如果你确定程序不会产生循环引用,可以关闭收集器。

很多人看到“关闭gc可以提升性能”,就在高性能代码段里调用gc.disable(),然后忘记了重新启用。如果这段代码或它调用的库恰好创建了循环引用(这非常常见,闭包、异常对象、装饰器、某些数据结构都会无意中形成环),这些环就会永久泄漏。

gc.disable()的合理使用场景非常窄:你完全确定整个程序运行期间不会产生任何循环引用,或者你在一个极短的、可控的代码段里临时关闭gc,并用try/finally保证恢复。即便如此,更安全的做法是调整阈值(gc.set_threshold)而不是完全关闭。gc.disable()应该被视为一个需要严格论证的调试或极端优化手段,而不是常规的性能优化选项。

坑三:gc.collect() 返回值的含义

gc.collect()返回的是已回收对象和不可回收对象的总数。这个数字经常被误解为“释放了多少内存”。实际上它只是对象的个数,一个巨大的列表和一个小的整数都算一个对象,所以数字大不代表释放的内存多,数字小也不代表没有释放关键的大对象。

更重要的是,gc.collect()触发的是一轮完整的收集,它会遍历所有代。在高频调用的路径上频繁手动调用gc.collect(),会带来显著的性能开销。它适合用于调试、测试,或者在你知道一个大批循环垃圾刚刚形成、希望立即清理的特定时刻,而不是作为一种“内存管理”的常规手段。

那到底该怎么判断和排查?

面对内存增长问题,第一步不是急着del或者gc.collect(),而是判断是哪一层回收机制没有起作用。

如果内存增长是缓慢的、伴随特定操作反复出现的,先怀疑循环引用。用gc.get_referrers(obj)查看“谁在引用这个对象”。重点关注返回结果里的模块级字典、缓存列表、闭包函数和未结束的帧对象——这些是意外强引用的常见藏身之处。如果对象之间确实形成了环,而你又希望它们尽快释放,可以用weakref来打断其中一条边,让引用计数能够归零。

如果手动gc.collect()之后内存明显下降,说明问题主要是循环垃圾的累积。这时候需要审视代码中大量创建相互引用结构的地方(比如树形结构、双向链表、事件监听器注册),考虑是否可以用弱引用替代其中一方向的强引用,或者调整gc阈值来更积极地回收年轻代。

如果gc.collect()之后内存几乎不降,那问题很可能不在gc负责的范围内。可能是全局容器无限增长、缓存没有上限、C扩展分配的内存未被追踪,或者对象被一些“意外的全局持有者”(如装饰器注册表、线程局部存储、日志处理器)长期抓着不放。这时候需要回到引用计数的视角,用gc.get_referrers或tracemalloc去定位那个“抓住不放”的源头,而不是继续在gc上打转。

回到小何的问题

小何最终没有靠继续加del来解决。他用gc.get_referrers检查了那几个他认为“已经没人用”的对象,发现它们被一个模块级的_cache字典持有,而这个字典是在一个装饰器里闭包捕获的,从来没有清理逻辑。这是一个典型的意外强引用,引用计数和gc都救不了,因为对象始终有一条强引用链连到全局。

他把那个缓存改成了weakref.WeakValueDictionary,让缓存不再阻止对象被回收。同时,他在一个确实会形成循环引用的数据结构里,把其中一个方向的引用改成了weakref.ref。内存曲线在一周内趋于平稳。

他后来在笔记里写了一条:“引用计数负责归零即释放,是主力,快,但看不见环。gc负责专门找环,是补丁,有延迟,触发不由你控制。排查内存问题,先判断是哪一层没起作用:gc.collect()能降的是环的问题,降不了的是有意外强引用。__del__和循环引用的组合仍然需要小心,能不用__del__就不用,能用weakref打断环就用weakref。gc.disable()是个需要严格论证的危险操作,不要因为‘听说能提速’就随手关掉。”

引用计数和gc的区别,本质上是一个分工问题:一个管日常的、即时的、单对象的释放;一个管特殊的、延迟的、成环的清理。它们不是同一个功能的两套实现,而是一套系统的两层防线。理解它们的边界,比记住任何一个API都更重要。

目录
相关文章
|
17天前
|
Linux 开发工具 iOS开发
Codex保姆级教程(下载+安装+登录+使用,含所有版本,2026最新)
Codex是OpenAI推出的开源AI编程智能体,本地运行,可理解整个代码库,支持自然语言指令改代码、执行命令、跑测试、修Bug,兼容Win/macOS/Linux。(239字)
7119 54
|
4天前
|
JSON 前端开发 API
阿里云最新Qwen4-Max大模型介绍:模型定位、特征、能力、适用场景解析
2026 年 11 月 11 日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问 AI 平台 Token Plan,并同步接入千问办公、Qoder 等入口。该版本聚焦知识理解、世界感知、编程与 Agentic 四项升级,主打复杂编程、专业办公、前端设计与专业软件操作。预览期至 11 月 25 日 24:00,到期后模型标识下线;限时 2 折、新用户再享 5 折,最低 1 折可体验。
|
5天前
|
云安全 人工智能 安全
|
17天前
|
JavaScript API iOS开发
DeepSeek Harness下载、安装、配置一篇搞定(2026整理,送常用插件)
DeepSeek Harness(DSH)是DeepSeek于2026年开源的MIT协议AI Agent框架,支持插件化组装模型、工具、沙箱与UI,兼容主流大模型。本文提供免Node.js的桌面端安装包(Win/macOS),含详细图文教程及热门插件推荐。
5503 65
|
12天前
|
Linux 开发工具 iOS开发
2026最新codex下载安装保姆级使用教程(下载+安装+登录+使用,含所有历史版本)
本文详解OpenAI Codex国内快速上手指南:提供Win/macOS/Linux全平台免安装包、npm/Homebrew等多方式安装、账号/API Key双登录、简体中文切换,覆盖下载、安装、汉化、使用及高频避坑(如微软商店失败、npm超时等),10分钟即可跑通。
2774 9
|
4天前
|
人工智能 前端开发 API
阿里云Qwen4-Max 大模型详解:定位、特征、能力、适用场景与相对Qwen3-Max差异解析
2026年11月11日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问AI平台Token Plan并接入千问办公、Qoder等入口。该版本聚焦知识理解、世界感知、编程与Agentic四项升级,主打复杂编程、专业办公、前端设计与专业软件操作等真实任务。预览期为11月11日10:00至11月25日24:00,仅支持Token Plan调用,到期后模型标识下线;限时2折、新用户再享5折,最低1折可体验。
|
10天前
|
人工智能 安全 API
DeepSeek Harness下载、安装、配置一篇搞定(2026整理,送常用插件)
DeepSeek Harness(dsh)是DeepSeek AI于2026年开源的轻量级Agent运行框架,基于Cordis内核,践行“一切皆插件”理念。支持Web/桌面双端,开箱即用;内置多模型接入、丰富插件生态(超3.5万),适配编程、办公、创作等场景。(239字)
1794 1
|
2天前
|
弹性计算 人工智能 API
Codex超详细入门指南(下载·安装·登录·上手,全版本覆盖,2026最新版)
建议收藏本教程,2026 全年各版本更新随时回来查阅。如果你在搭建过程中遇到任何问题,欢迎结合 阿里云工单系统 提交技术支持请求,或在 阿里云开发者社区 搜索 Codex 相关话题交流。 祝你编码愉快,效率翻倍!
1237 0
|
8天前
|
人工智能 iOS开发 开发者
2026年 Codex 下载地址更新:codexdown.cn 已更换为 codexdown.cc(附 Codex 客户端下载)
2026年Codex官方下载站已由codexdown.cn正式迁移至codexdown.cc,提供Windows/macOS最新客户端、历史版本、安装教程及配置指南,开发者可一站式获取稳定、安全、签名验证的AI编程工具资源。(239字)
1657 0