惊呆了,我的 Python 代码里面出现了薛定谔的 Bug

简介: 惊呆了,我的 Python 代码里面出现了薛定谔的 Bug

摄影:产品经理跟产品经理从花鸟市场淘回来的小花花

GNE: 新闻网页正文通用抽取器[1]更新了0.2.1版本,大幅度提高了正文的提取速度。在开发这个版本的时候,我遇到了一个非常奇怪的 Bug,最终发现是由于垃圾回收机制和内存重用机制导致的。今天我们来看看这个问题。

问题背景

先来看一段代码:

图1

这段代码读取tests/163/9.html这个文件里面的 HTML 代码,分别获取 <body> 下面的所有标签内部的所有<a>标签中的文本。说起来可能有点绕口,我举个例子。


<body>    <div>        <a href="/xx">你好</a>    </div>    <h2>        <a>世界</a>    </h2></body>

分别获取<div>标签和<h2>标签下面的<a>标签中的文本,也就是你好世界

但这段代码有个问题,就是对于嵌套结构的标签,会重复提取。例如:


<body>    <div>        <h2>            <a href="/xx">你好</a>        </h2>    </div></body>

首先,获取<div>标签下面的<a>标签,获取到的是你好所在的<a>标签。但是,获取<h2>标签下面的<a>标签时,获取的仍然是同一个<a>标签。

这样一来,在上图代码里面第15-20行就会重复执行两次。

为了提高代码的运行效率,我们引入缓存,记录每一个<a>标签的分析结果,如果发现一个<a>标签已经被分析了,就直接使用缓存的结果,避免重复分析。

于是,代码修改成下面这样:

图2

代码第18行的str(element)对应了这个节点的内存地址,如下图所示:

图3

这段代码看起来似乎没有什么问题,但在实际提取数据的时候,发现提取的结果不太正常。

薛定谔的 Element

为了调试这个问题,我对代码做了一下修改:

图4

可以看到,同一个 HTML 标签,之前缓存的结果竟然跟新提取的不一样。

于是,我想看看每次提取的时候,对应的 element 是哪个,但却发生了更诡异的事情,我们做一个看起来对代码不会有任何影响的改动:

图5

图4里面,我们直接把element_text_list缓存起来。图5里面,我们把[element_text_list, element]缓存起来,读取的时候,读取这个列表的下标为0的元素。也就是说,这个缓存的element我们根本不使用。

但奇怪的事情就这样发生了,问题消失了!在图4大量打印的同一个标签,缓存的数据跟提取的数据不一致!,在图5里面却一条都没有打印。这样修改以后,GNE 的提取的结果就正确了。

但为什么会发生这种事情呢?难道说跟缓存的结果有关系?那么我们把列表里面的 element改成其他数据看看:

图6

仅仅是把element改成了数字1,Bug 又出现了。

它似乎知道我在试图去观察它,当我尝试用代码去观察 element时,它就一切正常。当我不观察它时,它就会出问题。薛定谔的 element

看不见的手

遇事不决,量子力学。这个问题跟量子力学实际上没有关系。导致这个诡异情况发生的原因,是一个一直运行在 Python 里面,但是你常常忽略的机制——垃圾回收。

Python 会把不再使用的对象清理掉,从而释放内存。当我们执行一个 for 循环时:


for element in element_list:    a = element.xpath('//xxx')    b = element.xpath('.//text()')    c = 1 + 1

循环第一次执行的时候,生成第一个element对象,但是这个对象在循环第二次执行的时候就被新的element对象覆盖了。因为没有其他地方继续使用第一个 element 对象,它的引用计数归零,Python 的垃圾回收机制就会把它清理掉。它占用的内存空间也会被释放出来。

但如果换一种写法:


cache = []for element in element_list:    a = element.xpath('//xxx')    b = element.xpath('.//text()')    c = 1 + 1    cache.append(element)

由于列表cache中包含了对每个 element 对象的引用,导致第一次循环生成的element对象的引用计数不为0,垃圾回收机制不会回收它,它始终占用了一块内存区域。这块区域不会被其他数据使用。那么每次循环,新的element对象都会新申请一块内存区域来存放数据,于是就等价于每一个不同的 element 节点对应了不同的内存地址。

在示例代码里面,大家注意element_flag = str(element)这一行,它的值类似于<Element a at 0x1087ba638>,这里的十六进制数字0x1087ba638对应了这个对象在内存里面的地址。

一开始,我有一个不正确的假设,我以为str(element)的值,对应的 HTML 里面的每个节点。同一个节点,多次执行,结果都一样,不同的节点,多次执行,结果都不一样。

但实际上这是不正确的。因为如果前一个节点的内存区域被垃圾回收了,那么这个区域会被重新分配,新来的节点可能碰巧会放到这个地方,这就导致两个不同的 <a> 标签,当你执行str(element)时,他们打印出来的结果都是相同的。但是实际上他们的正文不一样。

而当我使用element_text_cache[element_flag] = [element_text_list, element]时,由于每个element对象不会被回收,于是就不会出现不同的节点互相覆盖的问题,所以它的工作就符合了预期。

解决问题

所以,bug 的根本原因在于,我不应该使用str(element)作为缓存的 Key,应该找一个跟 HTML 节点一一对应的东西来作为 Key。显然,使用 XPath 更好。

于是,修改代码,把element_flag改成 XPath:

图7

问题得以解决。

目录
相关文章
|
2天前
|
缓存 开发者 Python
探索Python中的装饰器:简化和增强你的代码
【10月更文挑战第32天】 在编程的世界中,简洁和效率是永恒的追求。Python提供了一种强大工具——装饰器,它允许我们以声明式的方式修改函数的行为。本文将深入探讨装饰器的概念、用法及其在实际应用中的优势。通过实际代码示例,我们不仅理解装饰器的工作方式,还能学会如何自定义装饰器来满足特定需求。无论你是初学者还是有经验的开发者,这篇文章都将为你揭示装饰器的神秘面纱,并展示如何利用它们简化和增强你的代码库。
|
3天前
|
机器学习/深度学习 自然语言处理 API
如何使用阿里云的语音合成服务(TTS)将文本转换为语音?本文详细介绍了从注册账号、获取密钥到编写Python代码调用TTS服务的全过程
如何使用阿里云的语音合成服务(TTS)将文本转换为语音?本文详细介绍了从注册账号、获取密钥到编写Python代码调用TTS服务的全过程。通过简单的代码示例,展示如何将文本转换为自然流畅的语音,适用于有声阅读、智能客服等场景。
20 3
|
5天前
|
设计模式 缓存 测试技术
Python中的装饰器:功能增强与代码复用的艺术####
本文将深入探讨Python中装饰器的概念、用途及实现方式,通过实例演示其如何为函数或方法添加新功能而不影响原有代码结构,从而提升代码的可读性和可维护性。我们将从基础定义出发,逐步深入到高级应用,揭示装饰器在提高代码复用性方面的强大能力。 ####
|
3天前
|
算法 IDE API
Python编码规范与代码可读性提升策略####
本文探讨了Python编码规范的重要性,并深入分析了如何通过遵循PEP 8等标准来提高代码的可读性和可维护性。文章首先概述了Python编码规范的基本要求,包括命名约定、缩进风格、注释使用等,接着详细阐述了这些规范如何影响代码的理解和维护。此外,文章还提供了一些实用的技巧和建议,帮助开发者在日常开发中更好地应用这些规范,从而编写出更加清晰、简洁且易于理解的Python代码。 ####
|
6天前
|
缓存 测试技术 数据安全/隐私保护
探索Python中的装饰器:简化代码,增强功能
【10月更文挑战第29天】本文通过深入浅出的方式,探讨了Python装饰器的概念、使用场景和实现方法。文章不仅介绍了装饰器的基本知识,还通过实例展示了如何利用装饰器优化代码结构,提高代码的可读性和重用性。适合初学者和有一定经验的开发者阅读,旨在帮助读者更好地理解和应用装饰器,提升编程效率。
|
13天前
|
开发者 Python
探索Python中的装饰器:简化代码,增强功能
【10月更文挑战第22天】在Python的世界里,装饰器是一个强大的工具,它能够让我们以简洁的方式修改函数的行为,增加额外的功能而不需要重写原有代码。本文将带你了解装饰器的基本概念,并通过实例展示如何一步步构建自己的装饰器,从而让你的代码更加高效、易于维护。
|
10天前
|
算法 测试技术 开发者
在Python开发中,性能优化和代码审查至关重要。性能优化通过改进代码结构和算法提高程序运行速度,减少资源消耗
在Python开发中,性能优化和代码审查至关重要。性能优化通过改进代码结构和算法提高程序运行速度,减少资源消耗;代码审查通过检查源代码发现潜在问题,提高代码质量和团队协作效率。本文介绍了一些实用的技巧和工具,帮助开发者提升开发效率。
14 3
|
14天前
|
开发框架 Python
探索Python中的装饰器:简化代码,增强功能
【10月更文挑战第20天】在编程的海洋中,简洁与强大是航行的双桨。Python的装饰器,这一高级特性,恰似海风助力,让代码更优雅、功能更强大。本文将带你领略装饰器的奥秘,从基础概念到实际应用,一步步深入其内涵与意义。
|
12天前
|
机器学习/深度学习 缓存 数据挖掘
Python性能优化:提升你的代码效率
【10月更文挑战第22天】 Python性能优化:提升你的代码效率
12 1
|
6天前
|
测试技术 API 数据安全/隐私保护
Python连接到Jira实例、登录、查询、修改和创建bug
通过使用Python和Jira的REST API,可以方便地连接到Jira实例并进行各种操作,包括查询、修改和创建Bug。`jira`库提供了简洁的接口,使得这些操作变得简单易行。无论是自动化测试还是开发工作流的集成,这些方法都可以极大地提高效率和准确性。希望通过本文的介绍,您能够更好地理解和应用这些技术。
32 0

热门文章

最新文章