为什么PyMySQL获取一条数据会让内存爆炸

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 RDS PostgreSQL,集群系列 2核4GB
简介: 为什么PyMySQL获取一条数据会让内存爆炸

摄影:产品经理产品经理做的萝卜牛腩

当Python 有读写 MySQL 数据的需求时,我们经常使用PyMySQL这个第三方库来完成。

有时候如果一张表里面的数据非常大,但是我们只需要读取一条数据,此时我们可能会想当然地使用cursor.fetchone()这个方法,以为这样就真的可以只读取一条数据:

import pymysql
connection = pymysql.connect(host='localhost',
                             user='user',
                             password='passwd',
                             db='db',
                             charset='utf8mb4',
                             cursorclass=pymysql.cursors.DictCursor)
with connection.cursor() as cursor:
    db = 'select * from users where age > 10'
    cursor.execute(db)
    one_user = cursor.fetchone()

但实际上,上面这段代码,与下面这段代码没有任何区别:

...
with connection.cursor() as cursor:
    sql = 'select * from users where age > 10'
    cursor.execute(sql)
    all_users = cursor.fetchall()
    one_user = all_users[0]

这是因为,当我们执行到cursor.execute(sql)的时候,PyMySQL就已经把表里面所有的数据读取到内存中了。而后面的cursor.fetchall()或者cursor.fetchone()只不过是从内存中返回全部数据还是返回1条数据而已。

我们来看PyMySQL源代码[1]。在cursor.execute()方法代码如下图所示:

其中第163行调用了self._query方法。我们再去到这个方法里面:

看到代码第322行,调用了self._do_get_result()方法。我们再去这个方法里面看看:

注意代码第342行,此时已经把所有数据存放到了self._rows列表中。

现在我们来看cursor.fetchone()方法:

可以看到,这里不过是从列表里面根据下标读取一条数据出来而已。

再看cursor.fetchall()方法:

如果之前先多次调用过cursor.fetchone(),那么self.rownumber会持续增加。而调用cursor.fetchall()时,跳过之前已经返回过的数据,直接返回剩下的全部数据即可。如果之前没有调用过cursor.fetchone(),那么直接返回全部数据。

所以,单纯使用cursor.fetchone()并不能节省内存,如果表里面的数据非常大,还是会有内存爆炸的危险。

那么真正的解决办法是什么呢?真正的解决办法在创建数据库连接的时候指定游标类型。pymysql.connect有一个参数叫做cursorclass,把它的值设定为pymysql.SSDictCursor即可解决问题。

我们来看一下如何正确使用它:

import pymysql
connection = pymysql.connect(host='localhost',
                             user='user',
                             password='passwd',
                             db='db',
                             charset='utf8mb4',
                             cursorclass=pymysql.cursors.SSDictCursor)
with connection.cursor() as cursor:
    db = 'select * from users where age > 10'
    cursor.execute(db)
    for row in cursor:
        print('对 cursor 直接进行迭代,每循环一次,从数据库读取一条数据。不会提前把所有数据读取到内存中。')
        print(row['name'])
相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
2月前
|
存储 编译器 数据处理
C 语言结构体与位域:高效数据组织与内存优化
C语言中的结构体与位域是实现高效数据组织和内存优化的重要工具。结构体允许将不同类型的数据组合成一个整体,而位域则进一步允许对结构体成员的位进行精细控制,以节省内存空间。两者结合使用,可在嵌入式系统等资源受限环境中发挥巨大作用。
74 11
|
3月前
|
监控 算法 应用服务中间件
“四两拨千斤” —— 1.2MB 数据如何吃掉 10GB 内存
一个特殊请求引发服务器内存用量暴涨进而导致进程 OOM 的惨案。
|
3月前
|
存储 C语言
数据在内存中的存储方式
本文介绍了计算机中整数和浮点数的存储方式,包括整数的原码、反码、补码,以及浮点数的IEEE754标准存储格式。同时,探讨了大小端字节序的概念及其判断方法,通过实例代码展示了这些概念的实际应用。
155 1
|
3月前
|
存储
共用体在内存中如何存储数据
共用体(Union)在内存中为所有成员分配同一段内存空间,大小等于最大成员所需的空间。这意味着所有成员共享同一块内存,但同一时间只能存储其中一个成员的数据,无法同时保存多个成员的值。
|
3月前
|
监控 Java easyexcel
面试官:POI大量数据读取内存溢出?如何解决?
【10月更文挑战第14天】 在处理大量数据时,使用Apache POI库读取Excel文件可能会导致内存溢出的问题。这是因为POI在读取Excel文件时,会将整个文档加载到内存中,如果文件过大,就会消耗大量内存。以下是一些解决这一问题的策略:
366 1
|
3月前
|
缓存 安全 Java
使用 Java 内存模型解决多线程中的数据竞争问题
【10月更文挑战第11天】在 Java 多线程编程中,数据竞争是一个常见问题。通过使用 `synchronized` 关键字、`volatile` 关键字、原子类、显式锁、避免共享可变数据、合理设计数据结构、遵循线程安全原则和使用线程池等方法,可以有效解决数据竞争问题,确保程序的正确性和稳定性。
66 2
|
3月前
|
存储 编译器
数据在内存中的存储
数据在内存中的存储
47 4
|
3月前
|
存储 机器学习/深度学习 人工智能
数据在内存中的存储
数据在内存中的存储
|
3月前
|
存储 C语言
深入C语言内存:数据在内存中的存储
深入C语言内存:数据在内存中的存储
|
4月前
|
缓存 NoSQL 算法
14)Redis 在内存用完时会怎么办?如何处理已过期的数据?
14)Redis 在内存用完时会怎么办?如何处理已过期的数据?
85 0

热门文章

最新文章