一日一技:在Python中创建临时文件用于记录临时数据

简介: 一日一技:在Python中创建临时文件用于记录临时数据

当我们在做数据分析的时候,可能会由于数据量过大导致内存不足。如果我们没有条件使用更高配置的电脑,也没有办法优化数据,那么我们可以先把计算的中间值存放在一个文本文件中。例如:

# 第一步计算分成中间数据
with open('temp.txt', 'w', encoding='utf-8') as f:
    f.write('中间数据')
# 从内存中清空中间数据,腾出空间
# 后续计算
# 汇总数据
with open('temp.txt', 'r', encoding='utf-8') as f:
    中间数据 = f.read()
# 使用中间数据进一步计算

这种方案虽然有效,但是中间数据写成的临时文件如果不清理,时间一长就会占用大量硬盘空间。当然你也可以每一次都覆盖临时文件,这样它虽然不会堆积,但当你的分析程序已经停止的时候,临时文件还在硬盘上占用空间。

Python实际上早就考虑到了这个需求,专门有模块用于读写临时文件。

这个模块的名字就叫做 tempfile。它的用法也非常简单:

from tempfile import TemporaryFile
with TemporaryFile('w+t', encoding='utf-8') as f:
    # 生成中间数据
    f.write('中间数据')
    f.write('另一部分中间数据')
    # 其他计算过程
    # 下面开始读取临时文件
    f.seek(0)
    f.read()
# 退出with上下文,临时文件自动被删除

由于临时文件被关闭就会被删除,所以需要实现同时读写文件,因此文件模式为 w+t

临时文件也可以像 open一样不使用上下文管理器:

from tempfile import TemporaryFile
f = TemporaryFile('w+t', encoding='utf-8')
# 生成中间数据
f.write('中间数据')
f.write('另一部分中间数据')
# 其他计算过程
# 下面开始读取临时文件
f.seek(0)
f.read()
# 关闭并自动删除临时文件
f.close()

使用 TemporaryFile,你没法知道这个临时文件叫做什么名字。如果你想知道文件名,甚至想让另一个程序打开这个临时文件,那么你可以使用 NamedTemporaryFile

import redis
from tempfile import NamedTemporaryFile
with NamedTemporaryFile('w+t') as f:
    # 把文件名通过某种方式传给其他程序
    client = redis.Redis()
    client.set('temp_file', f.name)
    # 后续操作

只要这个临时文件还没有被关闭,那么另一个程序就可以读取这个临时文件。


目录
相关文章
|
5天前
|
移动开发 Unix Linux
Python 遍历文件每一行判断是否只有一个换行符详解
**Python 检查文件每行换行符:** 文章探讨了在Python中验证文件每行是否仅含一个换行符的需求。通过提供代码示例,展示了如何打开文件,遍历行,判断行尾的换行情况。基础实现检查`\n`,扩展版考虑了`\r\n`,并可选地将结果保存至新文件。这些功能有助于确保数据格式规范。
17 0
|
5天前
|
数据采集 Web App开发 数据挖掘
使用Python和BeautifulSoup轻松抓取表格数据
使用Python和BeautifulSoup,结合代理IP,可以从网页抓取表格数据,如中国气象局的天气信息。通过requests库发送HTTP请求,BeautifulSoup解析HTML提取表格。安装必要库后,设置代理IP,发送请求,解析HTML找到表格,提取数据并存储。通过Pandas进行数据分析,如计算平均气温。这种方法让数据抓取和分析变得更加便捷。
使用Python和BeautifulSoup轻松抓取表格数据
|
1天前
|
存储 数据挖掘 Python
使用Python集合高效统计Excel数据
使用Python集合高效统计Excel数据
13 7
|
1天前
|
数据可视化 Python
Python中的数据可视化:在数据点上添加标签
Python中的数据可视化:在数据点上添加标签
14 3
|
1天前
|
安全 测试技术 Python
Python类中的Setter与Getter:跨文件调用的艺术
Python类中的Setter与Getter:跨文件调用的艺术
10 3
|
1天前
|
前端开发 API Python
如何在Python中接收前端POST上传的文件
如何在Python中接收前端POST上传的文件
8 2
|
21小时前
|
缓存 算法 Python
python文件读写讲解
python文件读写讲解
|
22小时前
|
安全 Linux PHP
Python文件读写的详细讲解
Python文件读写的详细讲解
|
22小时前
|
XML 存储 JavaScript
python读取xml文件详细讲解
python读取xml文件详细讲解
10 0
|
23小时前
|
IDE 开发工具 Python
使用python3遍历文件夹并将文件目录保存到指定文件
使用python3遍历文件夹并将文件目录保存到指定文件
6 0