尽量使用写文本方式存储数据(pandas 和 file write效率对比)

简介: 尽量使用写文本方式存储数据(pandas 和 file write效率对比)
  • 对比:使用 pandas 存储数据 VS 使用写文本 方式存储数据
import pandas as pd
import time
def pandasWrite():
    t0 = time.time()
    colname = [str(i) for i in range(550)]
    df = pd.DataFrame(columns=colname)
    for i in range(100):
        df.loc[len(df)] = dict(zip(colname, range(550)))
    t1 = time.time()
    df.to_csv("temp.csv")
    print("pandas 存储数据用时:", t1-t0)
    # print(df)
def fileWrite():
    t0 = time.time()
    colname = [str(i) for i in range(550)]
    with open("temp1.txt", 'w', encoding='utf-8') as f:
        f.write('\t'.join(x for x in colname))
        for i in range(100):
            f.write('\t'.join(str(x) for x in range(550))+'\n')
    t1 = time.time()
    print("写文本 存储数据用时:", t1-t0)
pandasWrite()
fileWrite()

输出:

pandas 存储数据用时: 4.545027494430542
写文本 存储数据用时: 0.03499293327331543

写文本方式,了 接近 130 倍

工作当中踩过的坑,浪费了大半天时间,大家注意!

相关文章
|
2月前
|
Serverless 数据处理 索引
Pandas中的shift函数:轻松实现数据的前后移动
Pandas中的shift函数:轻松实现数据的前后移动
179 0
|
16天前
|
Python
|
16天前
|
Python
|
15天前
|
Python
Pandas 常用函数-数据合并
Pandas 常用函数-数据合并
31 1
|
16天前
|
索引 Python
Pandas 常用函数-数据排序
10月更文挑战第28天
8 1
|
17天前
|
Python
Pandas 常用函数-查看数据
Pandas 常用函数-查看数据
14 2
|
17天前
|
SQL JSON 数据库
Pandas 常用函数-读取数据
Pandas 常用函数-读取数据
13 2
|
20天前
|
Python
通过Pandas库处理股票收盘价数据,识别最近一次死叉后未出现金叉的具体位置的方法
在金融分析领域,"死叉"指的是短期移动平均线(如MA5)下穿长期移动平均线(如MA10),而"金叉"则相反。本文介绍了一种利用Python编程语言,通过Pandas库处理股票收盘价数据,识别最近一次死叉后未出现金叉的具体位置的方法。该方法首先计算两种移动平均线,接着确定它们的交叉点,最后检查并输出最近一次死叉及其后是否形成了金叉。此技术广泛应用于股市趋势分析。
38 2
|
15天前
|
Python
Pandas 常用函数-数据选择和过滤
Pandas 常用函数-数据选择和过滤
10 0
|
1月前
|
数据可视化 数据挖掘 数据处理
模型预测笔记(四):pandas_profiling生成数据报告
本文介绍了pandas_profiling库,它是一个Python工具,用于自动生成包含多种统计指标和可视化的详细HTML数据报告,支持大型数据集并允许自定义配置。安装命令为`pip install pandas_profiling`,使用示例代码`pfr = pandas_profiling.ProfileReport(data_train); pfr.to_file("./example.html")`。
48 1