dataframe文件写入pickle文件和写入csv效率对比

简介: dataframe文件写入pickle文件和写入csv效率对比
######同一个dataframe文件写入pickle文件和写入csv效率对比
import numpy as np
import pandas as pd
import pickle
import time
###创建一个数据框,准备基础数据
file='C:/Users/Administrator/数据/5分钟/28#OIL9.txt'
data=pd.read_table(file,encoding="gbk",skiprows=2,sep=',')
data
data.columns=['date','time','open','hgih','low','close','vol','advol','fof']
del data['fof']
data.head()
df=data.copy()
df.head()
###写入pickle文件
f=open('dfl2','wb+')
%time pickle.dump(df,f)
f.close
###写入csv文件
f=open('dfl3.csv','w')
%time df.to_csv('df2.csv')
f.close

20161231141827881.png

似乎导入到csv文件失败了。。

目录
相关文章
|
2月前
|
存储 Python
CSV文件
【10月更文挑战第18天】CSV文件
125 2
|
11天前
|
数据挖掘 索引 Python
Pandas数据读取:CSV文件
Pandas 是 Python 中强大的数据分析库,`read_csv` 函数用于从 CSV 文件中读取数据。本文介绍 `read_csv` 的基本用法、常见问题及其解决方案,并通过代码案例详细说明。涵盖导入库、读取文件、指定列名和分隔符、处理文件路径错误、编码问题、大文件读取、数据类型问题、日期时间解析、空值处理、跳过行、指定索引列等。高级用法包括自定义列名映射、处理多行标题和注释行。希望本文能帮助你更高效地使用 Pandas 进行数据读取和处理。
58 13
|
4月前
|
索引 Python
python pandas 把数据保存成csv文件,以及读取csv文件获取指定行、指定列数据
该文档详细介绍了如何使用Python的Pandas库处理图像数据集,并将其保存为CSV文件。示例数据集位于`test_data`目录中,包含5张PNG图片,每张图片名中的数字代表其标签。文档提供了将这些数据转换为CSV格式的具体步骤,包括不同格式的数据输入方法(如NumPy数组、嵌套列表、嵌套元组和字典),以及如何使用`pd.DataFrame`和`to_csv`方法保存数据。此外,还展示了如何读取CSV文件并访问其中的每一行和每一列数据,包括获取列名、指定列数据及行数据的操作方法。
98 1
|
4月前
|
Python
【Pandas】Pandas的DataFrame按行插入list数据或者读取一行并存为csv文件
本文提供了使用Pandas库对DataFrame进行操作的示例代码。
234 0
|
C# 数据库 Windows
C#开发:CSV文件写入
C#开发:CSV文件写入
233 0
|
数据挖掘 Python
大神是这样处理 CSV 数据的
大神是这样处理 CSV 数据的
|
数据处理 Python
多线程操作CSV文件并且将CSV文件转成XLSX文件
多线程操作CSV文件并且将CSV文件转成XLSX文件
249 0
|
存储 数据挖掘 Python
CSV文件操作介绍
CSV文件操作介绍
167 0
|
Python
Python库函数pandas读取csv文件
pandas 读取csv文件使用的是 read_csv方法。本文将详细解析read_csv方法的常用参数,以及实际的使用示例
|
数据采集 Python
Pandas 合并多个 (300多个) Excel 文件,并输出为 CSV 文件
Pandas 合并多个 (300多个) Excel 文件,并输出为 CSV 文件