dataframe文件写入pickle文件和写入csv效率对比

简介: dataframe文件写入pickle文件和写入csv效率对比
######同一个dataframe文件写入pickle文件和写入csv效率对比
import numpy as np
import pandas as pd
import pickle
import time
###创建一个数据框,准备基础数据
file='C:/Users/Administrator/数据/5分钟/28#OIL9.txt'
data=pd.read_table(file,encoding="gbk",skiprows=2,sep=',')
data
data.columns=['date','time','open','hgih','low','close','vol','advol','fof']
del data['fof']
data.head()
df=data.copy()
df.head()
###写入pickle文件
f=open('dfl2','wb+')
%time pickle.dump(df,f)
f.close
###写入csv文件
f=open('dfl3.csv','w')
%time df.to_csv('df2.csv')
f.close

20161231141827881.png

似乎导入到csv文件失败了。。

目录
相关文章
|
29天前
|
存储 Python
CSV文件
【10月更文挑战第18天】CSV文件
62 2
|
3月前
|
索引 Python
python pandas 把数据保存成csv文件,以及读取csv文件获取指定行、指定列数据
该文档详细介绍了如何使用Python的Pandas库处理图像数据集,并将其保存为CSV文件。示例数据集位于`test_data`目录中,包含5张PNG图片,每张图片名中的数字代表其标签。文档提供了将这些数据转换为CSV格式的具体步骤,包括不同格式的数据输入方法(如NumPy数组、嵌套列表、嵌套元组和字典),以及如何使用`pd.DataFrame`和`to_csv`方法保存数据。此外,还展示了如何读取CSV文件并访问其中的每一行和每一列数据,包括获取列名、指定列数据及行数据的操作方法。
62 1
|
3月前
|
Python
【Pandas】Pandas的DataFrame按行插入list数据或者读取一行并存为csv文件
本文提供了使用Pandas库对DataFrame进行操作的示例代码。
193 0
|
C# 数据库 Windows
C#开发:CSV文件写入
C#开发:CSV文件写入
227 0
|
数据挖掘 Python
大神是这样处理 CSV 数据的
大神是这样处理 CSV 数据的
|
数据处理 Python
多线程操作CSV文件并且将CSV文件转成XLSX文件
多线程操作CSV文件并且将CSV文件转成XLSX文件
233 0
|
存储 数据挖掘 Python
CSV文件操作介绍
CSV文件操作介绍
160 0
|
数据采集 Python
Pandas 合并多个 (300多个) Excel 文件,并输出为 CSV 文件
Pandas 合并多个 (300多个) Excel 文件,并输出为 CSV 文件
C#读取CSV
public class CSVFileHelper { /// /// 将DataTable中数据写入到CSV文件中 /// /// 提供保存数据的DataTable /// CSV的文件路径 public static voi...
2173 0
|
数据采集 数据可视化 数据挖掘
详解Pandas读取csv文件时2个有趣的参数设置
Pandas其提供了从数据读取、数据预处理到数据分析以及数据可视化的全流程操作。其中,在数据读取阶段,应用pd.read_csv读取csv文件是常用的文件存储格式之一。今天,本文就来分享关于pandas读取csv文件时2个非常有趣且有用的参数。
247 0
详解Pandas读取csv文件时2个有趣的参数设置