python大量excel文件处理的一点经验总结

简介: python大量excel文件处理的一点经验总结

首先,我的电脑是神舟笔记本超级战神,12线核(应该是6核切割成的12核),内存16G,CPU最大使用被限制在68%。


其次,数据时从oanda官网下载到的5s的31个货币对的bid和ask的K线报价,oanda限制每一次下载最多5000个K线(bar)。


最后,下载下来的结果得到80多万个csv文件,大小130多个G,每个文件是6小时时间长度的5s的bar数据

----


1、首先想的是使用os.listdir获取这个文件夹中的文件名称,做区分处理

   os.listdir基本上跑不出来结果,文件夹文件太多。在网上找到了替代方法,使用os.scandir可以得到所有的文件名称


2、考虑把文件名分组,不同品种不同的小的文件夹,把大的文件夹拆分成62个小的文件夹

  实际上,这个在下载的时候就应该考虑到,每下载一个,就直接放到子文件夹中


3、把每个文件夹中的文件,按照年份,形成每年每年的数据

   如果是单线程跑的话,估计能跑好多天。使用多进程,加快效率(也不能开太多,磁盘读写有限制)


4、把每年每年的数据合并一个文件,这样就得到几百个每年每年的文件了。


5、把每年的bid,ask的价格合成为time,bid,ask的模式,以5s钟的收盘价作为bid和ask的价格


6、把每年的合并,成为一个总体的全部的数据。


------------------------

感悟:当最初的目标太大的时候,当问题似乎不可能解决的时候,学会拆分,把大的化小,把难的变容易,一点一点去完成。



目录
相关文章
|
2月前
|
Python
Python办公自动化:xlwings对Excel进行分类汇总
Python办公自动化:xlwings对Excel进行分类汇总
65 1
|
2月前
|
Python
Python自动化:xlwings合并Excel
Python自动化:xlwings合并Excel
49 0
|
25天前
|
数据处理 Python
Python实用记录(十):获取excel数据并通过列表的形式保存为txt文档、xlsx文档、csv文档
这篇文章介绍了如何使用Python读取Excel文件中的数据,处理后将其保存为txt、xlsx和csv格式的文件。
44 3
Python实用记录(十):获取excel数据并通过列表的形式保存为txt文档、xlsx文档、csv文档
|
15天前
|
Python
python读写操作excel日志
主要是读写操作,创建表格
47 2
|
1月前
|
Python
Python 自动化操作 Excel - 02 - xlwt
Python 自动化操作 Excel - 02 - xlwt
40 14
|
1月前
|
Python
Python 自动化操作 Excel - 03 - xlutils
Python 自动化操作 Excel - 03 - xlutils
34 13
|
1月前
|
数据处理 Python
Python 高级技巧:深入解析读取 Excel 文件的多种方法
在数据分析中,从 Excel 文件读取数据是常见需求。本文介绍了使用 Python 的三个库:`pandas`、`openpyxl` 和 `xlrd` 来高效处理 Excel 文件的方法。`pandas` 提供了简洁的接口,而 `openpyxl` 和 `xlrd` 则针对不同版本的 Excel 文件格式提供了详细的数据读取和处理功能。此外,还介绍了如何处理复杂格式(如合并单元格)和进行性能优化(如分块读取)。通过这些技巧,可以轻松应对各种 Excel 数据处理任务。
133 16
|
1月前
|
Python
Python 自动化操作 Excel - 01 - xlrd
Python 自动化操作 Excel - 01 - xlrd
35 9
|
1月前
|
IDE 开发工具 数据安全/隐私保护
Python编程--实现用户注册信息写入excel文件
Python编程--实现用户注册信息写入excel文件
|
27天前
|
索引 Python
Excel学习笔记(一):python读写excel,并完成计算平均成绩、成绩等级划分、每个同学分数大于70的次数、找最优成绩
这篇文章是关于如何使用Python读取Excel文件中的学生成绩数据,并进行计算平均成绩、成绩等级划分、统计分数大于70的次数以及找出最优成绩等操作的教程。
52 0