AI 助理
备案控制台
开发者社区 问答 正文

文件io和数据库插入太慢

新学python,在做一个把爬虫爬下来的股票数据从文件插入到mysql数据库,速度很慢,不知道瓶颈是文件处理还是sql插入问题,望大神不吝赐教,感激不尽!
4
文件格式是形如:
5
两个多小时才插入45W条数据,怎么才能提速一点呢.

展开
收起
蛮大人123 2016-02-11 23:14:40 3392 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 蛮大人123
    我说我不帅他们就打我，还说我虚伪

    常识性的优化：批量插入，然后再提交，而不是插一条提交一条。
    另一个常识性的优化：使用 executemany 来一次执行多条（但也不要太多）行的插入。
    最后，但是也是非常重要的，请尽量不要自己拼接 SQL 语句！.execute 方法可以接受两个参数，第一个是 SQL 模板，第二个是参数值的 tuple。

    2019-07-17 18:41:04
    赞同 展开评论
问答分类：
数据采集 SQL 关系型数据库 MySQL 数据库 Python 云数据库 RDS MySQL 版
问答标签：
数据库io 数据库文件 io文件 文件io 文件数据库
问答地址：
开发者社区 > 数据库 > 问答
相关问答
PolarDB自建数据库遇到这种高写入iO操作，怎么解决？
90
1
0
Flink CDC运行作业会导致数据库磁盘读的很高，出现IO性能瓶颈，如何解决？
167
1
0
在OceanBase数据库，搞一台要多挂几个物理盘,一般 io 是瓶颈？
50
0
0
在Flink CDC中读取oracle 数据库端反馈磁盘io读的很高 请问这个应该如何解决？
78
0
0
在文件读写IO性能方面，JindoFS和HDFS有何不同？
58
1
0
OceanBase数据库添加ob集群的时候 Do IO Bench 这步安装失败会影响后面的安装吗？
74
1
0
请教下，OceanBase数据库的读数据io是多大呢？
174
2
0
源数据库cancal:java.io.IOException: Received error pac
131
2
0
create mapped file引发io异常，但该文件确实是在磁盘上成功创建的。
199
1
0
OceanBase中把连接OB数据库的服务都已经停掉了超过12小时了，为啥这个IO还这么大呢？
136
2
0