文件io和数据库插入太慢-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

文件io和数据库插入太慢

蛮大人123 2016-02-11 23:14:40 1652

新学python,在做一个把爬虫爬下来的股票数据从文件插入到mysql数据库,速度很慢,不知道瓶颈是文件处理还是sql插入问题,望大神不吝赐教,感激不尽!
4
文件格式是形如:
5
两个多小时才插入45W条数据,怎么才能提速一点呢.

数据采集 SQL 关系型数据库 MySQL 数据库 Python
分享到
取消 提交回答
全部回答(1)
  • 蛮大人123
    2019-07-17 18:41:04

    常识性的优化:批量插入,然后再提交,而不是插一条提交一条。
    另一个常识性的优化:使用 executemany 来一次执行多条(但也不要太多)行的插入。
    最后,但是也是非常重要的,请尽量不要自己拼接 SQL 语句!.execute 方法可以接受两个参数,第一个是 SQL 模板,第二个是参数值的 tuple。

    0 0
+ 订阅

分享数据库前沿,解构实战干货,推动数据库技术变革

推荐文章
相似问题