如何用 Python 快速插入数据到数据库中?-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

如何用 Python 快速插入数据到数据库中?

蛮大人123 2016-02-11 13:43:11 2778

有大概600w条数据,希望可以快速插入数据库中(MySQL,Sqlite 都行),请问大家有什么好的方法,我每1000条插入一次,但是45分钟才插入24w条。

关系型数据库 MySQL 数据库 数据库管理 Python
分享到
取消 提交回答
全部回答(1)
  • 蛮大人123
    2019-07-17 18:40:38

    1) mysql用集群而不要用单机版
    2)试着修改mysql的存储引擎,当然这影响数据恢复的策略
    3)表是否设置了主键或索引影响插入速度
    4)采用数据二次提交的方式,也就是关闭默认的autocommit,设置为0,然后每插入10000条再commit一下,采用这种方式起码每秒处理1w条的性能还是有的
    5) 换硬盘,上raid或SSD,这个严重影响数据写入速度
    6) 还可以试试用load data的方式,适合将现有的文本数据导入

    0 0
数据库
使用钉钉扫一扫加入圈子
+ 订阅

分享数据库前沿,解构实战干货,推动数据库技术变革

推荐文章
相似问题