如何用 Python 快速插入数据到数据库中?-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

如何用 Python 快速插入数据到数据库中?

2016-02-11 13:43:11 4709 1

有大概600w条数据,希望可以快速插入数据库中(MySQL,Sqlite 都行),请问大家有什么好的方法,我每1000条插入一次,但是45分钟才插入24w条。

取消 提交回答
全部回答(1)
  • 蛮大人123
    2019-07-17 18:40:38

    1) mysql用集群而不要用单机版
    2)试着修改mysql的存储引擎,当然这影响数据恢复的策略
    3)表是否设置了主键或索引影响插入速度
    4)采用数据二次提交的方式,也就是关闭默认的autocommit,设置为0,然后每插入10000条再commit一下,采用这种方式起码每秒处理1w条的性能还是有的
    5) 换硬盘,上raid或SSD,这个严重影响数据写入速度
    6) 还可以试试用load data的方式,适合将现有的文本数据导入

    0 0
相关问答

1

回答

python中数据预览的代码是什么?

2021-11-30 00:36:02 123浏览量 回答数 1

1

回答

python3中有几个标准数据类型?

2021-11-19 17:27:01 69浏览量 回答数 1

2

回答

python中列表推导式

2020-04-16 20:34:53 403浏览量 回答数 2

1

回答

python如何输出质数

2019-12-11 17:53:45 254浏览量 回答数 1

1

回答

数据库如何用phpMyAdmin管理

2018-07-05 21:53:04 495浏览量 回答数 1

1

回答

python 怎么保存数据库

2018-05-10 20:10:58 1058浏览量 回答数 1

2

回答

python配什么数据库

2018-05-10 20:11:00 1424浏览量 回答数 2

1

回答

python怎么与数据库连接

2018-05-10 20:10:37 1801浏览量 回答数 1

1

回答

python怎么计算文档的行数据库

2018-05-10 20:10:59 1242浏览量 回答数 1

1

回答

python接受数据

2015-10-28 16:12:26 3268浏览量 回答数 1
+关注
蛮大人123
我说我不帅他们就打我,还说我虚伪
0
文章
7733
问答
问答排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载