前几天在偶然的情况下,获得了一个18G的txt文件,现在需要导入到数据库中,那么该怎么导入才能保证高效并且稳定呢?
mysql插入效率
首先应该知道的就是mysql的插入效率跟下面几个点有关
1:mysql数据库引擎,myisam,innodb,甚至是memory的插入效率都是不一样
2:索引,索引也会导致插入效率变慢
3:唯一索引冲突,在插入mysql数据库时,如果有相同数据,将会报错,降低插入效率
4:mysql硬盘,机械硬盘跟固态硬盘的插入效率也是不一样的
5:导入方法,单线程多线程等
6:mysql配置项,各种缓存区大小配置,索引查询配置等.
我们通过一个个点进行比对,找出最优的方案.
数据库引擎
我们先测试下myisam 和innodb的插入效率对比,至于memory就不测试了.没有必要.
CREATE TABLE \`test_1\` ( \`id\` int(11) NOT NULL AUTO_INCREMENT, \`phone\` varchar(18) DEFAULT NULL, \`uid\` bigint(20) DEFAULT NULL, PRIMARY KEY (\`id\`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8; CREATE TABLE \`test_2\` ( \`id\` int(11) NOT NULL AUTO_INCREMENT, \`phone\` varchar(18) DEFAULT NULL, \`uid\` bigint(20) DEFAULT NULL, PRIMARY KEY (\`id\`) ) ENGINE=MyISAM DEFAULT CHARSET=utf8;
2者都通过 Navicat txt导入方式导入10万条数据:
可看到.在默认情况下innodb的插入时间为10.02秒,而myisam为5.93秒,所以默认情况下,innodb插入效率确实是比myisam慢的,那么有没有办法提高innodb速度呢?
提高innodb插入速度方法
注意,此方法只用于测试innodb极限插入速度,不建议在生产环境中使用.
首先,我们需要知道,innodb引擎的插入逻辑: