1、大批量插入数据优化
(1)对于MyISAM存储引擎的表,可以使用:DISABLE KEYS 和 ENABLE KEYS 用来打开或者关闭 MyISAM 表非唯一索引的更新。
ALTER TABLE tbl_name DISABLE KEYS; loading the data ALTER TABLE tbl_name ENABLE KEYS;
(2)对于InnoDB引擎,有以下几种优化措施:
① 导入的数据按照主键的顺序保存:这是因为InnoDB引擎表示按照主键顺序保存的,如果能将插入的数据提前按照排序好自然能省去很多时间。
比如bulk_insert.txt文件是以表user主键的顺序存储的,导入的时间为15.23秒
mysql> load data infile 'mysql/bulk_insert.txt' into table user; Query OK, 126732 rows affected (15.23 sec) Records: 126732 Deleted: 0 Skipped: 0 Warnings: 0
没有按照主键排序的话,时间为:26.54秒
mysql> load data infile 'mysql/bulk_insert.txt' into table user; Query OK, 126732 rows affected (26.54 sec) Records: 126732 Deleted: 0 Skipped: 0 Warnings: 0
② 导入数据前执行SET UNIQUE_CHECKS=0,关闭唯一性校验,带导入之后再打开设置为1:校验会消耗时间,在数据量大的情况下需要考虑。
③ 导入前设置SET AUTOCOMMIT=0,关闭自动提交,导入后结束再设置为1:这是因为自动提交会消耗部分时间与资源,虽然消耗不是很大,但是在数据量大的情况下还是得考虑。
2、INSERT的优化
(1)尽量使用多个值表的 INSERT 语句,这种方式将大大缩减客户端与数据库之间的连接、关闭等消耗。(同一客户的情况下),即:
INSERT INTO tablename values(1,2),(1,3),(1,4)
实验:插入8条数据到user表中(使用navicat客户端工具)
insert into user values(1,'test',replace(uuid(),'-','')); insert into user values(2,'test',replace(uuid(),'-','')); insert into user values(3,'test',replace(uuid(),'-','')); insert into user values(4,'test',replace(uuid(),'-','')); insert into user values(5,'test',replace(uuid(),'-','')); insert into user values(6,'test',replace(uuid(),'-','')); insert into user values(7,'test',replace(uuid(),'-','')); insert into user values(8,'test',replace(uuid(),'-',''));
得到反馈:
[SQL] insert into user values(1,'test',replace(uuid(),'-','')); 受影响的行: 1 时间: 0.033s [SQL] insert into user values(2,'test',replace(uuid(),'-','')); 受影响的行: 1 时间: 0.034s [SQL] insert into user values(3,'test',replace(uuid(),'-','')); 受影响的行: 1 时间: 0.056s [SQL] insert into user values(4,'test',replace(uuid(),'-','')); 受影响的行: 1 时间: 0.008s [SQL] insert into user values(5,'test',replace(uuid(),'-','')); 受影响的行: 1 时间: 0.008s [SQL] insert into user values(6,'test',replace(uuid(),'-','')); 受影响的行: 1 时间: 0.024s [SQL] insert into user values(7,'test',replace(uuid(),'-','')); 受影响的行: 1 时间: 0.004s [SQL] insert into user values(8,'test',replace(uuid(),'-','')); 受影响的行: 1 时间: 0.004s
总共的时间为0.171秒,接下来使用多值表形式:
insert into user values (9,'test',replace(uuid(),'-','')), (10,'test',replace(uuid(),'-','')), (11,'test',replace(uuid(),'-','')), (12,'test',replace(uuid(),'-','')), (13,'test',replace(uuid(),'-','')), (14,'test',replace(uuid(),'-','')), (15,'test',replace(uuid(),'-','')), (16,'test',replace(uuid(),'-',''));
得到反馈:
[SQL] insert into user values (9,'test',replace(uuid(),'-','')), (10,'test',replace(uuid(),'-','')), (11,'test',replace(uuid(),'-','')), (12,'test',replace(uuid(),'-','')), (13,'test',replace(uuid(),'-','')), (14,'test',replace(uuid(),'-','')), (15,'test',replace(uuid(),'-','')), (16,'test',replace(uuid(),'-','')); 受影响的行: 8 时间: 0.038s
得到时间为0.038,这样一来可以很明显节约时间优化SQL
(2)如果在不同客户端插入很多行,可使用INSERT DELAYED语句得到更高的速度,DELLAYED含义是让INSERT语句马上执行,其实数据都被放在内存的队列中。并没有真正写入磁盘。LOW_PRIORITY刚好相反。
(3)将索引文件和数据文件分在不同的磁盘上存放(InnoDB引擎是在同一个表空间的)。
(4)如果批量插入,则可以增加bluk_insert_buffer_size变量值提供速度(只对MyISAM有用)
(5)当从一个文本文件装载一个表时,使用LOAD DATA INFILE,通常比INSERT语句快20倍。