【MySQL系列笔记】SQL优化

1. SQL提示

SQL提示，是优化数据库的一个重要手段，简单来说，就是在SQL语句中加入一些人为的提示来达到优化操作的目的。

//use index ： 建议MySQL使用哪一个索引完成此次查询
//（仅仅是建议，mysql内部还会再次进行评估）。
explain select * from tb_user use index(idx_user_pro) where profession = '软件工程'; 
// ignore index ： 忽略指定的索引。
explain select * from tb_user ignore index(idx_user_pro) where profession = '软件工程'; 
//force index ： 强制使用索引。
explain select * from tb_user force index(idx_user_pro) where profession = '软件工程';

2. 大批量插入数据

如果一次性需要插入大批量数据(比如: 几百万的记录)，使用insert语句插入性能较低，此时可以使用MySQL数据库提供的load指令进行插入。操作如下：

windows/linux

-- 客户端连接服务端时，加上参数  -–local-infile
mysql –-local-infile  -uroot  -proot
-- 设置全局参数local_infile为1，开启从本地加载文件导入数据的开关
set  global  local_infile = 1;
-- 执行load指令将准备好的数据，加载到表结构中
load  data  local  infile  '/root/sql1.log'  into  table  tb_user 
fields  terminated  by  ','  lines  terminated  by  '\n' ;

docker exec -it mysql bash
-- 客户端连接服务端时，加上参数  -–local-infile
mysql –-local-infile  -u  root  -p
-- 查询local_infile是否开启
select @@local_infile;
-- 设置全局参数local_infile为1，开启从本地加载文件导入数据的开关
set  global  local_infile = 1;
-- 创建数据库
create database xxx;
-- 切换数据库
use xxx;
-- 创建表
CREATE TABLE `tb_user` (
  `id` INT(11) NOT NULL AUTO_INCREMENT,
  `username` VARCHAR(50) NOT NULL,
  `password` VARCHAR(50) NOT NULL,
  `name` VARCHAR(20) NOT NULL,
  `birthday` DATE DEFAULT NULL,
  `sex` CHAR(1) DEFAULT NULL,
  PRIMARY KEY (`id`),
  UNIQUE KEY `unique_user_username` (`username`)
) ENGINE=INNODB DEFAULT CHARSET=utf8 ;
//将load_user_100w_sort.sql文件上传到“/root/mysql/data”下
//注意：/var/lib/mysql目录是mysql容器内部的目录
//和linux上的/root/mysql/data目录相映射关系
load  data  local  infile  '/var/lib/mysql/load_user_100w_sort.sql'  
into  table  tb_user  fields  terminated  by  ','  lines  terminated  by  '\n' ;

3. 主键优化

3.1. 概述

在InnoDB存储引擎中，表数据都是根据主键顺序组织存放的，这种存储方式的表称为索引组织表(index organized table IOT)。行数据，都是存储在聚集索引的叶子节点上的。

而我们之前也讲解过InnoDB的逻辑结构图：

在InnoDB引擎中，数据行是记录在逻辑结构 page 页中的，而每一个页的大小是固定的，默认16K。那也就意味着， 一个页中所存储的行也是有限的，如果插入的数据行row在该页存储不小，将会存储到下一个页中，页与页之间会通过指针连接。

3.2. 页分裂

如果一个页快满了,此时我们插入数据,但下一个页的空间也全部占满。基于索引的有序性，这个时候Mysql将创建一个新页，然后将快满的这个页的部分数据迁移到新页中,这部分数据就是超出原来那个页阈值的那部分数据,之后再插入新的数据。

假如主键乱序插入50这条数据，发生页分裂，流程如下：

3.3. 页合并

如果页中的数据被删除,那么实际上这块的空间并不会被回收,而是标记为可重复利用。当一个页的数据被删除或者更新,空间小于所规定的阈值大小,那么Mysql会查找前一个页,和后一个页,判断是否可以将这个页合并到另外一个页,这样就可以节省下一个页的空间。

（MERGE_THRESHOLD：合并页的阈值，可以自己设置，在创建表或者创建索引时指定。）

假如陆续删除数据，发生页合并，流程如下：

总结

页分裂和页合并是针对索引结构的优化技术，页分裂保证了索引的有序性，而页合并保证了紧凑性，减少了页数量（磁盘I/O操作）。两者并不是为了直接提高查询效率。然而，通过保持索引的合理组织和大小，这些技术可以间接地影响查询性能。

3.4. 主键设计

• 满足业务需求的情况下，尽量降低主键的长度。
• 插入数据时，尽量选择顺序插入，选择使用AUTO_INCREMENT自增主键。
• 尽量不要使用UUID做主键或者是其他自然主键，如身份证号。
• 业务操作时，避免对主键的修改。

4. order by优化

MySQL的排序，有两种方式：

Using filesort : 通过表的索引或全表扫描，读取满足条件的数据行，然后在排序缓冲区sort buffer中完成排序操作，所有不是通过索引直接返回排序结果的排序都叫 FileSort 排序。

Using index : 通过有序索引顺序扫描直接返回有序数据，这种情况即为 using index，不需要额外排序，操作效率高。

对于以上的两种排序方式，Using index的性能高，而Using filesort的性能低，我们在优化排序操作时，尽量要优化为 Using index。

5. group by优化

在分组操作时，可以通过索引来提高效率。

分组操作时，索引的使用也是满足最左前缀法则的。

6. limit优化

在数据量比较大时，如果进行limit分页查询，在查询时，越往后，分页查询效率越低。所以一般分页查询时，通过创建 覆盖索引 能够比较好地提高性能，可以通过覆盖索引加子查询形式进行优化。

7. count优化

7.1. 概述

在之前的测试中，我们发现，如果数据量很大，在执行count操作时，是非常耗时的。

• MyISAM 引擎把一个表的总行数存在了磁盘上，因此执行 count(*) 的时候会直接返回这个数，效率很高； 但是如果是带条件的count，MyISAM也慢。
• InnoDB 引擎就麻烦了，它执行 count(*) 的时候，需要把数据一行一行地从引擎里面读出来，然后累积计数。

如果说要大幅度提升InnoDB表的count效率，主要的优化思路：自己计数(可以借助于redis这样的数据库进行,但是如果是带条件的count又比较麻烦了)。

7.2. count用法

count() 是一个聚合函数，对于返回的结果集，一行行地判断，如果 count 函数的参数不是 NULL，累计值就加 1，否则不加，最后返回累计值。

按照效率排序：

count(字段) < count(主键 id) < count(1) ≈ count(*)

8. update优化

其实这个是考虑两个事务之间在修改的时候，是行锁还是表锁的问题。

当在执行update语句的时候

• 条件必须是有索引的字段，这样InnoDB执行的是行锁
• 当条件不是有索引的字段的时候，那么则执行的是表锁，会造成阻塞，性能大大降低。
• InnoDB的行锁是针对索引加的锁，不是针对记录加的锁 ,并且该索引不能失效，否则会从行锁升级为表锁 。