如何通过索引让 SQL 查询效率最大化

简介: 如何通过索引让 SQL 查询效率最大化

如何通过索引让 SQL 查询效率最大化



什么时候创建索引?


如果出现如下情况,可以创建索引。


  1. 字段的数值唯一性的限制 索引可以起到约束的作用,比如唯一索引,主键索引,都可以起到唯一约束的作用。当字段的数值唯一时,可以考虑建立唯一索引或者主键索引。
  2. 频繁作为 Where 查询条件的字段 在表数据量比较大的时候,某个字段在 SQL 查询的 where条件时,就学英语给这个字段创建索引。


SELECT comment_id, product_id, comment_text, comment_time, user_id FROM product_comment WHERE user_id = 7851

运行结果

640.png

运⾏时间为0.699s,你能看到查询效率还是⽐较低的。当我们对user_id字段创建索引之后,运⾏时间为 0.047s,不到原来查询时间的1/10。


  1. 经常需要 Group By 和 Order By 的列

索引就是让数据按照某种顺序进行存储或检索,因此当我们使用 Group By 对数据查询或者使用 Order By 对数据进行排序的时候,就需要对分组或者排序字段建立索引。


SELECT user_id, count(*) as num FROM product_comment group by user_id limit 100


运⾏结果(100条记录,运⾏时间1.666s)

640.png


对 user_id 创建索引,再执行 SQL 语句

SELECT user_id, count(*) as num FROM product_comment group by user_id limit 100

运⾏结果(100条记录,运⾏时间0.042s):


640.png


  1. DISTINCT 字段需要创建索引 有时候需要对某个字段进行去重,使用 DISTINCT ,那么对这个字段创建索引,也会提升效率。
SELECT DISTINCT(user_id) FROM product_comment

运⾏结果(600637条记录,运⾏时间2.283s). 如果我们对user_id创建索引,再执⾏SQL语句。

SELECT DISTINCT(user_id) FROM `product_comment`

运⾏结果(600637条记录,运⾏时间0.627s):建立索引,SQL 查询效率上有所提升。

  1. UPDATE ,DELETE 的Where 条件列,一般也需要建立索引。

当对某条数据进行 UPDATE 或者DELETE 操作的时候,可以考虑建立索引。

当没有对 comment_text 建立索引时,执行下面语句:

UPDATE product_comment SET product_id = 10002 WHERE comment_text = '462eed7ac6e791292a79'

运⾏结果为Affected rows: 1,运⾏时间为1.173s。

对 comment_text 字段建立索引

UPDATE product_comment SET product_id = 10001 WHERE comment_text = '462eed7ac6e791292a79'

运⾏结果为Affected rows: 1,运⾏时间仅为0.1110s。

comment_text 没有建立索引,执行如下语句

DELETE FROM product_comment WHERE comment_text = '462eed7ac6e791292a79'

运⾏结果为Affected rows: 1,运⾏时间为1.027s,

对comment_text创建了索引,再来执⾏这条SQL语句,运⾏时间为0.032s,时间是原来的1/32。 6. 做多表连接操作时,创建索引需要注意:

  • 连接表的梳理尽量不要超过三张, 每增加一张表,就相当于增加了一次循环,会成指数级增长,验证影响查询效率。

其次,对 用于连接字段创建索引,并且该字段在夺标中的类型必须一致。

什么时候不需要创建索引

  1. Where Group By Order By 中用不掉的字段不需要创建索引,索引的价值是快速定位,提高效率
  2. 如果表记录太少,比如少于 1000 个,那么是不需要创建索引的。
  3. 字段中如果有大量的重复数据,也不要创建索引,比如性别字段。因为更新数据的时候,也需要更新索引,如果索引太多,更新索引的时候会造成负担,影响效率。

什么情况下,索引会失效 ?

  1. 如果索引进行了表达式计算,索引会失效

可以使用 EXPLAIN 关键字来看 MySQL 中一条 SQL 语句的执行计划:

EXPLAIN SELECT comment_id, user_id, comment_text FROM product_comment WHERE comment_id+1 = 900001

执行结果

+----+-------------+-----------------+------------+------+---------------+------+---------+------+--------+----------+-----
| id | select_type | table           | partitions | type | possible_keys | key  | key_len | ref  | rows   | filtered | Extr
+----+-------------+-----------------+------------+------+---------------+------+---------+------+--------+----------+-----
|  1 | SIMPLE      | product_comment | NULL       | ALL  | NULL          | NULL | NULL    | NULL | 996663 |   100.00 | Usin
+----+-------------+-----------------+------------+------+---------------+------+---------+------+--------+

可以看到,如果对索引进行表达式计算,那么索引就失效了。这是因为我们需要把索引字段都取出来,然后依次进行表达式计算进行条件判断,因此采用了全表扫描的方式,运行时间会慢很多,执行时间为 2.538 秒。


SQL 如果写成这样:


SELECT comment_id, user_id, comment_text FROM product_comment WHERE comment_id = 900000


运⾏时间为0.039秒。


  1. 如果索引使用函数,也会造成失效

比如 我们想要对 comment_text 的前三位为abc 的 内容进行条件筛选。


EXPLAIN SELECT comment_id, user_id, comment_text FROM product_comment WHERE SUBSTRING(comment_text, 1,3)='a

运行结果


+----+-------------+-----------------+------------+------+---------------+------+---------+------+--------+----------+-----
| id | select_type | table           | partitions | type | possible_keys | key  | key_len | ref  | rows   | filtered | Extr
+----+-------------+-----------------+------------+------+---------------+------+---------+------+--------+----------+-----
|  1 | SIMPLE      | product_comment | NULL       | ALL  | NULL          | NULL | NULL    | NULL | 996663 |   100.00 | Usin
+----+-------------+-----------------+------------+------+---------------+------+---------+------+--------+
  1. WHERE 子句中,如果在 OR 前的条件进行了索引,但是在 OR 之后没有进行索引,那么索引会失效。比如下面的SQL 语句,comment_id 是主键,而 comment_text 没有进行索引,因为 OR 的含义就是两个只要满足一个即可,因此只要一个条件进行索引是没有意义 的,只要有条件没进行索引,就会进行全表扫描。索引索引的条件也就失效了。


EXPLAIN SELECT comment_id, user_id, comment_text FROM product_comment WHERE comment_id = 900001 OR comment_text

运行结果


+----+-------------+-----------------+------------+------+---------------+------+---------+------+--------+----------+-----
| id | select_type | table           | partitions | type | possible_keys | key  | key_len | ref  | rows   | filtered | Extr
+----+-------------+-----------------+------------+------+---------------+------+---------+------+--------+----------+-----
|  1 | SIMPLE      | product_comment | NULL       | ALL  | PRIMARY       | NULL | NULL    | NULL | 996663 |    10.00 | Usin
+----+-------------+-----------------+------------+------+---------------+------+---------+------+--------+
  1. 当我们使用 Like 进行模糊查询时,% 在前面索引失效 比如如下:


EXPLAIN SELECT comment_id, user_id, comment_text FROM product_comment WHERE comment_text LIKE '%abc'

索引是不生效的


+----+-------------+-----------------+------------+------+---------------+------+---------+------+--------+----------+-----
| id | select_type | table           | partitions | type | possible_keys | key  | key_len | ref  | rows   | filtered | Extr
+----+-------------+-----------------+------------+------+---------------+------+---------+------+--------+----------+-----
|  1 | SIMPLE      | product_comment | NULL       | ALL  | NULL          | NULL | NULL    | NULL | 996663 |    11.11 | Usin
+----+-------------+-----------------+------------+------+---------------+------+---------+------+--------+-
  1. 索引列与 NULL 或者 NOT NULL 进行判断时也会失效

这是因为索引并不存储空值,所以最好在设计数据表的时候就将字段设置为NOTNULL约束,⽐如你可以将 INT类型的字段,默认值设置为0。将字符类型的默认值设置为空字符串(’’)


  1. 使用联合索引时要注意最左原则

最左原则也就是需要从左到右使用的索引字段中的字段,一条 SQL 语句可以只使用联合索引的一部分,但是需要从最左侧开始,否则会失效。

相关文章
|
1月前
|
SQL 安全 数据库
如何在Django中正确使用参数化查询或ORM来避免SQL注入漏洞?
如何在Django中正确使用参数化查询或ORM来避免SQL注入漏洞?
141 77
|
26天前
|
SQL NoSQL Java
Java使用sql查询mongodb
通过MongoDB Atlas Data Lake或Apache Drill,可以在Java中使用SQL语法查询MongoDB数据。这两种方法都需要适当的配置和依赖库的支持。希望本文提供的示例和说明能够帮助开发者实现这一目标。
45 17
|
21天前
|
SQL Oracle 关系型数据库
如何在 Oracle 中配置和使用 SQL Profiles 来优化查询性能?
在 Oracle 数据库中,SQL Profiles 是优化查询性能的工具,通过提供额外统计信息帮助生成更有效的执行计划。配置和使用步骤包括:1. 启用自动 SQL 调优;2. 手动创建 SQL Profile,涉及收集、执行调优任务、查看报告及应用建议;3. 验证效果;4. 使用 `DBA_SQL_PROFILES` 视图管理 Profile。
|
28天前
|
SQL Java 数据库连接
【潜意识Java】MyBatis中的动态SQL灵活、高效的数据库查询以及深度总结
本文详细介绍了MyBatis中的动态SQL功能,涵盖其背景、应用场景及实现方式。
91 6
|
2月前
|
SQL 存储 人工智能
Vanna:开源 AI 检索生成框架,自动生成精确的 SQL 查询
Vanna 是一个开源的 Python RAG(Retrieval-Augmented Generation)框架,能够基于大型语言模型(LLMs)为数据库生成精确的 SQL 查询。Vanna 支持多种 LLMs、向量数据库和 SQL 数据库,提供高准确性查询,同时确保数据库内容安全私密,不外泄。
379 7
Vanna:开源 AI 检索生成框架,自动生成精确的 SQL 查询
|
2月前
|
SQL NoSQL Java
Java使用sql查询mongodb
通过使用 MongoDB Connector for BI 和 JDBC,开发者可以在 Java 中使用 SQL 语法查询 MongoDB 数据库。这种方法对于熟悉 SQL 的团队非常有帮助,能够快速实现对 MongoDB 数据的操作。同时,也需要注意到这种方法的性能和功能限制,根据具体应用场景进行选择和优化。
109 9
|
3月前
|
SQL Java
使用java在未知表字段情况下通过sql查询信息
使用java在未知表字段情况下通过sql查询信息
54 8
|
3月前
|
SQL 安全 PHP
PHP开发中防止SQL注入的方法,包括使用参数化查询、对用户输入进行过滤和验证、使用安全的框架和库等,旨在帮助开发者有效应对SQL注入这一常见安全威胁,保障应用安全
本文深入探讨了PHP开发中防止SQL注入的方法,包括使用参数化查询、对用户输入进行过滤和验证、使用安全的框架和库等,旨在帮助开发者有效应对SQL注入这一常见安全威胁,保障应用安全。
106 4
|
3月前
|
SQL 监控 关系型数据库
SQL语句当前及历史信息查询-performance schema的使用
本文介绍了如何使用MySQL的Performance Schema来获取SQL语句的当前和历史执行信息。Performance Schema默认在MySQL 8.0中启用,可以通过查询相关表来获取详细的SQL执行信息,包括当前执行的SQL、历史执行记录和统计汇总信息,从而快速定位和解决性能瓶颈。
128 1
|
3月前
|
SQL 关系型数据库 MySQL