SQL中查询效率优化

简介: 使用索引首先我们看下百度百科上的解释:在关系数据库中,索引是一种单独的、物理的对数据库表中一列或多列的值进行排序的一种存储结构,它是某个表中一列或若干列值的集合和相应的指向表中物理标识这些值的数据页的逻辑指针清单。

使用索引

首先我们看下百度百科上的解释:

在关系数据库中,索引是一种单独的、物理的对数据库表中一列或多列的值进行排序的一种存储结构,它是某个表中一列或若干列值的集合和相应的指向表中物理标识这些值的数据页的逻辑指针清单。索引的作用相当于图书的目录,可以根据目录中的页码快速找到所需的内容。

索引是独立于表的一中物理存储结构,当我们语句中用到索引的字段的时候,数据库会首先去索引中查找满足条件的数据的索引值(相当于页码),然后在根据索引值去表中筛选出我们的结果。
当我们使用索引和不使用索引的时候,效率会相差相当大,特别是当数据量越来越大的时候。
另外需要注意的是并不是我们在where条件里面用有索引的字段进行筛选数据库在查询的时候就会走索引,有些写法会让数据库不走索引,接下来会总结一些会让查询进行全表扫描而不走索引的写法;

  • 提防ORACLE中的数据隐式转换,这个常常是容易被忽略的。
    例如:
    我们现在有USERS表,现在我们通过AGE字段查询年龄等于14的学生,字段AGE是INT类型,且有建索引,语句如下:SELECT * FROM USERS WHERE AGE = '14'由于AGE是INT类型,当你写语句的时候在14上加上了单引号('),其实语句就变成了如下SELECT * FROM USERS WHERE TO_CHAR(AGE) = '14'这就会导致索引失效进行全表扫描了。

  • 避免使用‘<>’和‘!=’,也会导致不走索引而进行全表扫描;

  • 尽量避免使用‘or’,当我们在where中使用or来进行条件连接的时候也有可能会导致全表扫描,这取决于索引类型。
    例如:
    查询姓名等于张三或者李四的学生,语句SELECT * FROM USERS WHERE NAME='张三' OR NAME = '李四'可以改为SELECT * FROM USERS WHERE NAME='张三' UNION ALL SELECT * FROM USERS WHERE NAME='李四'来进行查询。

  • 注意通配符的使用,当%前置的时候会导致索引失效进行全表扫描。
    例如:
    查询姓名中包含‘文’的学生,语句SELECT * FROM USERS WHERE NAME LIKE '%文%'可以改为SELECT * FROM USERS WHERE INSTR(NAME,'文') >0来进行查询。

执行顺序

其实为什么要知道查询执行的逻辑顺序,原因很简单,为了尽量早的筛选出我们想要的数据,将不需要的数据进行计算是需要成本的,直观的表现就是查询变慢。
查询的执行顺序:

(8)SELECT (9)DISTINCT (11)<TOP NUM> <SELECT LIST>
(1)FROM [LEFT_TABLE]
(3)<JOIN_TYPE> JOIN <RIGHT_TABLE>
(2)ON <JOIN_CONDITION>
(4)WHERE <WHERE_CONDITION>
(5)GROUP BY <GROUP_BY_LIST>
(6)WITH <CUBE | ROLLUP>
(7)HAVING <HAVING_CONDITION>
(10)ORDER BY <ORDER_BY_LIST>

另外当WHERE后跟了多项筛选条件的时候,执行顺序是自右向左/自下向上,所以我们可以把能大量筛选掉数据的条件写在最后。

SELECT * 
FROM USERS 
WHERE test1 = '1' 
    AND test2 = '2'

test1和test2都是两个不存在的字段,执行的时候会如下报错:

img_396ed8e90c2b01649f98c9d23acb312e.png
image.png

其他

  • 减少不必要的计算,例如ORDER BY/DISTICT等;
  • IN和EXISTS的选择;
    IN适合内表小外表大的情况,而EXISTS适合外表小内表大的情况。
    NOT IN 和NOT EXISTS时候选择NOT EXISTS,NOT IN不走索引。
  • 使用SELECT 字段名来代替SELECT *
  • 表连接的选择;
    优先级:
    INNER JOIN > LEFT/RIGHT JOIN > FULL JOIN
    这三者差别比较大,不影响结果的情况下选择前者。ON尽量选择主键/外键进行连接,另外在ON中我们也可以对数据惊醒筛选,我们在上面的执行顺序中是可以看到ON的执行顺序是非常靠前的。
    另外有点需要注意的是,当使用LEFT JOIN的时候,如果在WHERE中有对右表中的字段进行筛选的时候,结果就等同于INNER JOIN了,RIGHT JOIN 反之。
  • FROM多个表的时候将小表写在后面,在CBO优化器情况下默认是将后表当成驱动表的。

写SQL简单,优化SQL难,数据分析师之路长的很,慢慢走~
peace~

目录
相关文章
|
4天前
|
SQL NoSQL Java
Java使用sql查询mongodb
通过使用 MongoDB Connector for BI 和 JDBC,开发者可以在 Java 中使用 SQL 语法查询 MongoDB 数据库。这种方法对于熟悉 SQL 的团队非常有帮助,能够快速实现对 MongoDB 数据的操作。同时,也需要注意到这种方法的性能和功能限制,根据具体应用场景进行选择和优化。
27 9
|
25天前
|
SQL 存储 人工智能
Vanna:开源 AI 检索生成框架,自动生成精确的 SQL 查询
Vanna 是一个开源的 Python RAG(Retrieval-Augmented Generation)框架,能够基于大型语言模型(LLMs)为数据库生成精确的 SQL 查询。Vanna 支持多种 LLMs、向量数据库和 SQL 数据库,提供高准确性查询,同时确保数据库内容安全私密,不外泄。
94 7
Vanna:开源 AI 检索生成框架,自动生成精确的 SQL 查询
|
10天前
|
SQL Oracle 数据库
使用访问指导(SQL Access Advisor)优化数据库业务负载
本文介绍了Oracle的SQL访问指导(SQL Access Advisor)的应用场景及其使用方法。访问指导通过分析给定的工作负载,提供索引、物化视图和分区等方面的优化建议,帮助DBA提升数据库性能。具体步骤包括创建访问指导任务、创建工作负载、连接工作负载至访问指导、设置任务参数、运行访问指导、查看和应用优化建议。访问指导不仅针对单条SQL语句,还能综合考虑多条SQL语句的优化效果,为DBA提供全面的决策支持。
36 11
|
1月前
|
SQL 缓存 监控
大厂面试高频:4 大性能优化策略(数据库、SQL、JVM等)
本文详细解析了数据库、缓存、异步处理和Web性能优化四大策略,系统性能优化必知必备,大厂面试高频。关注【mikechen的互联网架构】,10年+BAT架构经验倾囊相授。
大厂面试高频:4 大性能优化策略(数据库、SQL、JVM等)
|
1月前
|
SQL Java
使用java在未知表字段情况下通过sql查询信息
使用java在未知表字段情况下通过sql查询信息
38 8
|
1月前
|
SQL 缓存 数据库
SQL慢查询优化策略
在数据库管理和应用开发中,SQL查询的性能优化至关重要。慢查询优化不仅可以提高应用的响应速度,还能降低服务器负载,提升用户体验。本文将详细介绍针对SQL慢查询的优化策略。
|
1月前
|
SQL 存储 BI
gbase 8a 数据库 SQL合并类优化——不同数据统计周期合并为一条SQL语句
gbase 8a 数据库 SQL合并类优化——不同数据统计周期合并为一条SQL语句
|
1月前
|
SQL 数据库
gbase 8a 数据库 SQL优化案例-关联顺序优化
gbase 8a 数据库 SQL优化案例-关联顺序优化
|
1月前
|
SQL 数据库 UED
SQL性能提升秘籍:5步优化法与10个实战案例
在数据库管理和应用开发中,SQL查询的性能优化至关重要。高效的SQL查询不仅可以提高应用的响应速度,还能降低服务器负载,提升用户体验。本文将分享SQL优化的五大步骤和十个实战案例,帮助构建高效、稳定的数据库应用。
68 3
|
1月前
|
SQL 安全 PHP
PHP开发中防止SQL注入的方法,包括使用参数化查询、对用户输入进行过滤和验证、使用安全的框架和库等,旨在帮助开发者有效应对SQL注入这一常见安全威胁,保障应用安全
本文深入探讨了PHP开发中防止SQL注入的方法,包括使用参数化查询、对用户输入进行过滤和验证、使用安全的框架和库等,旨在帮助开发者有效应对SQL注入这一常见安全威胁,保障应用安全。
63 4