SQL优化三步曲

简介: 三步改变线上业务库中SQL执行很满,导致每次跑1分钟才结束的难题。

有一天开发同学反馈线上业务库中有一条SQL执行很满,每次几乎要跑1分钟才结束,希望我们帮忙优化一下,具体SQL如下:

image.png

SQL优化第一步 - 查看执行计划

对于一个SQL的优化,我们的第一步也是最重要的一步就是查看SQL执行计划,SQL执行计划一方面告诉我们SQL具体的处理行为,另外一方面也可以体现每个执行步骤下大致的资源消耗点。所以我们拿到问题SQL以及对应数据库环境后,登录该环境只读实例进行SQL分析测试。

image.png

从以上的SQL执行计划我们可以获取到哪些有效信息呢?

  • SQL先对t表扫描查询生产派生表,brand通过索引过滤作为表关联的驱动表,与vender、product、shop_product、spu、进行关联查询,表关联均有效利用索引。
  • 从type字段上看,SQL基本上都有效利用到了索引,但是index其实是全索引扫描,该方式的索引扫描执行效率并不会很好
  • 对t表的index全索引扫描数据量高达480w,在当前SQL中执行消耗最大,这也将是我们SQL优化的切入点
  • t表在源SQL中并未出现,再次仔细观察SQL可以发现SQL引用了view_prod_store_sum的视图

SQL优化第二步 -

在MySQL中对于视图使用我们需要知道的是虽然MySQL对视图的查询做了一些优化,但是对于复杂视图查询其优化支持仍然不是很好,所以业务上我们要尽量避免对复杂视图的使用。在本SQL中视图其实是对单表的查询,且目前SQL资源消耗的瓶颈点也在视图查询这部分,所以我们将视图的定义通过子查询代替原视图,整体的来看SQL。

视图定义:

image.png

完整SQL:

image.png

SQL优化第三步 - 适当改写

结合我们获取到的SQL执行计划以及恢复出来的完整SQL,我们再次理解当前SQL的处理行为:

1)对t表进行全索引扫描,生产派生表2

2)brand表通过brand_id IN (252)条件进行索引过滤,后续与其他表以及派生表2进行关联查询

  • 资源消耗点分析:

从SQL真正需要查询的数据来看,我们只需要先通过where子句中表过滤条件过滤获取初步满足条件记录,然后对这些记录判断 sum(store) > 0是否满足,满足则返回。但是该SQL实际处理却是先将t表中所有记录的store进行分组计算,将结果保存在派生表中。通过where子句中表过滤条件后的记录再与派生表关联判断sum(store)。

SQL在处理的过程似乎扫描了很多不必要的数据,我们为何不仅仅对已满足where子句条件过滤的记录做sum(store)判断呢?

基于以上的分析,我们尝试使用exists相关子查询进行改写测试。为什么使用相关子查询呢,这是因为exists在处理SQL时的核心思想是先对where 前的主查询询进行查询,然后用主查询的结果一个一个的代入exists的查询进行判断。 因此我们可以有效的利用exists避免的避免掉优先对t表的派生表产生,保证SQL优先通过where子句中选择性最佳的条件做驱动表,然后对sum(store)通过相关子查询进行判断。

  • 具体改写如下:
    image.png
  • 改写后的执行计划:

image

  • 执行效率对比

优化前:

image.png

优化后:

image.png

在一般业务SQL编写中,我们都推荐开发同学使用join而不是exists,这是因为exists本身处理SQL的方式下如果where条件处理后外表记录仍然很大的情况下,再次将外表中每条记录代入exists子查询中判断,其资源消耗代价是很大的。所以我们更偏向使用JOIN,在满足必要的索引情况下MySQL优化器优先选择小表进行驱动。无论具体选择什么方式,其实减少扫描函数才是王道!

目录
相关文章
|
3月前
|
SQL 存储 关系型数据库
如何巧用索引优化SQL语句性能?
本文从索引角度探讨了如何优化MySQL中的SQL语句性能。首先介绍了如何通过查看执行时间和执行计划定位慢SQL,并详细解析了EXPLAIN命令的各个字段含义。接着讲解了索引优化的关键点,包括聚簇索引、索引覆盖、联合索引及最左前缀原则等。最后,通过具体示例展示了索引如何提升查询速度,并提供了三层B+树的存储容量计算方法。通过这些技巧,可以帮助开发者有效提升数据库查询效率。
235 2
|
17天前
|
SQL Oracle 数据库
使用访问指导(SQL Access Advisor)优化数据库业务负载
本文介绍了Oracle的SQL访问指导(SQL Access Advisor)的应用场景及其使用方法。访问指导通过分析给定的工作负载,提供索引、物化视图和分区等方面的优化建议,帮助DBA提升数据库性能。具体步骤包括创建访问指导任务、创建工作负载、连接工作负载至访问指导、设置任务参数、运行访问指导、查看和应用优化建议。访问指导不仅针对单条SQL语句,还能综合考虑多条SQL语句的优化效果,为DBA提供全面的决策支持。
45 11
|
2月前
|
SQL 缓存 监控
大厂面试高频:4 大性能优化策略(数据库、SQL、JVM等)
本文详细解析了数据库、缓存、异步处理和Web性能优化四大策略,系统性能优化必知必备,大厂面试高频。关注【mikechen的互联网架构】,10年+BAT架构经验倾囊相授。
大厂面试高频:4 大性能优化策略(数据库、SQL、JVM等)
|
2月前
|
SQL 缓存 数据库
SQL慢查询优化策略
在数据库管理和应用开发中,SQL查询的性能优化至关重要。慢查询优化不仅可以提高应用的响应速度,还能降低服务器负载,提升用户体验。本文将详细介绍针对SQL慢查询的优化策略。
|
2月前
|
SQL 存储 BI
gbase 8a 数据库 SQL合并类优化——不同数据统计周期合并为一条SQL语句
gbase 8a 数据库 SQL合并类优化——不同数据统计周期合并为一条SQL语句
|
2月前
|
SQL 数据库
gbase 8a 数据库 SQL优化案例-关联顺序优化
gbase 8a 数据库 SQL优化案例-关联顺序优化
|
2月前
|
SQL 数据库 UED
SQL性能提升秘籍:5步优化法与10个实战案例
在数据库管理和应用开发中,SQL查询的性能优化至关重要。高效的SQL查询不仅可以提高应用的响应速度,还能降低服务器负载,提升用户体验。本文将分享SQL优化的五大步骤和十个实战案例,帮助构建高效、稳定的数据库应用。
81 3
|
2月前
|
SQL 存储 缓存
如何优化SQL查询性能?
【10月更文挑战第28天】如何优化SQL查询性能?
174 10
|
2月前
|
SQL 存储 缓存
SQL Server 数据太多如何优化
11种优化方案供你参考,优化 SQL Server 数据库性能得从多个方面着手,包括硬件配置、数据库结构、查询优化、索引管理、分区分表、并行处理等。通过合理的索引、查询优化、数据分区等技术,可以在数据量增大时保持较好的性能。同时,定期进行数据库维护和清理,保证数据库高效运行。
|
3月前
|
SQL 资源调度 分布式计算
如何让SQL跑快一点?(优化指南)
这篇文章主要探讨了如何在阿里云MaxCompute(原ODPS)平台上对SQL任务进行优化,特别是针对大数据处理和分析场景下的性能优化。