一次SQL优化经历

简介:

最近遇到一个SQL执行很慢。这个SQL比较长,但基本的形态比较简单:

SELECT T1.*, T2.C1 .... FROM T1 LEFT JOIN T2 ON T1.C1 = T2.C1 LEFT JOIN T3 ON T1.C2 = T3.C1 LEFT JOIN T3 ON T1.C3 = T3.C1 ....

  1. 执行explain ,直接查看执行计划。发现很多的SeqScan(表扫描)。其中有一个表T3,被反复连接,且每次连接都使用了表扫描:

screenshot

先看看这张表的情况,实际上连接使用的都是C1字段,而这个字段上有索引,为什么没有使用?利用select count(*) from T3,看到此张表的数据量不大(13393),这可能是优化器为选择索引的原因(数据量过小),但也可能是 统计信息不准确造成,执行了ANALYZE T3未见变化。(后来发现是这样,当加入LIMIT子句,且limit小于10000时,使用的是索引扫描,否则使用的是表扫描,这是由优化器根据代价评估决定的,并没有问题。)

这里,我们感觉执行计划基本没有问题。

  1. 用explain analyze 分析SQL执行过程中,哪个环节耗费了最多时间。直接执行发现长时间得不到结果,所以加入了LIMIT子句,即 explain analyze limit 1000,执行耗时8秒多。查询计划中处理了对T4等表的表扫描,但这些表数据量都不大。仔细查看查询计划中的actual time的变化情况,发现在第二行出现了一个不正常的现象:actual time=11.614..8913.433 。这个数据中,11.614代表输出第一行时所用的时间,8913.433 代码输出所有行的时间,也就是说输出第一行用了11ms,输出1000行用了8.9秒!

screenshot

查看最后一行,发现了原因,这里有个SubPlan,就是每次输出一行前都要计算一下这个SubPlan,而这个Subplan含有对T1的一次表扫描,就是说每次都要对hr_users全部扫描一次,返回1000条结果要扫描1000次T1。hr_users有2万多条记录,即总计扫描2000万左右的记录!

screenshot

  1. 查看SQL,发现这个Subplan对应一个SELECT里面的子查询,里面有个条件是WHERE TO_CHAR(T1.C10) = TO_CHAR(TEMP.C20)) ,而我们知道这种TO_CHAR转换容易造成索引无法使用(USER_ID是数字类型)。将这个条件改为:T1.C10 = TO_number(TEMP.C20)) (还需要业务评估是否可以这样改!),上述语句的运行时间由8秒降低至100多ms!!
  2. 试着执行explain analyze limit 30000,发现与T2的连接的计划中含有如下提示:
    screenshot

即与T2的连接过滤了很多记录,怀疑是否这个连接是性能瓶颈。而T2是个View,于是试着把这个View的结果插入到一个表中,并建立索引,使用这个表替换T2,发现作用不大。

  1. 为了防止统计信息不准确,运行了如下的语句收集查询中涉及的表的统计信息:

  2. T1;
  3. T2;
    Analyze T3;
    Analyze T4;

上述修改后,大幅降低了原SQL的查询延迟。直接执行这个SQL结果超过数十万行,因此进一步的优化,需要查看这个SQL是如何使用的,根据场景进行优化。

目录
相关文章
MySQL进阶突击系列(07) 她气鼓鼓递来一条SQL | 怎么看执行计划、SQL怎么优化?
在日常研发工作当中,系统性能优化,从大的方面来看主要涉及基础平台优化、业务系统性能优化、数据库优化。面对数据库优化,除了DBA在集群性能、服务器调优需要投入精力,我们研发需要负责业务SQL执行优化。当业务数据量达到一定规模后,SQL执行效率可能就会出现瓶颈,影响系统业务响应。掌握如何判断SQL执行慢、以及如何分析SQL执行计划、优化SQL的技能,在工作中解决SQL性能问题显得非常关键。
如何优化SQL查询以提高数据库性能?
这篇文章以生动的比喻介绍了优化SQL查询的重要性及方法。它首先将未优化的SQL查询比作在自助餐厅贪多嚼不烂的行为,强调了只获取必要数据的必要性。接着,文章详细讲解了四种优化策略:**精简选择**(避免使用`SELECT *`)、**专业筛选**(利用`WHERE`缩小范围)、**高效联接**(索引和限制数据量)以及**使用索引**(加速搜索)。此外,还探讨了如何避免N+1查询问题、使用分页限制结果、理解执行计划以及定期维护数据库健康。通过这些技巧,可以显著提升数据库性能,让查询更高效流畅。
基于SQL Server / MySQL进行百万条数据过滤优化方案
对百万级别数据进行高效过滤查询,需要综合使用索引、查询优化、表分区、统计信息和视图等技术手段。通过合理的数据库设计和查询优化,可以显著提升查询性能,确保系统的高效稳定运行。
173 9
如何在 Oracle 中配置和使用 SQL Profiles 来优化查询性能?
在 Oracle 数据库中,SQL Profiles 是优化查询性能的工具,通过提供额外统计信息帮助生成更有效的执行计划。配置和使用步骤包括:1. 启用自动 SQL 调优;2. 手动创建 SQL Profile,涉及收集、执行调优任务、查看报告及应用建议;3. 验证效果;4. 使用 `DBA_SQL_PROFILES` 视图管理 Profile。
使用访问指导(SQL Access Advisor)优化数据库业务负载
本文介绍了Oracle的SQL访问指导(SQL Access Advisor)的应用场景及其使用方法。访问指导通过分析给定的工作负载,提供索引、物化视图和分区等方面的优化建议,帮助DBA提升数据库性能。具体步骤包括创建访问指导任务、创建工作负载、连接工作负载至访问指导、设置任务参数、运行访问指导、查看和应用优化建议。访问指导不仅针对单条SQL语句,还能综合考虑多条SQL语句的优化效果,为DBA提供全面的决策支持。
165 11
大厂面试高频:4 大性能优化策略(数据库、SQL、JVM等)
本文详细解析了数据库、缓存、异步处理和Web性能优化四大策略,系统性能优化必知必备,大厂面试高频。关注【mikechen的互联网架构】,10年+BAT架构经验倾囊相授。
大厂面试高频:4 大性能优化策略(数据库、SQL、JVM等)
Spark SQL向量化执行引擎框架Gluten-Velox在AArch64使能和优化
本文摘自 Arm China的工程师顾煜祺关于“在 Arm 平台上使用 Native 算子库加速 Spark”的分享,主要内容包括以下四个部分: 1.技术背景 2.算子库构成 3.算子操作优化 4.未来工作
622 0
SQL慢查询优化策略
在数据库管理和应用开发中,SQL查询的性能优化至关重要。慢查询优化不仅可以提高应用的响应速度,还能降低服务器负载,提升用户体验。本文将详细介绍针对SQL慢查询的优化策略。
gbase 8a 数据库 SQL合并类优化——不同数据统计周期合并为一条SQL语句
gbase 8a 数据库 SQL合并类优化——不同数据统计周期合并为一条SQL语句

热门文章

最新文章

AI助理
登录插画

登录以查看您的控制台资源

管理云资源
状态一览
快捷访问

你好,我是AI助理

可以解答问题、推荐解决方案等