生产环境sql语句调优实战第五篇

简介: 今天在生产环境中发现一条sql语句尽管走了主键索引,但是查询还是很慢。 sql语句类似下面的形式: SELECT /*+ index (bl1_cyc_payer_pop BL1_CYC_PAYER_POP_PK) */  T_TAX.
今天在生产环境中发现一条sql语句尽管走了主键索引,但是查询还是很慢。
sql语句类似下面的形式:
SELECT /*+ index (bl1_cyc_payer_pop BL1_CYC_PAYER_POP_PK) */
 T_TAX.BA_NO,
 T_TAX.TOTAL_TAX_AMT,
 T_TAX.TAX_RELATION,
 T_TAX_ITEM.TAX_ITEM_SEQ_NO,
 T_TAX_ITEM.TAX_SEQ_NO,
 T_TAX_ITEM.TAX_AUTHORITY,
 T_TAX_ITEM.TAX_TYPE,
 T_TAX_ITEM.TAX_RATE,
 T_TAX_ITEM.TAX_AMOUNT,
 T_TAX_ITEM.TAXABLE_AMOUNT,
 .......
  FROM T_TAX, T_TAX_ITEM, T_DOCUMENT, T_CYC_PAYER_POP --这几张都是大表,少则500万左右,多则1000多万。
 WHERE T_TAX.TAX_ITEM_PERIOD_KEY = T_TAX_ITEM.PERIOD_KEY
   AND T_TAX.CUSTOMER_KEY = T_CYC_PAYER_POP.CUSTOMER_KEY
   AND T_TAX.BA_NO = T_CYC_PAYER_POP.BA_NO
   AND T_TAX.CYCLE_SEQ_NO = T_CYC_PAYER_POP.CYCLE_SEQ_NO
   AND T_TAX.CYCLE_SEQ_RUN = T_CYC_PAYER_POP.CYCLE_SEQ_RUN
   AND T_TAX.PERIOD_KEY = T_CYC_PAYER_POP.PERIOD_KEY
   AND T_TAX_ITEM.CUSTOMER_KEY = T_CYC_PAYER_POP.CUSTOMER_KEY
   AND T_TAX_ITEM.TAX_SEQ_NO = T_TAX.TAX_SEQ_NO
   AND T_DOCUMENT.PERIOD_KEY = T_CYC_PAYER_POP.PERIOD_KEY
   AND T_DOCUMENT.CUSTOMER_KEY = T_CYC_PAYER_POP.CUSTOMER_KEY
   AND T_DOCUMENT.BA_NO = T_CYC_PAYER_POP.BA_NO
   AND T_DOCUMENT.CYCLE_SEQ_NO = T_CYC_PAYER_POP.CYCLE_SEQ_NO
   AND T_DOCUMENT.CYCLE_SEQ_RUN = T_CYC_PAYER_POP.CYCLE_SEQ_RUN
   AND T_DOCUMENT.DOC_PRODUCE_IND IN ('Y', 'E')
   AND T_CYC_PAYER_POP.CUSTOMER_KEY = 78
   AND T_CYC_PAYER_POP.PERIOD_KEY = 55
   AND T_CYC_PAYER_POP.QA_GROUP = 3
   AND T_CYC_PAYER_POP.CYCLE_SEQ_NO = 2925

查看该sql的执行计划
发现有严重的io问题,瓶颈就在于使用的primary key对应的index
Id Operation Name Estimated
Rows
Cost Active Period 
(56s)
Execs Rows Memory Temp IO Requests CPU Activity Wait Activity

.

0 SELECT STATEMENT

.

.

.

.

.

.

1 67

.

.

.

.

.

1 . NESTED LOOPS

.

.

.

.

.

.

1 67

.

.

.

.

.

2 .. NESTED LOOPS

.

1 2447

.

.

.

1 67

.

.

.

.

.

3 ... NESTED LOOPS

.

1 2446

.

.

.

1 67

.

.

.

.

.

4 .... NESTED LOOPS

.

1 2445

.

.

.

1 9

.

.

.

.

.

5 .....PARTITION RANGE SINGLE

.

1 2444

.

.

.

1 9

.

.

.

.

.

6 ...... TABLE ACCESS BY LOCAL INDEX ROWID CYC_PAYER_POP 1 2444

.

.

.

1 9

.

.

11 (

.

.

-> 7 .......INDEX FULL SCAN CYC_PAYER_POP_PK 1 2444

.

.

1 793

.

.

.

23172 (95%)

.

100%

.

100%

这个问题很值得深究,完全可以使用如下的方式来验证。我尝试使用pk的Hint,另外不加任何hint,看表查询的时候会不会使用index
-->使用hint强制走主键查询
Plan hash value: 3105767292
---------------------------------------------------------------------------------------------------------------------------
| Id  | Operation                          | Name                 | Rows  | Bytes | Cost (%CPU)| Time     | Pstart| Pstop |
---------------------------------------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT                   |                      |     1 |    12 |   2501   (1)| 00:00:31 |       |       |
|   1 |  PARTITION RANGE SINGLE            |                      |     1 |    12 |  2501   (1)| 00:00:31 |   171 |   171 |
|*  2 |   TABLE ACCESS BY LOCAL INDEX ROWID| T_CYC_PAYER_POP      |     1 |    12 |  2501   (1)| 00:00:31 |   171 |   171 |
|*  3 |    INDEX FULL SCAN                 | T_CYC_PAYER_POP_PK   |   541 |       |  2444   (1)| 00:00:30 |   171 |   171 |
---------------------------------------------------------------------------------------------------------------------------

Predicate Information (identified by operation id):
---------------------------------------------------
   2 - filter("T_CYC_PAYER_POP"."QA_GROUP"=3)
   3 - access("T_CYC_PAYER_POP"."CYCLE_SEQ_NO"=2925 AND "T_CYC_PAYER_POP"."PERIOD_KEY"=55 AND
              "T_CYC_PAYER_POP"."CUSTOMER_KEY"=78)
       filter("T_CYC_PAYER_POP"."CUSTOMER_KEY"=78 AND "T_CYC_PAYER_POP"."CYCLE_SEQ_NO"=2925 AND
              "T_CYC_PAYER_POP"."PERIOD_KEY"=55)
Statistics
----------------------------------------------------------
          1  recursive calls
          0  db block gets
      31395  consistent gets
          0  physical reads
          0  redo size
        910  bytes sent via SQL*Net to client
        520  bytes received via SQL*Net from client
          2  SQL*Net roundtrips to/from client
          0  sorts (memory)
          0  sorts (disk)
          8  rows processed

-->来看看不使用hint之后,发生了什么
select  T_CYC_PAYER_POP.CUSTOMER_KEY,
        T_CYC_PAYER_POP.PERIOD_KEY,
        T_CYC_PAYER_POP.QA_GROUP ,
    T_CYC_PAYER_POP.CYCLE_SEQ_NO 
    from T_CYC_PAYER_POP where  T_CYC_PAYER_POP.CUSTOMER_KEY = 78
   AND T_CYC_PAYER_POP.PERIOD_KEY = 55
   AND T_CYC_PAYER_POP.QA_GROUP = 3
   AND T_CYC_PAYER_POP.CYCLE_SEQ_NO = 2925 
    /

Execution Plan
----------------------------------------------------------
Plan hash value: 23637115
----------------------------------------------------------------------------------------------------------------------------
| Id  | Operation                          | Name                  | Rows  | Bytes | Cost (%CPU)| Time     | Pstart| Pstop |
----------------------------------------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT                   |                       |     1 |    12 |     2   (0)| 00:00:01 |       |       |
|   1 |  PARTITION RANGE SINGLE            |                       |     1 |    12 |     2   (0)| 00:00:01 |   171 |   171 |
|*  2 |   TABLE ACCESS BY LOCAL INDEX ROWID| T_CYC_PAYER_POP     |     1 |    12 |     2   (0)| 00:00:01 |   171 |   171 |
|*  3 |    INDEX RANGE SCAN                | T_CYC_PAYER_POP_5IX |   535 |       |     1   (0)| 00:00:01 |   171 |   171 |
----------------------------------------------------------------------------------------------------------------------------
Predicate Information (identified by operation id):
---------------------------------------------------
   2 - filter("T_CYC_PAYER_POP"."CUSTOMER_KEY"=78 AND "T_CYC_PAYER_POP"."PERIOD_KEY"=55)
   3 - access("T_CYC_PAYER_POP"."QA_GROUP"=3 AND "T_CYC_PAYER_POP"."CYCLE_SEQ_NO"=2925)

Statistics
----------------------------------------------------------
          1  recursive calls
          0  db block gets
        951  consistent gets
        644  physical reads
         80  redo size
        910  bytes sent via SQL*Net to client
        520  bytes received via SQL*Net from client
          2  SQL*Net roundtrips to/from client
          0  sorts (memory)
          0  sorts (disk)
          8  rows processed
启用了index range scan,而且从执行计划和统计信息来看,明显要比全索引扫描效率高得多。
可以看到使用index range scan之后,先查询了索引列的信息,然后无法走索引过滤了其他的条件。根据目前的数据情况,这个效率要比全索引效率还高的多。


以下是做了hint的改动之后,统计信息的情况,可以看到明显的改善。对于这个Hint的细节需要和客户做更多的确认,毕竟对于调优不能越调越差,稳定和高效才是关键。
Statistics
----------------------------------------------------------
          1  recursive calls
          0  db block gets
       1178  consistent gets
        756  physical reads
          0  redo size
       3229  bytes sent via SQL*Net to client
        553  bytes received via SQL*Net from client
          5  SQL*Net roundtrips to/from client
          0  sorts (memory)
          0  sorts (disk)
         58  rows processed

目录
相关文章
|
2天前
|
云安全 数据采集 人工智能
古茗联名引爆全网,阿里云三层防护助力对抗黑产
阿里云三层校验+风险识别,为古茗每一杯奶茶保驾护航!
古茗联名引爆全网,阿里云三层防护助力对抗黑产
|
6天前
|
人工智能 中间件 API
AutoGen for .NET - 架构学习指南
《AutoGen for .NET 架构学习指南》系统解析微软多智能体框架,涵盖新旧双架构、核心设计、技术栈与实战路径,助你从入门到精通,构建分布式AI协同系统。
302 142
|
6天前
|
Kubernetes 算法 Go
Kubeflow-Katib-架构学习指南
本指南带你深入 Kubeflow 核心组件 Katib,一个 Kubernetes 原生的自动化机器学习系统。从架构解析、代码结构到技能清单与学习路径,助你由浅入深掌握超参数调优与神经架构搜索,实现从使用到贡献的进阶之旅。
281 139
|
2天前
|
存储 机器学习/深度学习 人工智能
大模型微调技术:LoRA原理与实践
本文深入解析大语言模型微调中的关键技术——低秩自适应(LoRA)。通过分析全参数微调的计算瓶颈,详细阐述LoRA的数学原理、实现机制和优势特点。文章包含完整的PyTorch实现代码、性能对比实验以及实际应用场景,为开发者提供高效微调大模型的实践指南。
362 0
|
3天前
|
传感器 人工智能 算法
数字孪生智慧水务系统,三维立体平台,沃思智能
智慧水务系统融合物联网、数字孪生与AI技术,实现供水全流程智能监测、预测性维护与动态优化。通过实时数据采集与三维建模,提升漏损控制、节能降耗与应急响应能力,推动水务管理从经验驱动迈向数据驱动,助力城市水资源精细化、可持续化管理。
264 142
|
1天前
|
存储 人工智能 Java
AI 超级智能体全栈项目阶段四:学术分析 AI 项目 RAG 落地指南:基于 Spring AI 的本地与阿里云知识库实践
本文介绍RAG(检索增强生成)技术,结合Spring AI与本地及云知识库实现学术分析AI应用,利用阿里云Qwen-Plus模型提升回答准确性与可信度。
191 90
AI 超级智能体全栈项目阶段四:学术分析 AI 项目 RAG 落地指南:基于 Spring AI 的本地与阿里云知识库实践
|
17天前
|
存储 关系型数据库 分布式数据库
PostgreSQL 18 发布,快来 PolarDB 尝鲜!
PostgreSQL 18 发布,PolarDB for PostgreSQL 全面兼容。新版本支持异步I/O、UUIDv7、虚拟生成列、逻辑复制增强及OAuth认证,显著提升性能与安全。PolarDB-PG 18 支持存算分离架构,融合海量弹性存储与极致计算性能,搭配丰富插件生态,为企业提供高效、稳定、灵活的云数据库解决方案,助力企业数字化转型如虎添翼!
|
2天前
|
机器学习/深度学习 人工智能 运维
智能照明稳压节能控制器,路灯节能稳压系统,沃思智能
智能照明调控柜集电力分配、远程控制与能耗管理于一体,支持自动调光、场景切换与云平台运维,广泛应用于市政、商业及工业领域,显著节能降耗,助力智慧城市建设。
180 137
kde
|
2天前
|
人工智能 关系型数据库 PostgreSQL
n8n Docker 部署手册
n8n是一款开源工作流自动化平台,支持低代码与可编程模式,集成400+服务节点,原生支持AI与API连接,可自托管部署,助力团队构建安全高效的自动化流程。
kde
242 3