巧用rowid简化sql查询

简介: 生产系统中有一条sql语句,目前执行的时间有点长了,而且看起来有些臃肿,客户问能不能改进一下。得到的sql语句如下: SELECT COUNT(1)   FROM (          SELECT /*+ leading (payment_temp_ta...
生产系统中有一条sql语句,目前执行的时间有点长了,而且看起来有些臃肿,客户问能不能改进一下。得到的sql语句如下:

SELECT COUNT(1)
  FROM ( 
        SELECT /*+ leading (payment_temp_table payment PAYMENT_DETAILS account memo) use_nl (payment_temp_table ar1_payment PAYMENT_DETAILS account memo) index (payment payment_pk) index (PAYMENT_DETAILS PAYMENT_DETAILS_pk) */
         PAYMENT_DETAILS.PAYMENT_ID,
          PAYMENT.CREDIT_ID,
          PAYMENT.ACCOUNT_ID,
          PAYMENT.AMOUNT,
          PAYMENT.ORIGINAL_AMOUNT,
          PAYMENT.ORIGINAL_CONVERTED_AMOUNT,
          PAYMENT_DETAILS.PAYMENT_METHOD,
          PAYMENT_DETAILS.DEPOSIT_DATE,
          PAYMENT_DETAILS.CURRENCY,
          PAYMENT_DETAILS.CHECK_NO,
          PAYMENT_DETAILS.CREDIT_CARD_NUMBER,
          PAYMENT_DETAILS.BANK_CODE,
          PAYMENT_DETAILS.BANK_ACCOUNT_NUMBER,
          ACCOUNT.ACCOUNT_TIMESTAMP,
          ACCOUNT.CURRENCY,
          PAYMENT_DETAILS.PAYMENT_SUB_METHOD,
          ACCOUNT.BE,
              MEMO.MEMO_TEXT,
          PAYMENT_DETAILS.PERIOD_KEY,
          PAYMENT_DETAILS.PARTITION_ID,
          PAYMENT_DETAILS.AMOUNT,
          PAYMENT.ACTIVITY_DATE,
          PAYMENT_DETAILS.ACCOUNT_ID,
          PAYMENT.L9_RT_ID,
          PAYMENT_DETAILS.L9_CONV_INV_NUMBER,
          PAYMENT_DETAILS.CC_EXPIRY_DATE,
          PAYMENT_DETAILS.DIRECT_DEBIT_VOUCHER,
          PAYMENT_DETAILS.PAYMENT_SOURCE_TYPE,
          PAYMENT.L9_WHT_AMT,
          PAYMENT.L9_WHT_CERT_NO,
          PAYMENT.L9_WHT_RATE,
          PAYMENT.L9_VAT_AMOUNT,
          PAYMENT.L9_PRINT_RT_IND,
          PAYMENT.L9_USER_ID,
          PAYMENT.L9_RT_EXTRACT_IND,
          PAYMENT.L9_ECA_REASON_CODE,
          PAYMENT.L9_RT_GENERATE_MODE,
          PAYMENT_DETAILS.L9_VAT_AMOUNT,
          PAYMENT.BILL_SEQ_NO,
          PAYMENT.ACTIVITY_INDICATOR,
          ACCOUNT.L9_COMPANY_CODE,
          PAYMENT_DETAILS.PAYMENT_SOURCE_ID,
          PAYMENT.OPERATOR_ID
          FROM PAYMENT_DETAILS,
                PAYMENT,
                ACCOUNT,
                MEMO,
                (SELECT row_number,
                        PAYMENT_ID,
                        CREDIT_ID,
                        ACCOUNT_ID,
                        PD_PARTITION_ID,
                        PD_PERIOD_KEY,
                        PT_PARTITION_ID,
                        PT_PERIOD_KEY
                   FROM (SELECT rownum as row_number,
                                PAYMENT_ID,
                                CREDIT_ID,
                                ACCOUNT_ID,
                                PD_PARTITION_ID,
                                PD_PERIOD_KEY,
                                PT_PARTITION_ID,
                                PT_PERIOD_KEY
                           FROM (SELECT /*+ leading (pt a pd) use_nl (pt a pd) index (pd PAYMENT_DETAILS_pk) */
                                 DISTINCT PD.PAYMENT_ID,
                                          PT.CREDIT_ID,
                                          A.ACCOUNT_ID,
                                          pd.partition_id pd_partition_id,
                                          pd.period_key pd_period_key,
                                          pt.partition_id pt_partition_id,
                                          pt.period_key pt_period_key
                                   FROM PAYMENT_DETAILS PD,
                                        PAYMENT         PT,
                                        ACCOUNT         A
                                  WHERE PT.PARTITION_ID = A.PARTITION_ID
                                    AND PT.ACCOUNT_ID = A.ACCOUNT_ID
                                    AND PD.PARTITION_ID = PT.PYMDT_PARTITION_ID
                                    AND PD.PERIOD_KEY = PT.PYMDT_PERIOD_KEY
                                    AND PD.PAYMENT_ID = PT.PAYMENT_ID
                                    AND (a.be IN
                                        (SELECT child_be_id
                                            FROM gn1_boh_relation
                                           START WITH parent_be_id = NVL(0, 0)
                                          CONNECT BY PRIOR
                                                      child_be_id = parent_be_id) OR
                                        a.be = NVL(0, 0))
                                    AND ROWNUM                                   ORDER BY pt.ACTIVITY_DATE DESC,
                                           pt.CREDIT_ID     DESC))
                  WHERE row_number BETWEEN 1 AND 100) PAYMENT_TEMP_TABLE
         WHERE PAYMENT_DETAILS.PAYMENT_ID = PAYMENT_TEMP_TABLE.PAYMENT_ID
           AND PAYMENT_DETAILS.partition_id =
               payment_temp_table.pd_partition_id
           AND PAYMENT_DETAILS.period_key =
               payment_temp_table.pd_period_key
           AND ACCOUNT.account_id = payment_temp_table.account_id
           AND PAYMENT.credit_id = payment_temp_table.credit_id
           AND PAYMENT.partition_id = payment_temp_table.pt_partition_id
           AND PAYMENT.period_key = payment_temp_table.pt_period_key
           AND MEMO.memo_id(+) = PAYMENT_DETAILS.memo_id);

index的信息如下:
   INDEX_NAME                     TABLESPACE INDEX_TYPE UNIQUENES PAR COLUMN_LIST                        TABLE_TYPE STATUS   NUM_ROWS LAST_ANAL G
------------------------------ ---------- ---------- --------- --- ------------------------------     ---------- ------ ---------- --------- -
   PAYMENT_DETAILS_PK                     NORMAL     UNIQUE    YES PAYMENT_ID,PARTITION_ID,PERIOD_KEY TABLE      N/A       6718838 16-JUL-14 N                        ------------------------------ ---------- ---------- --------- --- ------------------------------ ---------- ------ ---------- --------- -
    PAYMENT_PK                            NORMAL     UNIQUE    YES CREDIT_ID,PARTITION_ID,PERIOD_KEY  TABLE      N/A       6914026 16-JUL-14 N
           
可以看到基本索引在查询条件中能用都用到了,而且使用了hint,根据sql内容来看,这个查询只是需要得到对应的记录条数而已,是在原有的查询语句的基础上直接加了select count(1) from xxx改进的来的。

所以对于这类查询,就需要摆脱思想的束缚,可以最大程度上简化sql,达到同样的效果。

改进后的sql语句如下:
SELECT COUNT(1)
  FROM ( 
        SELECT
         PAYMENT_DETAILS.rowid, 
         PAYMENT.rowid,
          ACCOUNT.rowid ,
        --AR1_MEMO.rowid
          FROM PAYMENT_DETAILS,
                PAYMENT,
                ACCOUNT,
                --  AR1_MEMO,
                (SELECT pdrowid, ptrowid, arowid
                   FROM (SELECT rownum as row_number, pdrowid, ptrowid, arowid
                           FROM (SELECT /*+ leading (pt a pd)   */
                                 DISTINCT PD.rowid pdrowid,
                                          PT.rowid ptrowid,
                                          A.rowid  arowid
                                   FROM PAYMENT_DETAILS PD,
                                        PAYMENT         PT,
                                        ACCOUNT         A
                                  WHERE PT.PARTITION_ID = A.PARTITION_ID
                                    AND PT.ACCOUNT_ID = A.ACCOUNT_ID
                                    AND PD.PARTITION_ID = PT.PYMDT_PARTITION_ID
                                    AND PD.PERIOD_KEY = PT.PYMDT_PERIOD_KEY
                                    AND PD.PAYMENT_ID = PT.PAYMENT_ID
                                    AND (a.be IN
                                        (SELECT child_be_id
                                            FROM gn1_boh_relation
                                           START WITH parent_be_id = NVL(0, 0)
                                          CONNECT BY PRIOR
                                                      child_be_id = parent_be_id) OR
                                        a.be = NVL(0, 0))
                                    AND ROWNUM                                   ORDER BY pt.ACTIVITY_DATE DESC,
                                           pt.CREDIT_ID     DESC))
                  WHERE row_number BETWEEN 1 AND 9223372036854775807) PAYMENT_TEMP_TABLE
         WHERE PAYMENT_DETAILS.rowid = PAYMENT_TEMP_TABLE.pdrowid
           AND ACCOUNT.rowid = payment_temp_table.arowid
           AND PAYMENT.rowid = payment_temp_table.ptrowid
          AND MEMO.memo_id(+) = PAYMENT_DETAILS.memo_id

直接通过rowid来做关联,因为不需要输出所有的数据,只要输出列出含有主键列,就可以考虑使用rowid来代替。
sql语句极大的简化了,不过还没有完,还可以考虑做点什么。因为memo这个表比较大,没有走主键,查询会走全表扫描,耗费不少时间,但是结果集中貌似也不是很需要,因为结果集只考虑最终的返回数据条数,可以考虑是否能够从查询中去掉这个表。
简单验证一下,模拟这种类似的外连接,看看结果集是否会有影响。
SQL>
insert into test_full values(1);
insert into test_full values(2);
insert into test_full values(3);
insert into test_partial values(1,'a');
insert into test_partial values(2,'b');
1 row created.
SQL> 
1 row created.
SQL> 
1 row created.
SQL> 
1 row created.
SQL> 
1 row created.
SQL> 
SQL> select test_full.id, test_partial.name from test_full,test_partial
  2   where  test_partial.id(+) =  test_full.id
  3  /


        ID NAME
---------- ------------------------------
         1 a
         2 b
         3

通过上面的简单测试,可以说明,如果表test_full中含有的记录,通过和test_partial做外连接,也是全量输出test_full的值。
这样,可以考虑把memo表去除,整理后的sql语句简化为:

SELECT COUNT(1)
  FROM ( 
        SELECT
         PAYMENT_DETAILS.rowid, 
         PAYMENT.rowid,
          ACCOUNT.rowid 
          FROM PAYMENT_DETAILS,
                PAYMENT,
                ACCOUNT,
                (SELECT pdrowid, ptrowid, arowid
                   FROM (SELECT rownum as row_number, pdrowid, ptrowid, arowid
                           FROM (SELECT /*+ leading (pt a pd)   */
                                 DISTINCT PD.rowid pdrowid,
                                          PT.rowid ptrowid,
                                          A.rowid  arowid
                                   FROM PAYMENT_DETAILS PD,
                                        PAYMENT         PT,
                                        ACCOUNT         A
                                  WHERE PT.PARTITION_ID = A.PARTITION_ID
                                    AND PT.ACCOUNT_ID = A.ACCOUNT_ID
                                    AND PD.PARTITION_ID = PT.PYMDT_PARTITION_ID
                                    AND PD.PERIOD_KEY = PT.PYMDT_PERIOD_KEY
                                    AND PD.PAYMENT_ID = PT.PAYMENT_ID
                                    AND (a.be IN
                                        (SELECT child_be_id
                                            FROM gn1_boh_relation
                                           START WITH parent_be_id = NVL(0, 0)
                                          CONNECT BY PRIOR
                                                      child_be_id = parent_be_id) OR
                                        a.be = NVL(0, 0))
                                    AND ROWNUM
                                  ORDER BY pt.ACTIVITY_DATE DESC,
                                           pt.CREDIT_ID     DESC))
                  WHERE row_number BETWEEN 1 AND 9223372036854775807) PAYMENT_TEMP_TABLE
         WHERE PAYMENT_DETAILS.rowid = PAYMENT_TEMP_TABLE.pdrowid
           AND ACCOUNT.rowid = payment_temp_table.arowid
           AND PAYMENT.rowid = payment_temp_table.ptrowid         

对于一些Hint也做了删减,保证不必要的资源消耗。
总之,性能sql,对于sql的简化也是一种考验,如果能够最大程度的简化,也是sql调优的进步。
目录
相关文章
|
20天前
|
SQL 运维 监控
MSSQL性能调优实战:索引优化、SQL查询效率提升与并发控制策略
在Microsoft SQL Server(MSSQL)的日常运维与性能优化中,精准的策略与技巧是实现高效数据库管理的关键
|
20天前
|
SQL 监控 数据库
MSSQL性能调优实战技巧:索引优化策略、SQL查询重构与并发控制详解
在Microsoft SQL Server(MSSQL)的管理与优化过程中,性能调优是确保数据库高效运行的关键环节
|
20天前
|
SQL 运维 监控
MSSQL性能调优实战:索引深度优化、SQL查询技巧与高效并发控制
在Microsoft SQL Server(MSSQL)的运维环境中,性能调优是确保数据库高效、稳定运行的核心任务
|
1天前
|
SQL 缓存 关系型数据库
提高SQL查询性能的技巧
【7月更文挑战第26天】提高SQL查询性能的技巧
10 3
|
1天前
|
SQL 存储 数据库
SQL查询技巧
【7月更文挑战第26天】SQL查询技巧
8 1
|
20小时前
|
SQL 关系型数据库 分布式数据库
PolarDB产品使用问题之SQL查询该如何优化
PolarDB产品使用合集涵盖了从创建与管理、数据管理、性能优化与诊断、安全与合规到生态与集成、运维与支持等全方位的功能和服务,旨在帮助企业轻松构建高可用、高性能且易于管理的数据库环境,满足不同业务场景的需求。用户可以通过阿里云控制台、API、SDK等方式便捷地使用这些功能,实现数据库的高效运维与持续优化。
|
5天前
|
SQL 数据库
SQL查询
【7月更文挑战第22天】SQL查询
13 4
|
8天前
|
SQL 机器学习/深度学习 分布式计算
MaxCompute产品使用合集之怎么使用SQL查询来获取ODPS中所有的表及字段信息
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
9天前
|
SQL 运维 分布式计算
DataWorks产品使用合集之ODPPS中如何使用SQL查询从表中获取值并将其赋值给临时变量以供后续使用
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
8天前
|
SQL 分布式计算 DataWorks
MaxCompute操作报错合集之使用sql查询一个表的分区数据时遇到报错,该如何解决
MaxCompute是阿里云提供的大规模离线数据处理服务,用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时,可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。