巧用rowid简化sql查询

简介: 生产系统中有一条sql语句,目前执行的时间有点长了,而且看起来有些臃肿,客户问能不能改进一下。得到的sql语句如下: SELECT COUNT(1)   FROM (          SELECT /*+ leading (payment_temp_ta...
生产系统中有一条sql语句,目前执行的时间有点长了,而且看起来有些臃肿,客户问能不能改进一下。得到的sql语句如下:

SELECT COUNT(1)
  FROM ( 
        SELECT /*+ leading (payment_temp_table payment PAYMENT_DETAILS account memo) use_nl (payment_temp_table ar1_payment PAYMENT_DETAILS account memo) index (payment payment_pk) index (PAYMENT_DETAILS PAYMENT_DETAILS_pk) */
         PAYMENT_DETAILS.PAYMENT_ID,
          PAYMENT.CREDIT_ID,
          PAYMENT.ACCOUNT_ID,
          PAYMENT.AMOUNT,
          PAYMENT.ORIGINAL_AMOUNT,
          PAYMENT.ORIGINAL_CONVERTED_AMOUNT,
          PAYMENT_DETAILS.PAYMENT_METHOD,
          PAYMENT_DETAILS.DEPOSIT_DATE,
          PAYMENT_DETAILS.CURRENCY,
          PAYMENT_DETAILS.CHECK_NO,
          PAYMENT_DETAILS.CREDIT_CARD_NUMBER,
          PAYMENT_DETAILS.BANK_CODE,
          PAYMENT_DETAILS.BANK_ACCOUNT_NUMBER,
          ACCOUNT.ACCOUNT_TIMESTAMP,
          ACCOUNT.CURRENCY,
          PAYMENT_DETAILS.PAYMENT_SUB_METHOD,
          ACCOUNT.BE,
              MEMO.MEMO_TEXT,
          PAYMENT_DETAILS.PERIOD_KEY,
          PAYMENT_DETAILS.PARTITION_ID,
          PAYMENT_DETAILS.AMOUNT,
          PAYMENT.ACTIVITY_DATE,
          PAYMENT_DETAILS.ACCOUNT_ID,
          PAYMENT.L9_RT_ID,
          PAYMENT_DETAILS.L9_CONV_INV_NUMBER,
          PAYMENT_DETAILS.CC_EXPIRY_DATE,
          PAYMENT_DETAILS.DIRECT_DEBIT_VOUCHER,
          PAYMENT_DETAILS.PAYMENT_SOURCE_TYPE,
          PAYMENT.L9_WHT_AMT,
          PAYMENT.L9_WHT_CERT_NO,
          PAYMENT.L9_WHT_RATE,
          PAYMENT.L9_VAT_AMOUNT,
          PAYMENT.L9_PRINT_RT_IND,
          PAYMENT.L9_USER_ID,
          PAYMENT.L9_RT_EXTRACT_IND,
          PAYMENT.L9_ECA_REASON_CODE,
          PAYMENT.L9_RT_GENERATE_MODE,
          PAYMENT_DETAILS.L9_VAT_AMOUNT,
          PAYMENT.BILL_SEQ_NO,
          PAYMENT.ACTIVITY_INDICATOR,
          ACCOUNT.L9_COMPANY_CODE,
          PAYMENT_DETAILS.PAYMENT_SOURCE_ID,
          PAYMENT.OPERATOR_ID
          FROM PAYMENT_DETAILS,
                PAYMENT,
                ACCOUNT,
                MEMO,
                (SELECT row_number,
                        PAYMENT_ID,
                        CREDIT_ID,
                        ACCOUNT_ID,
                        PD_PARTITION_ID,
                        PD_PERIOD_KEY,
                        PT_PARTITION_ID,
                        PT_PERIOD_KEY
                   FROM (SELECT rownum as row_number,
                                PAYMENT_ID,
                                CREDIT_ID,
                                ACCOUNT_ID,
                                PD_PARTITION_ID,
                                PD_PERIOD_KEY,
                                PT_PARTITION_ID,
                                PT_PERIOD_KEY
                           FROM (SELECT /*+ leading (pt a pd) use_nl (pt a pd) index (pd PAYMENT_DETAILS_pk) */
                                 DISTINCT PD.PAYMENT_ID,
                                          PT.CREDIT_ID,
                                          A.ACCOUNT_ID,
                                          pd.partition_id pd_partition_id,
                                          pd.period_key pd_period_key,
                                          pt.partition_id pt_partition_id,
                                          pt.period_key pt_period_key
                                   FROM PAYMENT_DETAILS PD,
                                        PAYMENT         PT,
                                        ACCOUNT         A
                                  WHERE PT.PARTITION_ID = A.PARTITION_ID
                                    AND PT.ACCOUNT_ID = A.ACCOUNT_ID
                                    AND PD.PARTITION_ID = PT.PYMDT_PARTITION_ID
                                    AND PD.PERIOD_KEY = PT.PYMDT_PERIOD_KEY
                                    AND PD.PAYMENT_ID = PT.PAYMENT_ID
                                    AND (a.be IN
                                        (SELECT child_be_id
                                            FROM gn1_boh_relation
                                           START WITH parent_be_id = NVL(0, 0)
                                          CONNECT BY PRIOR
                                                      child_be_id = parent_be_id) OR
                                        a.be = NVL(0, 0))
                                    AND ROWNUM                                   ORDER BY pt.ACTIVITY_DATE DESC,
                                           pt.CREDIT_ID     DESC))
                  WHERE row_number BETWEEN 1 AND 100) PAYMENT_TEMP_TABLE
         WHERE PAYMENT_DETAILS.PAYMENT_ID = PAYMENT_TEMP_TABLE.PAYMENT_ID
           AND PAYMENT_DETAILS.partition_id =
               payment_temp_table.pd_partition_id
           AND PAYMENT_DETAILS.period_key =
               payment_temp_table.pd_period_key
           AND ACCOUNT.account_id = payment_temp_table.account_id
           AND PAYMENT.credit_id = payment_temp_table.credit_id
           AND PAYMENT.partition_id = payment_temp_table.pt_partition_id
           AND PAYMENT.period_key = payment_temp_table.pt_period_key
           AND MEMO.memo_id(+) = PAYMENT_DETAILS.memo_id);

index的信息如下:
   INDEX_NAME                     TABLESPACE INDEX_TYPE UNIQUENES PAR COLUMN_LIST                        TABLE_TYPE STATUS   NUM_ROWS LAST_ANAL G
------------------------------ ---------- ---------- --------- --- ------------------------------     ---------- ------ ---------- --------- -
   PAYMENT_DETAILS_PK                     NORMAL     UNIQUE    YES PAYMENT_ID,PARTITION_ID,PERIOD_KEY TABLE      N/A       6718838 16-JUL-14 N                        ------------------------------ ---------- ---------- --------- --- ------------------------------ ---------- ------ ---------- --------- -
    PAYMENT_PK                            NORMAL     UNIQUE    YES CREDIT_ID,PARTITION_ID,PERIOD_KEY  TABLE      N/A       6914026 16-JUL-14 N
           
可以看到基本索引在查询条件中能用都用到了,而且使用了hint,根据sql内容来看,这个查询只是需要得到对应的记录条数而已,是在原有的查询语句的基础上直接加了select count(1) from xxx改进的来的。

所以对于这类查询,就需要摆脱思想的束缚,可以最大程度上简化sql,达到同样的效果。

改进后的sql语句如下:
SELECT COUNT(1)
  FROM ( 
        SELECT
         PAYMENT_DETAILS.rowid, 
         PAYMENT.rowid,
          ACCOUNT.rowid ,
        --AR1_MEMO.rowid
          FROM PAYMENT_DETAILS,
                PAYMENT,
                ACCOUNT,
                --  AR1_MEMO,
                (SELECT pdrowid, ptrowid, arowid
                   FROM (SELECT rownum as row_number, pdrowid, ptrowid, arowid
                           FROM (SELECT /*+ leading (pt a pd)   */
                                 DISTINCT PD.rowid pdrowid,
                                          PT.rowid ptrowid,
                                          A.rowid  arowid
                                   FROM PAYMENT_DETAILS PD,
                                        PAYMENT         PT,
                                        ACCOUNT         A
                                  WHERE PT.PARTITION_ID = A.PARTITION_ID
                                    AND PT.ACCOUNT_ID = A.ACCOUNT_ID
                                    AND PD.PARTITION_ID = PT.PYMDT_PARTITION_ID
                                    AND PD.PERIOD_KEY = PT.PYMDT_PERIOD_KEY
                                    AND PD.PAYMENT_ID = PT.PAYMENT_ID
                                    AND (a.be IN
                                        (SELECT child_be_id
                                            FROM gn1_boh_relation
                                           START WITH parent_be_id = NVL(0, 0)
                                          CONNECT BY PRIOR
                                                      child_be_id = parent_be_id) OR
                                        a.be = NVL(0, 0))
                                    AND ROWNUM                                   ORDER BY pt.ACTIVITY_DATE DESC,
                                           pt.CREDIT_ID     DESC))
                  WHERE row_number BETWEEN 1 AND 9223372036854775807) PAYMENT_TEMP_TABLE
         WHERE PAYMENT_DETAILS.rowid = PAYMENT_TEMP_TABLE.pdrowid
           AND ACCOUNT.rowid = payment_temp_table.arowid
           AND PAYMENT.rowid = payment_temp_table.ptrowid
          AND MEMO.memo_id(+) = PAYMENT_DETAILS.memo_id

直接通过rowid来做关联,因为不需要输出所有的数据,只要输出列出含有主键列,就可以考虑使用rowid来代替。
sql语句极大的简化了,不过还没有完,还可以考虑做点什么。因为memo这个表比较大,没有走主键,查询会走全表扫描,耗费不少时间,但是结果集中貌似也不是很需要,因为结果集只考虑最终的返回数据条数,可以考虑是否能够从查询中去掉这个表。
简单验证一下,模拟这种类似的外连接,看看结果集是否会有影响。
SQL>
insert into test_full values(1);
insert into test_full values(2);
insert into test_full values(3);
insert into test_partial values(1,'a');
insert into test_partial values(2,'b');
1 row created.
SQL> 
1 row created.
SQL> 
1 row created.
SQL> 
1 row created.
SQL> 
1 row created.
SQL> 
SQL> select test_full.id, test_partial.name from test_full,test_partial
  2   where  test_partial.id(+) =  test_full.id
  3  /


        ID NAME
---------- ------------------------------
         1 a
         2 b
         3

通过上面的简单测试,可以说明,如果表test_full中含有的记录,通过和test_partial做外连接,也是全量输出test_full的值。
这样,可以考虑把memo表去除,整理后的sql语句简化为:

SELECT COUNT(1)
  FROM ( 
        SELECT
         PAYMENT_DETAILS.rowid, 
         PAYMENT.rowid,
          ACCOUNT.rowid 
          FROM PAYMENT_DETAILS,
                PAYMENT,
                ACCOUNT,
                (SELECT pdrowid, ptrowid, arowid
                   FROM (SELECT rownum as row_number, pdrowid, ptrowid, arowid
                           FROM (SELECT /*+ leading (pt a pd)   */
                                 DISTINCT PD.rowid pdrowid,
                                          PT.rowid ptrowid,
                                          A.rowid  arowid
                                   FROM PAYMENT_DETAILS PD,
                                        PAYMENT         PT,
                                        ACCOUNT         A
                                  WHERE PT.PARTITION_ID = A.PARTITION_ID
                                    AND PT.ACCOUNT_ID = A.ACCOUNT_ID
                                    AND PD.PARTITION_ID = PT.PYMDT_PARTITION_ID
                                    AND PD.PERIOD_KEY = PT.PYMDT_PERIOD_KEY
                                    AND PD.PAYMENT_ID = PT.PAYMENT_ID
                                    AND (a.be IN
                                        (SELECT child_be_id
                                            FROM gn1_boh_relation
                                           START WITH parent_be_id = NVL(0, 0)
                                          CONNECT BY PRIOR
                                                      child_be_id = parent_be_id) OR
                                        a.be = NVL(0, 0))
                                    AND ROWNUM
                                  ORDER BY pt.ACTIVITY_DATE DESC,
                                           pt.CREDIT_ID     DESC))
                  WHERE row_number BETWEEN 1 AND 9223372036854775807) PAYMENT_TEMP_TABLE
         WHERE PAYMENT_DETAILS.rowid = PAYMENT_TEMP_TABLE.pdrowid
           AND ACCOUNT.rowid = payment_temp_table.arowid
           AND PAYMENT.rowid = payment_temp_table.ptrowid         

对于一些Hint也做了删减,保证不必要的资源消耗。
总之,性能sql,对于sql的简化也是一种考验,如果能够最大程度的简化,也是sql调优的进步。
目录
相关文章
|
1月前
|
SQL 监控 关系型数据库
一键开启百倍加速!RDS DuckDB 黑科技让SQL查询速度最高提升200倍
RDS MySQL DuckDB分析实例结合事务处理与实时分析能力,显著提升SQL查询性能,最高可达200倍,兼容MySQL语法,无需额外学习成本。
|
1月前
|
SQL 存储 关系型数据库
MySQL体系结构详解:一条SQL查询的旅程
本文深入解析MySQL内部架构,从SQL查询的执行流程到性能优化技巧,涵盖连接建立、查询处理、执行阶段及存储引擎工作机制,帮助开发者理解MySQL运行原理并提升数据库性能。
|
1月前
|
SQL 监控 关系型数据库
SQL优化技巧:让MySQL查询快人一步
本文深入解析了MySQL查询优化的核心技巧,涵盖索引设计、查询重写、分页优化、批量操作、数据类型优化及性能监控等方面,帮助开发者显著提升数据库性能,解决慢查询问题,适用于高并发与大数据场景。
|
5月前
|
SQL 数据挖掘 数据库
第三篇:高级 SQL 查询与多表操作
本文深入讲解高级SQL查询技巧,涵盖多表JOIN操作、聚合函数、分组查询、子查询及视图索引等内容。适合已掌握基础SQL的学习者,通过实例解析INNER/LEFT/RIGHT/FULL JOIN用法,以及COUNT/SUM/AVG等聚合函数的应用。同时探讨复杂WHERE条件、子查询嵌套,并介绍视图简化查询与索引优化性能的方法。最后提供实践建议与学习资源,助你提升SQL技能以应对实际数据处理需求。
350 1
|
6天前
|
SQL 关系型数据库 MySQL
(SQL)SQL语言中的查询语句整理
查询语句在sql中占了挺大一部分篇幅,因为在数据库中使用查询语句的次数远多于更新与删除命令。而查询语句比起其他语句要更加的复杂,可因为sql是数据库不可或缺的一部分,所以即使不懂,也必须得弄懂,以上。
73 0
|
2月前
|
SQL XML Java
通过MyBatis的XML配置实现灵活的动态SQL查询
总结而言,通过MyBatis的XML配置实现灵活的动态SQL查询,可以让开发者以声明式的方式构建SQL语句,既保证了SQL操作的灵活性,又简化了代码的复杂度。这种方式可以显著提高数据库操作的效率和代码的可维护性。
192 18
|
7月前
|
SQL 运维 监控
SQL查询太慢?实战讲解YashanDB SQL调优思路
本文是Meetup第十期“调优实战专场”的第二篇技术文章,上一篇《高效查询秘诀,解码YashanDB优化器分组查询优化手段》中,我们揭秘了YashanDB分组查询优化秘诀,本文将通过一个案例,助你快速上手YashanDB慢日志功能,精准定位“慢SQL”后进行优化。
|
7月前
|
SQL 索引
【YashanDB知识库】字段加上索引后,SQL查询不到结果
【YashanDB知识库】字段加上索引后,SQL查询不到结果
|
2月前
|
SQL 人工智能 数据库
【三桥君】如何正确使用SQL查询语句:避免常见错误?
三桥君解析了SQL查询中的常见错误和正确用法。AI产品专家三桥君通过三个典型案例:1)属性重复比较错误,应使用IN而非AND;2)WHERE子句中非法使用聚合函数的错误,应改用HAVING;3)正确的分组查询示例。三桥君还介绍了学生、课程和选课三个关系模式,并分析了SQL查询中的属性比较、聚合函数使用和分组查询等关键概念。最后通过实战练习帮助读者巩固知识,强调掌握这些技巧对提升数据库查询效率的重要性。
100 0
|
3月前
|
SQL
SQL中如何删除指定查询出来的数据
SQL中如何删除指定查询出来的数据

热门文章

最新文章