通过ORACLE分析函数过滤重复数据

简介:
  今天,确切的讲应该是昨天下午,研发的同事突然向我寻求SQL技术支援。
      看看他的问题,比较麻烦些。
    
select sbl.fee_terminal_id , sbl.status, smr.status, smr.report_time
     from XXX_log sbl, XXX_report smr
where sbl.task_id  in ('8888','9999','1111','2222')
      and sbl.msg_id=smr.msg_id(+)
      and sbl.submit_time>= '20080927'
      and sbl.submit_time<= '20080929'
      and smr.report_time>= '20080927'
      and smr.report_time<= '20080929'
      and (fee_terminal_id, report_time)  in (
              select  distinct(sbl.fee_terminal_id),  max(smr.report_time)
                  from XXX_log sbl, XXX_report smr
                 where sbl.task_id  in ( '8888', '9999', '1111', '2222')
                     and sbl.msg_id=smr.msg_id(+)
                     and sbl.submit_time>= '20080927'
                     and sbl.submit_time<= '20080929'
                     and smr.report_time>= '20080927'
                     and smr.report_time<= '20080929'
                 group  by fee_terminal_id
     );
      
      他需要提取某个时间段内,某个ID(fee_terminal_id)最新时间的状态。其实如果是在一张表中,直接MAX(report_time)就可以了。但是,恰恰这是两张表。每张表中一个状态,通常的情况就是我们首先得到ID及其最大的(最新)报告时间,然后再“自连接”自己进行WHERE条件的查询。
      上面的SQL就是通过这种基本的想法来实现的。
      一般情况下,应该是没有问题的。但是,这次问题却出现了。主要就是数据太大,执行了30分钟没有看到有结果集返回。
       首先因为两张基本表(XXX_log sbl, XXX_report smr)都是分区表,不然数据也不会这么大呀。进行必要的分区工作,要知道,再精良的SQL,数据太多也会有问题。优化的第一步就是“少做”(片面一点讲,性能真的是设计出来的)。
       完成后,直接执行原始SQL,基本上180秒左右,可以看到结果集返回。
       至此,都有些“跑题”,还有过滤重复呢(其实就是找出最新时间的ID状态即可)。
       看着这句SQL我总是有些不死心,看看其实这句SQL的两个部分的SQL语句基本相同,其实一部分就可以得到所有信息,就是因为数据无法得到ID和最新时间对应的值在一句话中。
       突然想起了ORACLE的分析函数。OK,使用
       LAG
      
select a,b,c,d
         from ( select sbl.fee_terminal_id a,
                                                         sbl.status b,
                                                         smr.status c,
                                                         smr.report_time d,
                                                         lag(sbl.fee_terminal_id,1,0)  over(partition  by sbl.fee_terminal_id  order  by smr.report_time  desc) flag
                                         from xxx_log sbl, xxx_report smr
                                  where sbl.task_id  in ( '8888', '9999', '1111', '2222')
                                          and sbl.msg_id = smr.msg_id(+)
                                          and sbl.submit_time >=  '20080927'
                                          and sbl.submit_time <=  '20080929'
                                          and smr.report_time >=  '20080927'
                                          and smr.report_time <=  '20080929')
where flag = 0

      优化了原SQL语句。
      执行成本从19106下降到10139,结果集返回的时间下降到15秒左右。响应时间有大幅提高。
      总结:
      此次优化的核心思想,减少SQL的重复执行,能在一句SQL中执行完成的,就不要放到两句或者是多个子查询中执行。
       通过使用分析函数LAG,将分类和排序一次完成。一定要多多尝试使用分析函数,往往会给你带来非常的惊喜。
       

       BTW,国庆节快乐。-:)

本文转自Be the miracle!博客51CTO博客,原文链接http://blog.51cto.com/miracle/102792如需转载请自行联系原作者


Larry.Yue

相关文章
|
4月前
|
SQL 运维 Oracle
【迁移秘籍揭晓】ADB如何助你一臂之力,轻松玩转Oracle至ADB的数据大转移?
【8月更文挑战第27天】ADB(Autonomous Database)是由甲骨文公司推出的自动化的数据库服务,它极大简化了数据库的运维工作。在从传统Oracle数据库升级至ADB的过程中,数据迁移至关重要。
81 0
|
1月前
|
存储 Oracle 关系型数据库
【赵渝强老师】Oracle的还原数据
Oracle数据库中的还原数据(也称为undo数据或撤销数据)存储在还原表空间中,主要用于支持查询的一致性读取、实现闪回技术和恢复失败的事务。文章通过示例详细介绍了还原数据的工作原理和应用场景。
【赵渝强老师】Oracle的还原数据
|
4月前
|
数据采集 Oracle 关系型数据库
实时计算 Flink版产品使用问题之怎么实现从Oracle数据库读取多个表并将数据写入到Iceberg表
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
1月前
|
SQL Oracle 关系型数据库
[Oracle]面试官:你举例几个内置函数,并且说说如何使用内置函数作正则匹配
本文介绍了多种SQL内置函数,包括单行函数、非空判断函数、日期函数和正则表达式相关函数。每种函数都有详细的参数说明和使用示例,帮助读者更好地理解和应用这些函数。文章强调了字符串操作、数值处理、日期计算和正则表达式的使用方法,并提供了丰富的示例代码。作者建议读者通过自测来巩固学习成果。
26 1
[Oracle]面试官:你举例几个内置函数,并且说说如何使用内置函数作正则匹配
|
5月前
|
SQL Oracle 算法
|
1月前
|
SQL Oracle 关系型数据库
【赵渝强老师】Oracle的联机重做日志文件与数据写入过程
在Oracle数据库中,联机重做日志文件记录了数据库的变化,用于实例恢复。每个数据库有多组联机重做日志,每组建议至少有两个成员。通过SQL语句可查看日志文件信息。视频讲解和示意图进一步解释了这一过程。
|
1月前
|
SQL Oracle 关系型数据库
【赵渝强老师】Oracle的数据文件
在Oracle数据库中,数据库由多个表空间组成,每个表空间包含多个数据文件。数据文件存储实际的数据库数据。查询时,如果内存中没有所需数据,Oracle会从数据文件中读取并加载到内存。可通过SQL语句查看和管理数据文件。附有视频讲解及示例。
|
3月前
|
Oracle NoSQL 关系型数据库
主流数据库对比:MySQL、PostgreSQL、Oracle和Redis的优缺点分析
主流数据库对比:MySQL、PostgreSQL、Oracle和Redis的优缺点分析
654 2
|
2月前
|
Oracle 关系型数据库 数据库
oracle数据创建同义词
oracle数据创建同义词
58 0
|
4月前
|
SQL 监控 Oracle
Oracle数据误删不用怕,跟我来学日志挖掘
Oracle数据误删不用怕,跟我来学日志挖掘
80 0

相关实验场景

更多

推荐镜像

更多