性能优化技巧 - 程序游标

简介: 很多算法都会产生落地的中间结果,从而影响性能,尤其是数据量较大的时候。这种情况下通常可用程序游标来避免数据落地,下面举例说明。前半排序计算目标:订单表原来已按时间排序,需要将数据按日期、产品去除重复,再统计记录条数。

很多算法都会产生落地的中间结果,从而影响性能,尤其是数据量较大的时候。这种情况下通常可用程序游标来避免数据落地,下面举例说明。

前半排序
计算目标:订单表原来已按时间排序,需要将数据按日期、产品去除重复,再统计记录条数。

由于去重后结果集较大,内存放不下,因此一般会用groupx去重,SPL脚本如下:
1
A2:循环订单表。由于数据已按时间排序,因此每次取日期相同的一批数。

B2:按产品去重。注意,全量数据虽大,但按天取数相对较少,内存可以放下,所以这里用id去重。

B3:返回本批次的去重结果。注意,程序游标并非一次性返回所有数据,而是每次循环之后,先等待调用者的请求,如果调用者继续要数据,程序游标才会进行下一次循环,期间数据不落地。

主程序可通过cursor函数调用程序游标,用法与普通游标类似:
2
  可以看到,程序游标可减少数据落地,从而提升计算性能。

 集合运算
数据库进行集合运算时要先排序,如果数据量太大,则排序会耗费大量时间,迟迟不能输出结果。在这种情况下,适合用程序游标生成不落地的有序中间结果集,从而实现快速输出。

比如两张结构相同表:callRecordA、callRecordB。两张表在时间字段callTime上建立了索引,每秒数据量万级,现在对2015-01-01这一天的数据做并集运算,需要快速输出前500条(比如在报表上快速呈现)。

这次将程序游标和调用代码写在同一个脚本中,如下:
3
A1:用func定义程序游标,相应的调用语法为cursor@c。

B2:循环一天中的每一秒。

C3:从数据库查询一秒的数据,因为是按索引取数,所以速度很快,而且对数据库影响很小。注意A1是表名变量,程序游标既可以从callRecordA取数,也可以从callRecordB取数。

C4:对一秒数据进行内存排序,以便形成有序结果集。由于数据在同一秒,所以只需对其他字段排序。

A7A8:以表名为参数,取出2个程序游标。

A9:对两个游标进行有序归并,@u表示取并集。类似地,可以用@i和@d分别进行并交集、差集运算。

相关文章
|
存储 机器学习/深度学习 人工智能
Python基础
Python是一种高级、通用的编程语言,由Guido van Rossum于1991年开发。它被设计成易读、易理解、易于上手的语言,强调代码的可读性和简洁性。
186 0
|
10月前
|
SQL 运维 监控
南大通用GBase 8a MPP Cluster Linux端SQL进程监控工具
南大通用GBase 8a MPP Cluster Linux端SQL进程监控工具
|
10月前
|
缓存 Java 数据库连接
MyBatis缓存机制
MyBatis提供两级缓存机制:一级缓存(Local Cache)默认开启,作用范围为SqlSession,重复查询时直接从缓存读取;二级缓存(Second Level Cache)需手动开启,作用于Mapper级别,支持跨SqlSession共享数据,减少数据库访问,提升性能。
156 1
|
11月前
|
机器学习/深度学习 算法
|
10月前
|
关系型数据库 MySQL Linux
MySQL版本升级(8.0.31->8.0.37)
本次升级将MySQL从8.0.31升级到8.0.37,采用就地升级方式。具体步骤包括:停止MySQL服务、备份数据目录、下载并解压新版本的RPM包,使用`yum update`命令更新已安装的MySQL组件,最后启动MySQL服务并验证版本。整个过程需确保所有相关RPM包一同升级,避免部分包遗漏导致的问题。官方文档提供了详细指导,确保升级顺利进行。
1018 16
|
Java Linux
Linux通配符的使用方法
Linux通配符的使用方法
|
Linux 测试技术
Linux内核版本要求
【8月更文挑战第9天】Linux内核版本要求
287 5
|
11月前
|
传感器 人工智能 监控
智慧化工厂AI算法方案
智慧化工厂AI算法方案针对化工行业生产过程中的安全风险、效率瓶颈、环保压力和数据管理不足等问题,通过深度学习、大数据分析等技术,实现生产过程的实时监控与优化、设备故障预测与维护、安全预警与应急响应、环保监测与治理优化,全面提升工厂的智能化水平和管理效能。
1378 0
智慧化工厂AI算法方案
|
缓存 监控 NoSQL
Laravel 缓存标签:提高应用性能的利器
【8月更文挑战第31天】
148 0
|
存储 分布式计算 Hadoop
使用 ChunkServer 支持大规模数据处理
【8月更文第30天】在大数据处理领域,诸如 Hadoop 的 MapReduce 这样的分布式计算框架变得越来越重要。这些框架依赖于分布式文件系统(如 HDFS)来存储和管理大规模数据集。本篇文章将详细介绍如何利用 ChunkServer 来支持 MapReduce 等大规模并行处理框架,并通过示例代码展示具体实现细节。
138 0