润乾软件_个人页

银行业离线报表订阅系统案例

随着数据量的持续增长，并发访问越来越密集；以及业务种类的不断丰富，报表需求还在不断增加，数据库需要不断扩容来应对这些变化。然而，仅仅对数据库本身扩容难免陷入高成本低成效的窘境，企业应当使用库外计算来减轻数据库的扩容压力和吞吐瓶颈！

银行业大数据量清单报表案例

银行数据查询业务中，经常会碰到数据量很大的清单报表。由于用户输入的查询条件可能很宽泛，因此会从数据库中查出几百上千万甚至过亿行的记录，比如银行流水记录；为了避免内存溢出，一般都会使用关系型数据库的分页机制来做，但结果往往也不尽人意；有些情况下甚至底层采用了非关系型数据库，这更会加剧了问题的复杂度。

趣味集算：数独

数独是一种老少皆宜的数学游戏，大家用零散的时间就可以玩上几局数独，有助于人们缓解压力，培养观察力和耐力，锻炼大脑。 数独游戏的规则也很简单，只需一支铅笔就能游戏，如：在9*9的格子中，已经填入了一些数，你所要做的就是把其余的格子中全部填入1~9的数，使得每一横行，每一竖行，以及粗线所包围的9个九宫格中，1~9这些数字全部只出现一次。

性能优化技巧 - 查找

SPL为用户提供了强大的索引机制以及针对不同场景中各对象的查询函数，善加运用，可以显著提高查询性能。 1 键值查找1.1 序表我们先建立一个份“通话记录”的模拟数据，通过这份数据，来比较一下不同查询函数对序表查询性能的影响。

性能优化技巧 - 组表数据更新

组表是集算器提供的高性能存储格式，其原理在于将数据事先排序并以压缩方式紧致存储，好处是占用空间更小，可利用有序进行快速定位。 但这种存储方式在数据更新时会遇到麻烦，这是因为新数据也要和历史数据一起排序并压缩，常常会要求重写整个组表，重写操作非常耗时，但又不得不做。

性能优化技巧 - 集群维表

事实表和维表进行关联计算时，需要对维表进行频繁的随机访问，因此维表要尽量放在内存中，才能提高关联计算的性能。如果维表较大，单机内存放不下，就应该考虑用集群方式，将维表分段读入多台机器的内存。下面举例说明集群维表的用法。

性能优化技巧 - 多层排号键

排号键是SPL独特的数据类型，适合替代多层次、各层不连续的键值，比如身份证号、合同编号、产品编号、组织机构代码等。排号键定位速度快，常用于优化内存索引查询和外键关联计算。 内存索引查询cardNormal.btx是集文件格式的身份证信息表，数据量一百万条，字段为：cardNo（身份证，主键）,name（姓名）,gender（性别）,province（省份）,email（电子邮件）,mobile（移动电话）,address（住址）。

性能优化技巧 - 位置利用

SPL的特征之一是数据有序，适当地利用位置，可以显著提高性能。让我们先从一个典型场景开始，逐步掌握利用位置的各种技巧。 快速查询对排序后的数据进行二分查找，可以获得较高的性能，但有些算法需用到原始顺序，看上去似乎不该再排序。

性能优化技巧 - 程序游标

很多算法都会产生落地的中间结果，从而影响性能，尤其是数据量较大的时候。这种情况下通常可用程序游标来避免数据落地，下面举例说明。 前半排序计算目标：订单表原来已按时间排序，需要将数据按日期、产品去除重复，再统计记录条数。

性能优化技巧 - 内存关联计算

关联动作会严重影响性能，SPL支持内存预关联，可以加快关联动作，从而提升性能。 为了理解关联动作对性能的影响，下面设计一套Oracle关联表，以及无关联的宽表，并执行同样的计算。 关联表的结构和关系如下：数据量：通话记录表（百万条）、用户表（十万条）、开户网点（一万条），代理商表（一万条）。

Java 搞定 SQL 集合运算的最简方法

问题介绍  作为 java 程序员，用代码直接实现类似 SQL 中的交并补差的集合运算，总是要编写大量的代码，如果能有一个专门的外部数据工具，通过写简单类似 SQL 的脚本来实现，在 java 中直接调用并可以返回结果集，就再好不过了。

Excel 行列转换的最简方法

问题描述  在工作中时常会遇到对 Excel 表格的处理。当编辑一张 Excel 表格时，发现表格的列数太多，而行数较少，为方便打印，这时你或许会希望将该表格行列转换；或许是为了做进一步做统计分析，当前格式不太方便，这时也会用到行列转换。

esproc vs python 2 简单计算

1.添加Age、Fullname字段esproc：A4：我们用T表示序表。T.derive（）表示增加字段。这里用age(日期)计算出年龄，作为Age字段。用NAME,SURNAME得到Fullname。

esproc vs python 1 增删改查

增加记录：在第二的位置增加一条记录esproc A4：添加一条记录（“:”前表示字段值，“:”后表示字段），其中2表示第二条记录的位置 A5：计算运算时间（interval()：计算时间间隔。@ms表示以毫秒为单位） python： import time import pandas as pd...

大主子表关联的性能优化方法

一、        原理解释所谓主子表关联计算，就是针对主表的每条记录，按关联字段找到子表中对应的一批记录。以订单（主表）和订单明细（子表）为例，两者以订单ID为关联字段。下图显示了关联计算过程中对主表中一条记录的处理情况，红色箭头代表没找到对应记录（不可关联），绿色箭头代表找到了对应记录（可关联）：                                               假设订单（主表）有m条记录，订单明细（子表）有n条记录，在不考虑优化算法时，主表中每一条记录的关联都需要遍历子表，相应的时间复杂度为O(n)。

MongoDB 分组统计

   MongoDB 作为 NoSql 文档型数据库，在全球范围得到广泛的支持与应用。在比较常用的数据库功能中，相对于普通的增删改查，使用 group 聚合分组统计有些复杂，而 MongoDB 也给予了支持。

查询慢 跑批慢 性能低怎么办？ | 润乾高性能计算专家

报表没完没了怎么办？ | 润乾集算器提效报表开发

参考：数据蒋堂《BI 系统数据前置》)文章。方案附件下载：《BI 系统的前置计算 V1.8.pdf》)

实时报表 T+0 的实现方案

10 行代码提取复杂 Excel 数据

玩转Mongo计算

SQL 难点解决：直观分组

10 行代码，实现手写数字识别

趣味集算：八皇后问题

SQL 难点解决：序列生成

10 行代码解决漏斗转换计算之性能优化

第 21 期：常规遍历语法

第 22 期：有序遍历语法

第 23 期：还原分组运算的本意

第 24 期：非等值分组

浅解比 SQL 更好用的 SPL（二）

从 SQL 到SPL基本查询语法迁移 之多表操作 上一篇我们针对单表的情形了解了如何把数据计算从 SQL 查询迁移到集算器，或者更准确地说，迁移到集算器所使用的SPL集算语言。这个迁移过程，既有相同的概念，也有不同的思路。

第 25 期：有序分组

第 26 期：再谈有序分组

让Birt报表脚本数据源变得既简单又强大

跨库数据表的运算

基于文件系统实现可追加的数据集市

一 问题背景 绝大多数的应用系统中，一开始数据的存储和计算基本都是由数据库来完成的，同时服务于业务交易和报表查询；不过在经过几年信息化建设和数据积累后，常常都会遇到数据库压力变大，从而导致性能瓶颈的问题。

第 34 期：JOIN 提速 – 外键指针的衍生

第 37 期：JOIN 延伸 – 维度查询语法

多层科目任意组合汇总报表的性能优化 (下)

数据分布背后的逻辑

在分布式数据库及大数据平台中，数据如何分布到多台机器中是个很关键的问题。因为很多运算是数据密集型的，如果数据分布做得不好，就会导致网络传输量变大，从而影响性能。 一般来讲，分布式数据库会提供两种分布策略：对于大表按某个字段（的 HASH 值）去分布，大多数情况会使用主键，这样可以把数据分拆到多台机器上；对于小表则采用复制性分布，也就是每个机器上都会复制一份。

学会这些“套路”，excel 合并汇总都不是事

1.  问题背景在日常工作中我们经常遇到具有相同表头的 Excel 文件，需要将它们合并到同一个工作表中再进行分析。当文件比较多时，手工合并表格通常是件很麻烦的事情，而如果数据量很大，用 Excel 自带的 VBA 来处理也会经常卡死。

轻量级内存计算引擎

优化 Join 运算的系列方法（3）

优化 Join 运算的系列方法（1）

优化 Join 运算的系列方法（2）

多层科目任意组合汇总报表的性能优化 (上)

如何处理报表中的舍位平衡

如何协助 MySQL 实现 Oracle 高级分析函数