暂无个人介绍
SQL 是大数据计算中最常用的工具，但在实际应用中，SQL 经常跑得很慢，浪费大量硬件资源。例如，某银行的反洗钱计算在 11 节点的 Vertica 集群上跑了 1.5 小时，而用 SPL 重写后，单机只需 26 秒。类似地，电商漏斗运算和时空碰撞任务在使用 SPL 后，性能也大幅提升。这是因为 SQL 无法写出低复杂度的算法，而 SPL 提供了更强大的数据类型和基础运算，能够实现高效计算。
SPL（Structured Process Language）是一种专为处理结构化数据设计的开源编程语言，其独特之处在于代码写在格子里，而非传统的文本形式。SPL 的格子代码不仅整齐直观，还支持直接使用格子名作为变量名，简化了变量管理。此外，SPL 引入了函数选项和层次参数，使代码更加简洁高效。相比 Java、SQL 和 Python，SPL 在处理复杂数据计算时表现出色，能够显著减少代码量，提高开发效率和调试便利性。
数据分析编程用什么，SQL、python or SPL?话不多说，直接上代码，对比明显，明眼人一看就明了：本案例涵盖五个数据分析任务：1) 计算用户会话次数；2) 球员连续得分分析；3) 连续三天活跃用户数统计；4) 新用户次日留存率计算；5) 股价涨跌幅分析。每个任务基于相应数据表进行处理和计算。
大型数据库经过多年运行常积累数以万计的数据表，其中很多是中间表，占用大量资源，导致数据库膨胀。这些中间表大多为数据呈现服务，因前端报表频繁修改而不断增加。SPL 通过独立计算引擎，将中间数据移至文件系统，减少数据库负担，提高性能，优化资源利用。
业务系统产生的明细数据需经加工处理以支持企业经营，此过程称作“跑批”，常在夜间进行以免影响生产系统。跑批任务涉及大量数据及复杂计算，导致耗时较长。开源计算引擎SPL可直接基于文件系统计算，提供更优算法与存储机制，显著提升跑批效率。例如，L银行贷款协议跑批任务从2小时缩短至10分钟，性能提高12倍；P保险公司车险业务的历史保单关联任务从近2小时缩短至17分钟，速度提升近7倍；T银行贷款跑批任务提速204倍。
我们通过使用开源 SPL 重写了多个金融行业的 SQL 任务，实现了显著的性能提升，如保险公司团保明细单查询提速 2000+ 倍、银行 POS 机交易报表提速 30+ 倍等。这些优化的核心在于使用了更低复杂度的算法，而非依赖硬件加速。SPL 基于离散数据集理论，提供了丰富的高性能算法，使得复杂任务的优化成为可能。更多案例和详细技术解析可参见乾学院的相关课程和图书。
应用计算困境：Java 作为主流开发语言，在数据处理方面存在复杂度高的问题，而 SQL 虽然简洁但受限于数据库架构。SPL（Structured Process Language）是一种纯 Java 开发的数据处理语言，结合了 Java 的架构灵活性和 SQL 的简洁性。SPL 提供简洁的语法、完善的计算能力、高效的 IDE、大数据支持、与 Java 应用无缝集成以及开放性和热切换特性，能够大幅提升开发效率和性能。
基于对象-事件模式的数据计算是商业中最常见的数据分析任务之一。对象如用户、账号、商品等，通过唯一ID记录其相关事件，如操作日志、交易记录等。这种模式下的统计任务包括无序计算（如交易次数、通话时长）和有序计算（如漏斗分析、连续交易检测）。尽管SQL在处理无序计算时表现尚可，但在有序计算中却显得力不从心，主要原因是其对跨行记录运算的支持较弱，且大表JOIN和大结果集GROUP BY的性能较差。相比之下，SPL语言通过强化离散性和有序集合的支持，能够高效地处理这类计算任务，避免了大表JOIN和复杂的GROUP BY操作，从而显著提升了计算效率。
W银行指标查询系统用于计算和展示各类汇总指标，支持银行经营决策。因数据量庞大，系统采用预计算方式，但随着指标数量激增，预计算方式逐渐成为瓶颈。文章详细介绍了系统面临的挑战及优化方案，包括列式存储、有序归并、多线程计算等技术，最终实现了从明细数据实时计算指标的目标，显著提升了系统性能。
OLAP（在线分析处理）最初指代人员对数据进行交互式分析操作，但如今其概念被BI软件狭义化为多维分析。真正的在线分析应包括业务人员基于经验做出猜测并验证，从历史数据中寻找规律。多维分析虽能提供有用信息，但难以完成复杂计算。SPL（结构化查询语言的一种变体）因其强大的数据处理能力和易管理性，成为业务人员和开发人员进行复杂数据分析的理想工具。
A电商公司常用漏斗转化率分析来统计用户购物行为。此过程需处理大量用户会话数据，传统SQL实现复杂低效。文中提供了一种基于SPL的专业数据计算引擎解决方案，通过预先排序数据和有序归并算法，显著提升了计算性能，使14天跨度3步漏斗分析在10秒内完成，远超预期。该方法不仅代码简洁，易于扩展，还大幅降低了内存消耗，适合处理大规模数据集。
SPL（Structured Process Language）是一款开源软件，允许用户直接对CSV、XLS等文件进行SQL查询，无需将数据导入数据库。它提供了标准的JDBC驱动，支持复杂的SQL操作，如JOIN、子查询和WITH语句，还能处理非标准格式的文件和JSON数据。SPL不仅简化了数据查询，还提供了强大的计算能力和友好的IDE，适用于多种数据源的混合计算。
基于对象-事件模式的数据计算是商业中最常见的数据分析任务之一。这种模式涉及对象（如用户、账户、商品等）及其相关的事件记录，通过这些事件数据可以进行各种统计分析，如漏斗分析、交易次数统计等。然而，SQL 在处理这类任务时表现不佳，特别是在有序计算方面。SPL 作为一种强化离散性和有序集合的语言，能够高效地处理这类计算，避免了大表 JOIN 和大结果集 GROUP BY 的性能瓶颈。通过按 ID 排序和分步计算，SPL 能够显著提高计算效率，并支持实时数据处理。
本文探讨了1TB数据量的实际意义，通过对比日常业务量和数据库处理能力，揭示了1TB数据的庞大。文中指出，虽然一些机构拥有PB级别的数据，但这更多是存储需求而非计算需求。文章最后强调，优化TB级数据处理效率，如将几小时的处理时间缩短至几分钟，对于大多数应用场景来说更为实际和重要。
ClickHouse 是一款以速度快著称的分析型数据库，尤其在列式宽表遍历方面表现出色。然而，面对复杂查询和关联运算时，ClickHouse 的性能急剧下降，甚至无法执行某些任务。相比之下，esProc SPL 通过更简洁的 SPL 语法和强大的优化能力，在各种复杂场景下均表现出色，全面超越 ClickHouse。实际案例显示，esProc SPL 在处理大规模数据时，性能提升可达数十倍。
SQL 作为结构化数据计算的主要语言，虽然广泛应用于关系数据库和大数据平台，但在复杂计算场景中表现不佳，如股票连涨天数和大集合中的 TopN 计算。这些问题源于 SQL 的理论基础——关系代数，缺乏必要的数据类型和运算。相比之下，esProc SPL 通过引入“离散数据集”这一新代数体系，能够更简洁高效地处理复杂计算任务。
本文通过对比Java程序从Oracle、MySQL数据库读取数据与读取文本文件的性能，揭示数据库IO速度远低于文件读取的现状。在相同硬件环境下，读取3000万行记录，Oracle耗时280秒，MySQL耗时380秒，而文本文件仅需42秒。此外，通过SPL实现并行处理，可显著提升读取速度，尤其是在处理大规模数据时。实验还探讨了数据库接口慢的问题及其对性能的影响，提出在追求高性能计算时应尽量避免从数据库读取数据的建议。
列存是常见的数据存储技术，说到列存常常就意味着高性能，现代分析型数据库基本都会把列存作为标配， 列存的基本原理是减少硬盘的读取量。一个数据表有多个列，但运算可能只会用到其中少数几列，采用列存时，用不着的列就不必读出来了，而采用行式存储时，则要把所有列都扫描一遍。当取用列只占总列数的小部分时，列存的 IO 时间优势会非常大，就会显得计算速度快了很多。 不过，列存也有另一面，并不是在任何场景下都有优势。
SQL 的数学基础就是关系代数，是用来实现批量结构化数据计算的代数体系，这也是采用 SQL 的数据库又被叫做关系数据库的原因。 关系代数已经发明五十年了，五十年前的应用需求以及硬件环境，和今天比的差异是很巨大了。由于存量用户太多，而且也还没有成熟的新技术出现，基于关系代数设计的 SQL，今天仍然是最重要的数据库开发语言。虽然这几十年来也有一些改进完善，但根子并没有变，面对当代的复杂需求和硬件环境，关系数据库并没有那么得心应手了。
国际标准没有对这些函数做规定，这种 SQL 语句就会和数据库相关而无法移植了，而这些函数在应用开发中还特别常见。 Hibernate 能将包括这些函数的标准 HQL 语句转换成不同数据库的 SQL，但 HQL 支持的函数太少，碰到不认识的函数还是要分别注册，这就丧失了可移植性；而且 HQL 能生成的 SQL 本身也比较简单，覆盖面太窄了。
早期应用通常只会连接一个数据库，计算也都由数据库完成，基本不存在多数据源混合计算的问题。而现代应用的数据源变得很丰富，同一个应用也可能访问多种数据源，各种 SQL 和 NoSQL 数据库、文本 /XLS、WebService/Restful、Kafka、Hadoop、…。多数据源上的混合计算就是个摆在桌面需要解决的问题了。 直接在应用中硬编码实现是很繁琐的，Java 这些常用的应用开发语言很不擅长做这类事，和 SQL 比，简洁性差得很远。
关系代数已经发明五十年了，五十年前的应用需求以及硬件环境，和今天比的差异是很巨大了，继续延用五十年前的理论来解决今天的问题，听着就感觉太陈旧了？然而现实就是这样，由于存量用户太多，而且也还没有成熟的新技术出现，基于关系代数的 SQL，今天仍然是最重要的数据库语言。虽然这几十年来也有一些改进完善，但根子并没有变，面对当代的复杂需求和硬件环境，SQL 不胜任也是情理之中的事。
我们介绍的 esProc SPL 是一个数据分析引擎，具备 4 个主要特点：低代码、高性能、轻量级、全功能。SPL 不仅写得简单，跑得也更快，既可以独立使用还能与应用集成嵌入，同时适用于多种应用场景。使用 esProc SPL 实现数据分析业务，整体应用成本将比以 SQL 为代表的传统技术低出几倍。
数据湖有三个重要满足点，既要保持数据的原样（全量信息入湖），也要可以方便计算使用（数据变现），还希望建设成本低廉（显然的）。但是，当前的技术方案无法同时满足这三点。
发明 SQL 的初衷之一显然是为了降低人们实施数据查询计算的难度。SQL 中用了不少类英语的词汇和语法，这是希望非技术人员也能掌握。确实，简单的 SQL 可以当作英语阅读，即使没有程序设计经验的人也能运用。 然而，面对稍稍复杂的查询计算需求，SQL 就会显得力不从心，经常写出几百行有多层嵌套的语句。这种 SQL，不要说非技术人员难以完成，即使对于专业程序员也不是件容易的事，常常成为很多软件企业应聘考试的重头戏。三行五行的 SQL 仅存在教科书和培训班，现实中用于报表查询的 SQL 通常是以“K”计的。
发表了文章
2025-11-25
发表了文章
2025-11-20
发表了文章
2025-11-12
发表了文章
2025-11-03
发表了文章
2025-10-30
发表了文章
2025-10-20
发表了文章
2025-10-11
发表了文章
2025-09-23
发表了文章
2025-09-05
发表了文章
2025-08-20
发表了文章
2025-08-14
发表了文章
2025-08-12
发表了文章
2025-08-07
发表了文章
2025-08-05
发表了文章
2025-07-31
发表了文章
2025-07-17
发表了文章
2025-07-15
发表了文章
2025-07-11
发表了文章
2025-06-25
发表了文章
2025-06-19
