可路由计算引擎实现前置数据库

简介: 随着业务发展,中央数据仓库负载日益加重,导致批量任务耗时长、在线查询响应慢等问题。传统扩容或更换数仓成本高且风险大。针对热数据访问频率高的特点,可通过前置数据库缓存热数据并分担查询压力,但传统数据库难以实现跨库计算和路由规则。esProc SPL 作为轻量级计算引擎,提供开放的计算能力,可轻松实现数据路由、查询转发与结果整合,适合用作前置数据库。它支持本地热数据与中央数仓冷数据协同计算,显著降低中央数仓负载,提升系统响应速度,同时代码简洁易维护,大幅优化系统性能与用户体验。

很多大机构都会有个中央数据仓库负责向应用提供数据服务。随着业务的发展,中央数据仓库的负载在持续增加。一方面,数仓是前端应用的数据后台,而前端应用不断增多,用户访问的并发数也不断增长。另一方面,数仓还要承担原始数据的批量离线处理,而批量任务不断增加,其数据量和计算量也在不断增大。所以,常常会出现中央数据库不堪重负的情况。表现出来的现象是:批量处理任务耗时过长,远远超过业务可以容忍的时限;在线数据查询响应太慢,用户长时间等待,满意度越来越差。特别是月末或者年末,计算量达到高峰的时候,这些问题会更加严重。

9050e2114b01f7cdf288314a389c3a4a_1670227023273100.png
解决这个问题最容易想到的方法是提高中央数据仓库的负载能力,也就是对现有数仓进行扩容或者更换其他数仓产品。但是,数仓扩容涉及的软硬件成本都很高,频繁扩容意味着无法承受的巨大投入。而且,数据仓库一旦达到容量上限,这个办法也就不可行了。

将现有的数据仓库换成其他数仓产品的可行性也不高,这牵扯到多个部门、多种应用,更换的综合成本太高,风险也很大。即使真的换了,也不能保证很好的解决这个问题。

我们发现,现实中的很多应用都有这样一个特点:有一部分小量(热)数据访问频率远高于其它的大量(冷)数据,比如对最近几天数据的查询可能占全部查询的 80% 到 90%。我们可以利用这个特点来解决问题,具体做法是:在中央数据库和前端应用之间增加前置数据库,存放访问频次高的少量热数据。前端应用的查询请求统一提交给前置数据库,由前置库判断查询的是热数据还是冷数据,相应的访问本地数据,或将请求转发给中央数据仓库。最后,将热、冷数据计算结果整合后,统一返回给前端。前置库方案大致是下图这样:
f94b9eebda1e1daabdb32a0f27e81df4_1670227023532100.png
这个方案中,数据流动的路径要遵循一定的数据路由规则:频繁出现的针对少量热数据的查询由前置数据库负责,偶尔出现的针对大量冷数据的查询由中央数仓负责。这样,中央数仓的负载大大降低,不再成为拖累性能的瓶颈。

但是,传统数据库或数仓软件却很难实现这种前置库方案。这是因为,数据库的计算能力是封闭的,只能计算库内的数据,很难实施计算路由规则、查询转发和结果整合等。而且,前置数据库和数据仓库一般是不同类型的软件产品,这时候会更难以实现这类跨库的运算。

按照我们设想的方案,前置库中只会存储少量热数据。如果将传统数据库用作前置库,就只能计算这些热数据,不能计算冷数据,更无法实现冷热数据整合。显然,我们也不可能让前置数据库存储全量数据,这会变成第二个中央数据仓库,不仅带来巨大的成本,也会造成重复建设。

如果不能在前置数据库上实现计算路由,就只能在前端应用上想办法。比如在界面上让用户自己选择数据源,但这会降低应用程序的易用性,影响用户满意度。再比如修改应用程序来实现路由和数据整合,但应用程序端并不擅长处理这类运算,结果会导致代码量会很大,开发维护成本高,还很难通用。

esProc SPL 是专业的结构化、半结构化计算引擎,提供开放的计算能力,数据可以从本地存储读取,也可以来自于各种异构数据源,能够轻松实现上述方案中的各种计算需求,非常适合承担前置数据库的作用。SPL 实现前置数据库的架构图大致是下图这样:
6202edfee59daf874547d737980a45a5_1670227023646100.png
SPL 是轻量级计算引擎,热数据量不大时,可以单机部署,甚至可以直接嵌入前端应用中,系统建设成本相对于传统数据库要低很多。

SPL 实现数据路由规则的代码非常简捷。假设前端应用要按客户分组统计,输入参数是开始和结束年份。前端应用的请求中 90% 以上都是计算今年和去年的数据,所以将这两年的热数据存放在 SPL 的组表 sales.ctx 中,全量数据存仍放在中央数据库的 sales 表中。这时,前端应用的请求提交给前置库后,SPL 实现数据路由的代码大致是这样:
image.png
A1、A2:前端提交的开始年份和结束年份,实际应用中应作为参数传入,这里为了方便理解直接写在代码中了。

A2-B3:如果开始年份大于等于去年,则用本地热数据 sales.ctx 计算结果,并返回。这里的过滤、分组计算,SPL 只要一两个函数就可以实现。

A4-B5:其他情况则连接中央数据仓库 DW,执行请求并返回结果。SPL 可以轻松连接各种数据库、数据仓库,很容易转发前端的请求,并统一给前端应用返回结果。

SPL 封装了大量结构化、半结构化计算函数,即使面对非常复杂的计算,也可以用很简捷的代码实现。相反,如果在前端应用中利用 Java 等高级语言来实现简单的过滤、分组汇总计算,也需要编写大量代码。

可路由计算引擎 esProc SPL 实现的前置数据库,将少量高频访问的热数据缓存在本地,可以有效提升系统整体的响应速度,减少用户等待时间。同时,前置数据库将绝大部分查询计算从中央数据仓库分离出来,减轻了中央数仓的负担。

相关文章
|
26天前
|
数据采集 人工智能 自然语言处理
AI重构数据价值链,解码「智能问数」如何赋能医药制造
随着中国医药制造业的蓬勃发展,中国已跃居全球第二大医药市场。随着监管政策的深入实施,市场对医药企业在生产、运营、管理等方面提出了更为严苛的要求。2025年政府工作报告明确提出,持续推进“人工智能+”行动,将数字技术与制造优势、市场优势更好结合起来,支持大模型广泛应用。
140 26
|
27天前
|
Java 数据处理
阿里云百炼工作流支持多模型协同标注,三模型投票分类用户意图实战
本文介绍了一种基于多模型协作的高效分类工作流方案,用于解决传统标注工作中人力依赖大、易出错的问题。通过通义千问系列的 Qwen-Plus、Qwen-Max 和 Qwen3-30b-a3b 三大模型,结合投票机制,实现售前售后意图识别的精准分类。文中详细讲解了如何在阿里云百炼应用广场创建任务型工作流,包括模型节点配置、条件判断设置及测试发布全流程。此外,还提供了批量打标的 Java 示例代码,适用于更复杂的意图标注场景。跟随文章步骤,即可快速构建高效率、高准确性的分类系统。
阿里云百炼工作流支持多模型协同标注,三模型投票分类用户意图实战
|
Java Maven Android开发
Android 阿里云镜像整理
Android 阿里云镜像整理
6888 0
|
2月前
|
弹性计算 NoSQL 数据库
阿里云服务器如何备份数据?
阿里云服务器数据备份有多种方法,用户可按需选择。主要方式包括:1)快照备份,创建云盘的时间点拷贝,支持定期备份与数据恢复;2)数据库备份DBS,适用于多种环境的数据库备份,涵盖本地及多云场景;3)云备份Cloud Backup,提供统一灾备平台,支持ECS整机、数据库、文件系统等全方位备份,保障数据安全。
|
Ubuntu 关系型数据库 MySQL
如何在 Ubuntu 20.04 上安装 MySQL
MySQL是最流行的开源关系数据库管理系统。它速度快,容易使用,容易扩展,并且流行的LAMP和LEMP的一部分。 这篇指南讲解了如何在 Ubuntu 20.04上安装和保护 MySQL。 一、前提条件 确保你以 sudo 用户身份登录 二、在 Ubuntu 上安装 MySQL 在写作这篇文章的时候,Ubuntu 源仓库中最新的 MySQL 版本号是 MySQL 8.0。
56783 4
如何在 Ubuntu 20.04 上安装 MySQL
|
11月前
|
机器学习/深度学习 数据采集 监控
如何使用机器学习模型来自动化评估数据质量?
如何使用机器学习模型来自动化评估数据质量?
369 1
|
存储 Java 大数据
Spring Boot 2.x :通过 spring-boot-starter-hbase 集成 HBase
HBase 是在 Hadoop 分布式文件系统(简称:HDFS)之上的分布式面向列的数据库。而且是 2007 最初原型,历史悠久。 那追根究底,Hadoop 是什么?Hadoop是一个分布式环境存储并处理大数据。本文介绍通过 spring-boot-starter-hbase 集成 HBase。
13388 0
|
8月前
|
前端开发 JavaScript
使用 try-catch 语句来捕获 Promise 中的异常
【10月更文挑战第26天】使用try-catch语句捕获Promise中的异常是一种非常实用的技术,能够使异步代码的错误处理更加清晰、可控,提高程序的可靠性和稳定性。在实际开发中,合理地运用try-catch语句以及其他相关的错误处理机制,可以有效地应对各种可能出现的异常情况,为用户提供更好的体验。