带你读《Apache Doris 案例集》—— 02 河北幸福消费金融基于Apache Doris 构建实时数仓,查询提速400倍!(2)

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 Tair(兼容Redis),内存型 2GB
简介: 带你读《Apache Doris 案例集》—— 02 河北幸福消费金融基于Apache Doris 构建实时数仓,查询提速400倍!(2)

更多精彩内容,欢迎观看:

带你读《Apache Doris 案例集》—— 02 河北幸福消费金融基于Apache Doris 构建实时数仓,查询提速400倍!(1):https://developer.aliyun.com/article/1405775


应用实践

 

实时数据归集

 

公司的业务系统通常是按照产品进行库划分,各个产品表结构保持一致。而实时数仓核心功能就是依靠 Doris丰富的导入能力,将分散的库对应的相同的逻辑表归集到Doris下的同一个逻辑表上,汇集后的数据也能在监管主题层面进行整体调整,避免烟囱效应的发生。汇集的实时数据进入数仓后,会主动触发衍生变量的自动计算,更新衍生变量的值。而衍生变量的汇总值在一个单独的表中,当进行查询时,可以实现毫秒级别的查询响应。 

 

在进行实时数仓归集时,首先需要确定 FlinkCDC、Flink、Flink on Yarn、Apache Doris等核心组件的版本号,接着基于 PyFlink进行产品化自动接入实时数仓的建设。具体操作如下:

 

在数据层面,将业务系统数据库按照水平和垂直进行切分,以提升读写性能并增加高可用性。

 

在数仓层面,我们对业务表的数据进行了维度汇集,以便进行更好的统一汇总分析。

 

在数据接入方面,我们需要高效地接入现有业务系统的存量数据,并持续稳定地接入增量数据。

 

此外,我们还提供了标准化的接入方案和接口,以满足不同业务场景的需求。


使用步骤:

 

1.接入配置表:配置归集的业务库表的相关信息。

 image.png 

 2.调度系统部署:通过调度系统部署实时归集的任务  image.png

 

3.任务常规运维:我们对任务上线、启动、停止和异常恢复处理等功能进行了高度封装,并与分布 式 调 度 系统  Airflow 进行了深度集成和融合。使用人员不必关心底层细节,可以轻松地将MySQL  键迁移到 Doris,    实现存量和增量数据的自动化迁移。经沟通,社区目前已发布了Doris-Flink-Connector1.4.0 版本,该版本集成了 Flink  CDC,可以实现了从 MySQL  等关系型数据库到Apache   Doris 的一键整库同步。 

 

数据质量监控

 

离线数仓存在各种数据质量问题,这些问题通常在数据跑批时才会暴露出来,导致数据修复时间窗口急剧被压缩。为了解决这个问题,我们利用 Doris 立了数据质量监控系统,同时将离线数仓的数据质量监控模型迁移到Doris  基于该系统可以实时监控业务指标和数据质量,并在发现问题时及时进行人工干预或报警,提高离线数仓跑批的稳定性和效率。另外当实时数仓获取归集后的数据后,可通过数据质量监控系统的校验规则第一时间对数据质量进行实时检查,保证数据归集的准确性。

image.png  

目前我们已经将30%的数据监控指标和35个业务指标迁移到Doris 实时集群上,每月可成功规避问题3次以上,有效提升了离线数仓跑批的数据质量。后续我们将继续将更多的数据监控指标和业务指标迁移到 Doris 集群中,以进一步提高数据处理的效率和质量。

 

 数据联邦查询


 各业务条线的核心数据存储在不同类型的数据库中,如MySQLHiveES  等。Apache Doris

1.2 版本提供的 Multi   Catalog 功能可以统一数据查询出口、实现联邦查询,为数据分析提供了极大的便利。同时,借助 Doris  的持久化能力,可以通过外表的方式快速同步其他数据源数据, 方便快捷。此外,通过 Apache  Doris 聚合查询、向量化引擎等技术的加持,们真正实现了高效的数据统一门户,提高了数据分析的效率 

 

优化经验

 

负载均衡 

 

随着 Doris 接入的业务量不断增加,FE  的负载也在不断增长。为了实现 Doris 的高可用性,我们增加了 FE 节点数,在多个 FE 节点上部署负载均衡层。我们选择基于Nginx  TCP 反向代理的方式来构建 FE 的负载均衡,有效地实现了FE 角色之间的负载均衡。具体配置方式如下:

image.png 

查询优化

 

当前审批系统的业务数据持久化在关系型数据库MySQL  中,累计总进件量将近2.8亿。为了应对日益膨胀的的数据问题,业务系统的数据库采用了分表和数据归档的设计思路。但是在业务上,我们仍需要对全量数据进行业务查询,并且时效要求在3秒内返回结果。以下是查询需求的抽象分类:

 

申请编号”,“客户编号”,“身份证号”,“核心客户号中的一个或多个作为查询条件进行查询

 

申请日期更新日期中的一个条件,结合姓名申请类型进件渠道白名渠道决策阶段审批类型审批结果等形成复核条件做查询

 

申请日期更新日期中的任意一个为条件,对近一周的审批明细数据进行查询查询

 

为了满足以上查询场景的需求,我们将审批进件数据结合Doris 引擎的分区分桶技术、布隆过滤器和位图索引进行合理的设计,最终整体实现了满足业务上3秒内的查询效率需求。

 

优化策略:

 

分区: apply_tim

 

分桶:IDdatabase_nametable_name

 

布隆索引:id_number,bhb_customer_id,customer_name,customer_id,serial_no

 

apply_source,white_channel,approval_result,approval_status,product_type,decision stage

 

基于上述查询的压测指标效果如下:

 image.png

 运维管理

image.png 

通过Doris 提供的 Prometheus  Grafana 可以快速获取 Doris集群的整体健康状况以及各个角色的多方面指标值。同时我们还将监控平台与公司统一告警平台进行二次融合,告警平台可以通过 API 获取 Prometheus    的基础指标值与阈值进行比较,从而触发不同级别的报警或者达到服务自动重启。此外,我们在FE BE  服务级别上实现任务的自动运维,确保在服务异常时能够自动拉起,保证核心服务的可用性。

 

总结收益

 

Doris  已经在公司内部得到了广泛应用,目前已搭建数十台集群规模,为公司带来了以下收益 

 

数据处理时效提升:数据处理的时效从T+1到实时,解决了离线数据延迟的问题。 

 

秒级查询响应:借助 Doris 分区分桶、物化视图、布隆索引等功能进行查询优化,即席查询的速度从原先的20分钟左右降低到分钟甚至秒级响应,相较之前有400的速度提升。 

 

统一查询出口:依赖于 Doris强大的导入能力和 Multi Catalog 功能成功将各业务库的数据整合汇总到 Doris 中,由 Doris统一提供数据查询及分析服务,极大的提升了查询分析响应效率。

 

提升数据质量: 基于 Doris 建立了数据质量监控系统,目前我们已经将30% 的数据监控指标和35个业务指标迁移到Doris 实时集群上,有效提升了离线数仓跑批的数据质量。

 

综上所述,Doris在公司内部的广泛应用,为我们带来了多方面的收益,助力企业提升数据分析效率、降低数据管理成本、实现统一、实时、高效的数据中台建设,为业务向好发展注入了新的动力。

 

 未来我们将继续扩大Doris  的使用范围,在实时、性能、时效要求更高的业务领域发力,其次我们还将尝试使用 Doris更多的功能及新特性,一方面深化 Doris在公司的使用,另一方面我们会将真实的使用体验反馈到社区,帮助 Doris进一步迭代优化。

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
相关文章
|
5天前
|
消息中间件 数据挖掘 Kafka
Apache Kafka流处理实战:构建实时数据分析应用
【10月更文挑战第24天】在当今这个数据爆炸的时代,能够快速准确地处理实时数据变得尤为重要。无论是金融交易监控、网络行为分析还是物联网设备的数据收集,实时数据处理技术都是不可或缺的一部分。Apache Kafka作为一款高性能的消息队列系统,不仅支持传统的消息传递模式,还提供了强大的流处理能力,能够帮助开发者构建高效、可扩展的实时数据分析应用。
31 5
|
5天前
|
消息中间件 存储 监控
构建高可用性Apache Kafka集群:从理论到实践
【10月更文挑战第24天】随着大数据时代的到来,数据传输与处理的需求日益增长。Apache Kafka作为一个高性能的消息队列服务,因其出色的吞吐量、可扩展性和容错能力而受到广泛欢迎。然而,在构建大规模生产环境下的Kafka集群时,保证其高可用性是至关重要的。本文将从个人实践经验出发,详细介绍如何构建一个高可用性的Kafka集群,包括集群规划、节点配置以及故障恢复机制等方面。
25 4
|
24天前
|
消息中间件 分布式计算 大数据
大数据-166 Apache Kylin Cube 流式构建 整体流程详细记录
大数据-166 Apache Kylin Cube 流式构建 整体流程详细记录
53 5
|
24天前
|
存储 SQL 分布式计算
大数据-162 Apache Kylin 全量增量Cube的构建 Segment 超详细记录 多图
大数据-162 Apache Kylin 全量增量Cube的构建 Segment 超详细记录 多图
44 3
|
4天前
|
存储 数据挖掘 数据处理
巴别时代使用 Apache Paimon 构建 Streaming Lakehouse 的实践
随着数据湖技术的发展,企业纷纷探索其优化潜力。本文分享了巴别时代使用 Apache Paimon 构建 Streaming Lakehouse 的实践。Paimon 支持流式和批处理,提供高性能、统一的数据访问和流批一体的优势。通过示例代码和实践经验,展示了如何高效处理实时数据,解决了数据一致性和故障恢复等挑战。
85 61
|
24天前
|
Java 大数据 数据库连接
大数据-163 Apache Kylin 全量增量Cube的构建 手动触发合并 JDBC 操作 Scala
大数据-163 Apache Kylin 全量增量Cube的构建 手动触发合并 JDBC 操作 Scala
26 2
大数据-163 Apache Kylin 全量增量Cube的构建 手动触发合并 JDBC 操作 Scala
|
24天前
|
SQL 分布式计算 大数据
大数据-160 Apache Kylin 构建Cube 按照日期构建Cube 详细记录
大数据-160 Apache Kylin 构建Cube 按照日期构建Cube 详细记录
34 2
|
23天前
|
存储 SQL 缓存
Apache Doris 3.0 里程碑版本|存算分离架构升级、湖仓一体再进化
从 3.0 系列版本开始,Apache Doris 开始支持存算分离模式,用户可以在集群部署时选择采用存算一体模式或存算分离模式。基于云原生存算分离的架构,用户可以通过多计算集群实现查询负载间的物理隔离以及读写负载隔离,并借助对象存储或 HDFS 等低成本的共享存储系统来大幅降低存储成本。
Apache Doris 3.0 里程碑版本|存算分离架构升级、湖仓一体再进化
|
24天前
|
SQL 消息中间件 大数据
大数据-159 Apache Kylin 构建Cube 准备和测试数据(一)
大数据-159 Apache Kylin 构建Cube 准备和测试数据(一)
39 1
|
24天前
|
SQL 存储 监控
大数据-161 Apache Kylin 构建Cube 按照日期、区域、产品、渠道 与 Cube 优化
大数据-161 Apache Kylin 构建Cube 按照日期、区域、产品、渠道 与 Cube 优化
32 0

推荐镜像

更多