带你读《Apache Doris 案例集》—— 02 河北幸福消费金融基于Apache Doris 构建实时数仓,查询提速400倍!(2)

本文涉及的产品
云原生数据库 PolarDB MySQL 版,Serverless 5000PCU 100GB
云数据库 Redis 版,社区版 2GB
推荐场景:
搭建游戏排行榜
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介: 带你读《Apache Doris 案例集》—— 02 河北幸福消费金融基于Apache Doris 构建实时数仓,查询提速400倍!(2)

更多精彩内容,欢迎观看:

带你读《Apache Doris 案例集》—— 02 河北幸福消费金融基于Apache Doris 构建实时数仓,查询提速400倍!(1):https://developer.aliyun.com/article/1405775


应用实践

 

实时数据归集

 

公司的业务系统通常是按照产品进行库划分,各个产品表结构保持一致。而实时数仓核心功能就是依靠 Doris丰富的导入能力,将分散的库对应的相同的逻辑表归集到Doris下的同一个逻辑表上,汇集后的数据也能在监管主题层面进行整体调整,避免烟囱效应的发生。汇集的实时数据进入数仓后,会主动触发衍生变量的自动计算,更新衍生变量的值。而衍生变量的汇总值在一个单独的表中,当进行查询时,可以实现毫秒级别的查询响应。 

 

在进行实时数仓归集时,首先需要确定 FlinkCDC、Flink、Flink on Yarn、Apache Doris等核心组件的版本号,接着基于 PyFlink进行产品化自动接入实时数仓的建设。具体操作如下:

 

在数据层面,将业务系统数据库按照水平和垂直进行切分,以提升读写性能并增加高可用性。

 

在数仓层面,我们对业务表的数据进行了维度汇集,以便进行更好的统一汇总分析。

 

在数据接入方面,我们需要高效地接入现有业务系统的存量数据,并持续稳定地接入增量数据。

 

此外,我们还提供了标准化的接入方案和接口,以满足不同业务场景的需求。


使用步骤:

 

1.接入配置表:配置归集的业务库表的相关信息。

 image.png 

 2.调度系统部署:通过调度系统部署实时归集的任务  image.png

 

3.任务常规运维:我们对任务上线、启动、停止和异常恢复处理等功能进行了高度封装,并与分布 式 调 度 系统  Airflow 进行了深度集成和融合。使用人员不必关心底层细节,可以轻松地将MySQL  键迁移到 Doris,    实现存量和增量数据的自动化迁移。经沟通,社区目前已发布了Doris-Flink-Connector1.4.0 版本,该版本集成了 Flink  CDC,可以实现了从 MySQL  等关系型数据库到Apache   Doris 的一键整库同步。 

 

数据质量监控

 

离线数仓存在各种数据质量问题,这些问题通常在数据跑批时才会暴露出来,导致数据修复时间窗口急剧被压缩。为了解决这个问题,我们利用 Doris 立了数据质量监控系统,同时将离线数仓的数据质量监控模型迁移到Doris  基于该系统可以实时监控业务指标和数据质量,并在发现问题时及时进行人工干预或报警,提高离线数仓跑批的稳定性和效率。另外当实时数仓获取归集后的数据后,可通过数据质量监控系统的校验规则第一时间对数据质量进行实时检查,保证数据归集的准确性。

image.png  

目前我们已经将30%的数据监控指标和35个业务指标迁移到Doris 实时集群上,每月可成功规避问题3次以上,有效提升了离线数仓跑批的数据质量。后续我们将继续将更多的数据监控指标和业务指标迁移到 Doris 集群中,以进一步提高数据处理的效率和质量。

 

 数据联邦查询


 各业务条线的核心数据存储在不同类型的数据库中,如MySQLHiveES  等。Apache Doris

1.2 版本提供的 Multi   Catalog 功能可以统一数据查询出口、实现联邦查询,为数据分析提供了极大的便利。同时,借助 Doris  的持久化能力,可以通过外表的方式快速同步其他数据源数据, 方便快捷。此外,通过 Apache  Doris 聚合查询、向量化引擎等技术的加持,们真正实现了高效的数据统一门户,提高了数据分析的效率 

 

优化经验

 

负载均衡 

 

随着 Doris 接入的业务量不断增加,FE  的负载也在不断增长。为了实现 Doris 的高可用性,我们增加了 FE 节点数,在多个 FE 节点上部署负载均衡层。我们选择基于Nginx  TCP 反向代理的方式来构建 FE 的负载均衡,有效地实现了FE 角色之间的负载均衡。具体配置方式如下:

image.png 

查询优化

 

当前审批系统的业务数据持久化在关系型数据库MySQL  中,累计总进件量将近2.8亿。为了应对日益膨胀的的数据问题,业务系统的数据库采用了分表和数据归档的设计思路。但是在业务上,我们仍需要对全量数据进行业务查询,并且时效要求在3秒内返回结果。以下是查询需求的抽象分类:

 

申请编号”,“客户编号”,“身份证号”,“核心客户号中的一个或多个作为查询条件进行查询

 

申请日期更新日期中的一个条件,结合姓名申请类型进件渠道白名渠道决策阶段审批类型审批结果等形成复核条件做查询

 

申请日期更新日期中的任意一个为条件,对近一周的审批明细数据进行查询查询

 

为了满足以上查询场景的需求,我们将审批进件数据结合Doris 引擎的分区分桶技术、布隆过滤器和位图索引进行合理的设计,最终整体实现了满足业务上3秒内的查询效率需求。

 

优化策略:

 

分区: apply_tim

 

分桶:IDdatabase_nametable_name

 

布隆索引:id_number,bhb_customer_id,customer_name,customer_id,serial_no

 

apply_source,white_channel,approval_result,approval_status,product_type,decision stage

 

基于上述查询的压测指标效果如下:

 image.png

 运维管理

image.png 

通过Doris 提供的 Prometheus  Grafana 可以快速获取 Doris集群的整体健康状况以及各个角色的多方面指标值。同时我们还将监控平台与公司统一告警平台进行二次融合,告警平台可以通过 API 获取 Prometheus    的基础指标值与阈值进行比较,从而触发不同级别的报警或者达到服务自动重启。此外,我们在FE BE  服务级别上实现任务的自动运维,确保在服务异常时能够自动拉起,保证核心服务的可用性。

 

总结收益

 

Doris  已经在公司内部得到了广泛应用,目前已搭建数十台集群规模,为公司带来了以下收益 

 

数据处理时效提升:数据处理的时效从T+1到实时,解决了离线数据延迟的问题。 

 

秒级查询响应:借助 Doris 分区分桶、物化视图、布隆索引等功能进行查询优化,即席查询的速度从原先的20分钟左右降低到分钟甚至秒级响应,相较之前有400的速度提升。 

 

统一查询出口:依赖于 Doris强大的导入能力和 Multi Catalog 功能成功将各业务库的数据整合汇总到 Doris 中,由 Doris统一提供数据查询及分析服务,极大的提升了查询分析响应效率。

 

提升数据质量: 基于 Doris 建立了数据质量监控系统,目前我们已经将30% 的数据监控指标和35个业务指标迁移到Doris 实时集群上,有效提升了离线数仓跑批的数据质量。

 

综上所述,Doris在公司内部的广泛应用,为我们带来了多方面的收益,助力企业提升数据分析效率、降低数据管理成本、实现统一、实时、高效的数据中台建设,为业务向好发展注入了新的动力。

 

 未来我们将继续扩大Doris  的使用范围,在实时、性能、时效要求更高的业务领域发力,其次我们还将尝试使用 Doris更多的功能及新特性,一方面深化 Doris在公司的使用,另一方面我们会将真实的使用体验反馈到社区,帮助 Doris进一步迭代优化。

相关实践学习
基于Hologres+PAI+计算巢,5分钟搭建企业级AI问答知识库
本场景采用阿里云人工智能平台PAI、Hologres向量计算和计算巢,搭建企业级AI问答知识库。通过本教程的操作,5分钟即可拉起大模型(PAI)、向量计算(Hologres)与WebUI资源,可直接进行对话问答。
相关文章
|
26天前
|
缓存 安全 Java
阿里云数据库 SelectDB 内核 Apache Doris 2.0.6 版本正式发布
阿里云数据库 SelectDB 内核 Apache Doris 2.0.6 版本正式发布
|
1月前
|
SQL 存储 JSON
阿里云数据库 SelectDB 内核 Apache Doris 2.1.0 版本发布:开箱盲测性能大幅优化,复杂查询性能提升 100%
亲爱的社区小伙伴们,Apache Doris 2.1.0 版本已于 2024 年 3 月 8 日正式发布,新版本开箱盲测性能大幅优化,在复杂查询性能方面提升100%,新增Arrow Flight接口加速数据读取千倍,支持半结构化数据类型与分析函数。异步多表物化视图优化查询并助力仓库分层建模。引入自增列、自动分区等存储优化,提升实时写入效率。Workload Group 资源隔离强化及运行时监控功能升级,保障多负载场景下的稳定性。新版本已经上线,欢迎大家下载使用!
阿里云数据库 SelectDB 内核 Apache Doris 2.1.0 版本发布:开箱盲测性能大幅优化,复杂查询性能提升 100%
|
1月前
|
缓存 监控
遇到Hologres慢查询列表的导出功能出现问题,无法下载查询结果的情况
【2月更文挑战第20天】遇到Hologres慢查询列表的导出功能出现问题,无法下载查询结果的情况
47 1
|
1月前
|
存储 缓存 分布式计算
Apache Hudi数据跳过技术加速查询高达50倍
Apache Hudi数据跳过技术加速查询高达50倍
38 2
|
26天前
|
存储 SQL 数据管理
阿里云数据库 SelectDB 内核 Apache Doris 如何基于自增列满足高效字典编码等典型场景需求|Deep Dive 系列
自增列的实现,使得 Apache Doris 可以在处理大规模时展示出更高的稳定性和可靠性。通过自增列,用户能够高效进行字典编码,显著提升了字符串精确去重以及查询的性能。使用自增列作为主键来存储明细数据,可以完美的解决明细数据更新的问题。同时,基于自增列,用户可以实现高效的分页机制,轻松应对深分页场景,有效过滤掉大量非必需数据,从而减轻数据库的负载压力,为用户带来了更加流畅和高效的数据处理体验。
|
27天前
|
SQL 数据可视化 Apache
阿里云数据库内核 Apache Doris 兼容 Presto、Trino、ClickHouse、Hive 等近十种 SQL 方言,助力业务平滑迁移
阿里云数据库 SelectDB 内核 Doris 的 SQL 方言转换工具, Doris SQL Convertor 致力于提供高效、稳定的 SQL 迁移解决方案,满足用户多样化的业务需求。兼容 Presto、Trino、ClickHouse、Hive 等近十种 SQL 方言,助力业务平滑迁移。
阿里云数据库内核 Apache Doris 兼容 Presto、Trino、ClickHouse、Hive 等近十种 SQL 方言,助力业务平滑迁移
|
1月前
|
分布式计算 大数据 测试技术
查询时间降低60%!Apache Hudi数据布局黑科技了解下
查询时间降低60%!Apache Hudi数据布局黑科技了解下
22 0
|
1月前
|
数据处理 数据库
在Hologres的HoloWeb控制台中,您可以查看并分析历史查询语句
【2月更文挑战第20天】在Hologres的HoloWeb控制台中,您可以查看并分析历史查询语句
16 1
|
1月前
|
存储 监控 物联网
Doris实时数仓
Doris实时数仓
49 11
|
1月前
|
存储 测试技术 API
Apache Hudi 负载类Payload使用案例剖析
Apache Hudi 负载类Payload使用案例剖析
27 4

推荐镜像

更多