Flink+Hologres实时数仓在Lazada的建设及应用

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 徐鑫豪

image.png

阿里正在将国内成功商业模式用于东南亚市场进行探索与尝试。上图为东南亚6个主要国家的商业调研数据,Lazada综合电商平台包含MarketplaceLazMall、跨境等多种商业模式,通过自建物流网络与推出LazPay不断升级东南亚电商的基础设施。

image.png

大数据在国内经过淘系将近20年的打磨,已经非常成熟。Lazada数据体系与淘系数据体系非常相似,主要分为六个部分。

最左侧数据源最右侧数据应用中间为数据集成、数据建模与计算、数据聚合与集市以及数据服务。数据集成主要依靠cdpdatahub系统数据建模分为离线和实时两部分,其中离线模块基于 MaxCompute 实时模块基于 Flink 平台实现了实时数仓。集市层,2020年后逐渐使用Hologres统一替换了此前比较繁杂数据结果层与数据计算层中间件。

image.png

大促是电商常见且非常重要的场景,我们期望能够通过实时数据实时技术赋能大促或改变整个业务形态。

大促营销分为三个阶段,分别是促前、促中与促后。促前包括各种准备工作,比如招商、选品会场页面搭建,是一些比较离线或长周期动作;促中阶段需要预热蓄,为加购流量分发以及动态调控做准备此阶段多为实时决策实时调控,需要实时数据作为支撑;促需要进行业务复盘与数据分析数据PR

为了支撑业务侧实时决策与实时调控,需要对原先离线数据架构进行改造。因此,我们利用 Flink+ Hologres将数据链路全部进行实时化体系化升级利用 Hologres OLAP查询能力,能够在大促当天支持业务做实时分析,比如在极短时间内进行快速查询与分析,圈选优惠券发放的目标人群

image.png

大促发放优惠券讲究策略与节奏,比如需要圈选目标人发完券之后用户是否领取了优惠券、领取之后有否使用等问题都会影响大促节奏调控。我们需要基于实时数据,业务开发人员结合更多数据资产用户本身购买力消费习惯做目标人群锁定,并在大促期间给出实时反馈。

具体实现如下: DataHub 消息中间件消费用户实时领取与使用数据。同时因为大促周期长,需要将用户历史状态数据也一并进行计算。因此会将离线 odps 表作为初始化表,在 Flink 任务里进行实时与离线两种不同数据 source 消费。消费完之后,一方面会将数据写进 DataHub 消息中间件,推送给下游营销系统直接消费与使用另外会将数据存放到 Hologres为业务人员提供实时 OLAP 分析数据指标与数据标签。数据存入Hologres里既能够对用户购买力、消费习惯与偏好类目基础性数据资产类数据做分析,同时也能与大促中实时变化交易与权益变化数据做关联查询,快速锁定不同业务需要目标人群。

通过以上技术链路与方案,能够实现大促场景中动态调整运营策略与运营动作业务过程。

该方案中,使用Flink计算引擎同时消费实时与离线两种不同数据源,实现了流批体实时计算能够将用户历史累计权益数据结合实时变化权益数据进行实时计算,得到用户全状态权益领用及实时数据

此外,架构里还实现了实时与离线混合 OLAP 分析,在 Hologres 计算引擎里存有离线数据,供一些较为复杂的离线方式计算,计算后同步到 Hologres再将线上实时变化状态类数据同时写Hologres因此,Hologres会有全状态与非常大范围用户整体数据除了能够观测到当前状态,也能够对历史行为与表现进行综合性分析。

通过方案,营销活动系统从原先离线化状态成功过渡到可调控可决策可落地实时系统

image.png

Lazada LAB实验平台累计了万级的实验数量,实验数量排名处于 top 5 水平,支持百级子业务阈,千级月实验人数

image.png

LAB架构分为三个层次,从下至上分别是数据模块、系统模块和应用模块

数据模块利用数据存储引擎已经全部切换为Hologres 实验里通用数据和业务指标会进行提前预计算能够减轻Hologres 计算压力。另外会将明细层数据与轻度汇总层数据通过实时计算方式写到Hologres,以支撑在AB 实验场景里自定义与灵活快速分析所需能力。最后将各种实验维度数据同步到 Hologres 进行自定义分析与查询使用。

image.png

上图为LAB平台实验数据流加工过程。

数据源常见Binlog 数据,包括日志采集搜推广日志数据。离线数仓也会进行数据加工然后写到离 Hologres。另外会通过Flink实时计算与操作,将实时明细层与汇总层数据同步到 Hologres

因此 Hologres 建立了一套完整实时数仓,有实时的 DWD明细层, ADS 层存有很多计算好的离线数据,还有DWS数据以及维度数据。其上还建设大量逻辑视图与部分物化视图因为实验场景中,查询条件或查询模式对于表使用非常固定可能需要通过逻辑视图与物化视图将经常使用查询方式与指标固化,增加前端实验性能。

以上架构利用 Hologres 强大查询与数据写入导出能力,提升了整个 LAB平台实验速率与效率。

image.png

关于Hologres的使用,存储方面,分布式数据的使用首先必须确保数据合理均匀分布存储,另外数据使用行存还是列存,需要依赖于业务场景使用诉求。分区表选择时,一定要有分布键TableGroup Shard分配时,需要做校验操作有维表校验也有事实表之间的校验。因此需要结合维表数据量业务场景不断实践与摸索。

计算方面,Hologres提供了主键的设计替代、近似计算、聚簇索引、时间分段索引优化字典编码等存储引擎。

image.png

阿里利用 MaxCompute支撑与实现了离线数仓基础体系建设。Flink 问世后,阿里数据体系从原先的离线系统彻底转化实时数仓体系。随着 Hologres云原生OLAP数据引擎诞生,我们已经可以窥到湖仓一体可能的实现和使用方式,并以此支撑异构多元智能计算。

我们期望能够利用 Hologres服务与分析一体化能力,结合 AI 处理,在一个平台、一个组件上快速完成数据加工,将业务价值通过技术平台高效释放。

牛顿,站在巨人肩膀上能让我们看得更远。而我们也坚信,有阿里云这样一个巨人,我们能够将数据业务价值发挥得更加透彻、更加淋漓尽致。

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
目录
打赏
0
20
48
4
12363
分享
相关文章
Flink + Doris 实时湖仓解决方案
本文整理自SelectDB技术副总裁陈明雨在Flink Forward Asia 2024的分享,聚焦Apache Doris与湖仓一体解决方案。内容涵盖三部分:一是介绍Apache Doris,一款高性能实时分析数据库,支持多场景应用;二是基于Doris、Flink和Paimon的湖仓解决方案,解决批流融合与数据一致性挑战;三是Doris社区生态及云原生发展,包括存算分离架构与600多位贡献者的活跃社区。文章深入探讨了Doris在性能、易用性及场景支持上的优势,并展示了其在多维分析、日志分析和湖仓分析中的实际应用案例。
78 17
Flink + Doris 实时湖仓解决方案
Flink CDC + Hologres高性能数据同步优化实践
本文整理自阿里云高级技术专家胡一博老师在Flink Forward Asia 2024数据集成(二)专场的分享,主要内容包括:1. Hologres介绍:实时数据仓库,支持毫秒级写入和高QPS查询;2. 写入优化:通过改进缓冲队列、连接池和COPY模式提高吞吐量和降低延迟;3. 消费优化:优化离线场景和分区表的消费逻辑,提升性能和资源利用率;4. 未来展望:进一步简化用户操作,支持更多DDL操作及全增量消费。Hologres 3.0全新升级为一体化实时湖仓平台,提供多项新功能并降低使用成本。
252 1
Flink CDC + Hologres高性能数据同步优化实践
Flink+Paimon+Hologres,面向未来的一体化实时湖仓平台架构设计
本文介绍了阿里云实时数仓Hologres负责人姜伟华在Flink Forward Asia 2024上的分享,涵盖实时数仓的发展历程、从实时数仓到实时湖仓的演进,以及总结。文章通过三代实时数仓架构的演变,详细解析了Lambda架构、Kafka实时数仓分层+OLAP、Hologres实时数仓分层复用等方案,并探讨了未来从实时数仓到实时湖仓的演进方向。最后,结合实际案例和Demo展示了Hologres + Flink + Paimon在实时湖仓中的应用,帮助用户根据业务需求选择合适的方案。
626 20
Flink+Paimon+Hologres,面向未来的一体化实时湖仓平台架构设计
Flink基于Paimon的实时湖仓解决方案的演进
本文整理自阿里云智能集团苏轩楠老师在Flink Forward Asia 2024论坛的分享,涵盖流式湖仓架构的背景介绍、技术演进和未来发展规划。背景部分介绍了ODS、DWD、DWS三层数据架构及关键组件Flink与Paimon的作用;技术演进讨论了全量与增量数据处理优化、宽表构建及Compaction操作的改进;发展规划则展望了Range Partition、Materialized Table等新功能的应用前景。通过这些优化,系统不仅简化了复杂度,还提升了实时与离线处理的灵活性和效率。
418 3
Flink基于Paimon的实时湖仓解决方案的演进
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
本文整理自鹰角网络大数据开发工程师朱正军在Flink Forward Asia 2024上的分享,主要涵盖四个方面:鹰角数据平台架构、数据湖选型、湖仓一体建设及未来展望。文章详细介绍了鹰角如何构建基于Paimon的数据湖,解决了Hudi入湖的痛点,并通过Trino引擎和Ranger权限管理实现高效的数据查询与管控。此外,还探讨了湖仓一体平台的落地效果及未来技术发展方向,包括Trino与Paimon的集成增强、StarRocks的应用以及Paimon全面替换Hive的计划。
219 1
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
​Flink+Paimon+Hologres,面向未来的一体化实时湖仓平台架构设计
​Flink+Paimon+Hologres,面向未来的一体化实时湖仓平台架构设计
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
用友畅捷通在Flink上构建实时数仓、挑战与最佳实践
本文整理自用友畅捷通数据架构师王龙强在FFA2024上的分享,介绍了公司在Flink上构建实时数仓的经验。内容涵盖业务背景、数仓建设、当前挑战、最佳实践和未来展望。随着数据量增长,公司面临数据库性能瓶颈及实时数据处理需求,通过引入Flink技术逐步解决了数据同步、链路稳定性和表结构差异等问题,并计划在未来进一步优化链路稳定性、探索湖仓一体架构以及结合AI技术推进数据资源高效利用。
486 25
用友畅捷通在Flink上构建实时数仓、挑战与最佳实践
Flink基于Paimon的实时湖仓解决方案的演进
Flink基于Paimon的实时湖仓解决方案的演进
Hologres RoaringBitmap在Lazada选品平台的最佳实践
Hologres RoaringBitmap在Lazada选品平台的最佳实践

相关产品

  • 实时计算 Flink版
  • AI助理

    你好,我是AI助理

    可以解答问题、推荐解决方案等