Flink+Hologres实时数仓在Lazada的建设及应用

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 徐鑫豪

image.png

阿里正在将国内成功商业模式用于东南亚市场进行探索与尝试。上图为东南亚6个主要国家的商业调研数据,Lazada综合电商平台包含MarketplaceLazMall、跨境等多种商业模式,通过自建物流网络与推出LazPay不断升级东南亚电商的基础设施。

image.png

大数据在国内经过淘系将近20年的打磨,已经非常成熟。Lazada数据体系与淘系数据体系非常相似,主要分为六个部分。

最左侧数据源最右侧数据应用中间为数据集成、数据建模与计算、数据聚合与集市以及数据服务。数据集成主要依靠cdpdatahub系统数据建模分为离线和实时两部分,其中离线模块基于 MaxCompute 实时模块基于 Flink 平台实现了实时数仓。集市层,2020年后逐渐使用Hologres统一替换了此前比较繁杂数据结果层与数据计算层中间件。

image.png

大促是电商常见且非常重要的场景,我们期望能够通过实时数据实时技术赋能大促或改变整个业务形态。

大促营销分为三个阶段,分别是促前、促中与促后。促前包括各种准备工作,比如招商、选品会场页面搭建,是一些比较离线或长周期动作;促中阶段需要预热蓄,为加购流量分发以及动态调控做准备此阶段多为实时决策实时调控,需要实时数据作为支撑;促需要进行业务复盘与数据分析数据PR

为了支撑业务侧实时决策与实时调控,需要对原先离线数据架构进行改造。因此,我们利用 Flink+ Hologres将数据链路全部进行实时化体系化升级利用 Hologres OLAP查询能力,能够在大促当天支持业务做实时分析,比如在极短时间内进行快速查询与分析,圈选优惠券发放的目标人群

image.png

大促发放优惠券讲究策略与节奏,比如需要圈选目标人发完券之后用户是否领取了优惠券、领取之后有否使用等问题都会影响大促节奏调控。我们需要基于实时数据,业务开发人员结合更多数据资产用户本身购买力消费习惯做目标人群锁定,并在大促期间给出实时反馈。

具体实现如下: DataHub 消息中间件消费用户实时领取与使用数据。同时因为大促周期长,需要将用户历史状态数据也一并进行计算。因此会将离线 odps 表作为初始化表,在 Flink 任务里进行实时与离线两种不同数据 source 消费。消费完之后,一方面会将数据写进 DataHub 消息中间件,推送给下游营销系统直接消费与使用另外会将数据存放到 Hologres为业务人员提供实时 OLAP 分析数据指标与数据标签。数据存入Hologres里既能够对用户购买力、消费习惯与偏好类目基础性数据资产类数据做分析,同时也能与大促中实时变化交易与权益变化数据做关联查询,快速锁定不同业务需要目标人群。

通过以上技术链路与方案,能够实现大促场景中动态调整运营策略与运营动作业务过程。

该方案中,使用Flink计算引擎同时消费实时与离线两种不同数据源,实现了流批体实时计算能够将用户历史累计权益数据结合实时变化权益数据进行实时计算,得到用户全状态权益领用及实时数据

此外,架构里还实现了实时与离线混合 OLAP 分析,在 Hologres 计算引擎里存有离线数据,供一些较为复杂的离线方式计算,计算后同步到 Hologres再将线上实时变化状态类数据同时写Hologres因此,Hologres会有全状态与非常大范围用户整体数据除了能够观测到当前状态,也能够对历史行为与表现进行综合性分析。

通过方案,营销活动系统从原先离线化状态成功过渡到可调控可决策可落地实时系统

image.png

Lazada LAB实验平台累计了万级的实验数量,实验数量排名处于 top 5 水平,支持百级子业务阈,千级月实验人数

image.png

LAB架构分为三个层次,从下至上分别是数据模块、系统模块和应用模块

数据模块利用数据存储引擎已经全部切换为Hologres 实验里通用数据和业务指标会进行提前预计算能够减轻Hologres 计算压力。另外会将明细层数据与轻度汇总层数据通过实时计算方式写到Hologres,以支撑在AB 实验场景里自定义与灵活快速分析所需能力。最后将各种实验维度数据同步到 Hologres 进行自定义分析与查询使用。

image.png

上图为LAB平台实验数据流加工过程。

数据源常见Binlog 数据,包括日志采集搜推广日志数据。离线数仓也会进行数据加工然后写到离 Hologres。另外会通过Flink实时计算与操作,将实时明细层与汇总层数据同步到 Hologres

因此 Hologres 建立了一套完整实时数仓,有实时的 DWD明细层, ADS 层存有很多计算好的离线数据,还有DWS数据以及维度数据。其上还建设大量逻辑视图与部分物化视图因为实验场景中,查询条件或查询模式对于表使用非常固定可能需要通过逻辑视图与物化视图将经常使用查询方式与指标固化,增加前端实验性能。

以上架构利用 Hologres 强大查询与数据写入导出能力,提升了整个 LAB平台实验速率与效率。

image.png

关于Hologres的使用,存储方面,分布式数据的使用首先必须确保数据合理均匀分布存储,另外数据使用行存还是列存,需要依赖于业务场景使用诉求。分区表选择时,一定要有分布键TableGroup Shard分配时,需要做校验操作有维表校验也有事实表之间的校验。因此需要结合维表数据量业务场景不断实践与摸索。

计算方面,Hologres提供了主键的设计替代、近似计算、聚簇索引、时间分段索引优化字典编码等存储引擎。

image.png

阿里利用 MaxCompute支撑与实现了离线数仓基础体系建设。Flink 问世后,阿里数据体系从原先的离线系统彻底转化实时数仓体系。随着 Hologres云原生OLAP数据引擎诞生,我们已经可以窥到湖仓一体可能的实现和使用方式,并以此支撑异构多元智能计算。

我们期望能够利用 Hologres服务与分析一体化能力,结合 AI 处理,在一个平台、一个组件上快速完成数据加工,将业务价值通过技术平台高效释放。

牛顿,站在巨人肩膀上能让我们看得更远。而我们也坚信,有阿里云这样一个巨人,我们能够将数据业务价值发挥得更加透彻、更加淋漓尽致。

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
25天前
|
分布式计算 数据处理 Apache
Spark和Flink的区别是什么?如何选择?都应用在哪些行业?
【10月更文挑战第10天】Spark和Flink的区别是什么?如何选择?都应用在哪些行业?
122 1
|
23天前
|
存储 数据采集 大数据
Flink实时湖仓,为汽车行业数字化加速!
本文由阿里云计算平台产品专家李鲁兵(云觉)分享,聚焦汽车行业大数据应用。内容涵盖市场趋势、典型大数据架构、产品市场地位及能力解读,以及典型客户案例。文章详细介绍了新能源汽车市场的快速增长、大数据架构分析、实时湖仓方案的优势,以及Flink和Paimon在车联网中的应用案例。
159 8
Flink实时湖仓,为汽车行业数字化加速!
|
10天前
|
分布式计算 大数据 OLAP
AnalyticDB与大数据生态集成:Spark & Flink
【10月更文挑战第25天】在大数据时代,实时数据处理和分析变得越来越重要。AnalyticDB(ADB)是阿里云推出的一款完全托管的实时数据仓库服务,支持PB级数据的实时分析。为了充分发挥AnalyticDB的潜力,将其与大数据处理工具如Apache Spark和Apache Flink集成是非常必要的。本文将从我个人的角度出发,分享如何将AnalyticDB与Spark和Flink集成,构建端到端的大数据处理流水线,实现数据的实时分析和处理。
41 1
|
2月前
|
存储 数据采集 OLAP
饿了么基于Flink+Paimon+StarRocks的实时湖仓探索
饿了么的实时数仓经历了多个阶段的演进。初期通过实时ETL、报表应用、联动及监控构建基础架构,随后形成了涵盖数据采集、加工和服务的整体数据架构。1.0版本通过日志和Binlog采集数据,但在研发效率和数据一致性方面存在问题。2.0版本通过Dataphin构建流批一体化系统,提升了数据一致性和研发效率,但仍面临新业务适应性等问题。最终,饿了么选择Paimon和StarRocks作为实时湖仓方案,显著降低了存储成本并提高了系统稳定性。未来,将进一步优化带宽瓶颈、小文件问题及权限控制,实现更多场景的应用。
296 7
饿了么基于Flink+Paimon+StarRocks的实时湖仓探索
|
26天前
|
SQL 分布式计算 数据挖掘
加速数据分析:阿里云Hologres在实时数仓中的应用实践
【10月更文挑战第9天】随着大数据技术的发展,企业对于数据处理和分析的需求日益增长。特别是在面对海量数据时,如何快速、准确地进行数据查询和分析成为了关键问题。阿里云Hologres作为一个高性能的实时交互式分析服务,为解决这些问题提供了强大的支持。本文将深入探讨Hologres的特点及其在实时数仓中的应用,并通过具体的代码示例来展示其实际应用。
131 0
|
2月前
|
存储 监控 算法
Hologres 在 BI 场景中的应用
【9月更文第1天】随着企业对实时数据分析的需求不断增加,传统的批处理方式已经无法满足现代业务决策的速度要求。Hologres,作为一款专为在线分析处理(OLAP)设计的实时数仓解决方案,提供了高性能的查询能力,能够支持大规模数据集的实时分析需求。本文将探讨 Hologres 在商业智能(BI)场景中的应用,包括如何集成 BI 工具以提供实时数据洞察,并加速决策过程。
60 3
|
2月前
|
消息中间件 SQL 大数据
Hologres 在大数据实时处理中的应用
【9月更文第1天】随着大数据技术的发展,实时数据处理成为企业获取竞争优势的关键。传统的批处理框架虽然在处理大量历史数据时表现出色,但在应对实时数据流时却显得力不从心。阿里云的 Hologres 是一款全托管、实时的交互式分析服务,它不仅支持 SQL 查询,还能够与 Kafka、MaxCompute 等多种数据源无缝对接,非常适合于实时数据处理和分析。
106 2
|
3月前
|
消息中间件 关系型数据库 MySQL
实时计算 Flink版产品使用问题之使用CTAS同步MySQL到Hologres时出现的时区差异,该如何解决
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
3月前
|
机器学习/深度学习 监控 Serverless
Serverless 应用的监控与调试问题之Flink在内部使用的未来规划,以及接下来有什么打算贡献社区的创新技术
Serverless 应用的监控与调试问题之Flink在内部使用的未来规划,以及接下来有什么打算贡献社区的创新技术
|
3月前
|
机器学习/深度学习 监控 大数据
Serverless 应用的监控与调试问题之Flink在整个开源大数据生态中应该如何定位,差异化该如何保持
Serverless 应用的监控与调试问题之Flink在整个开源大数据生态中应该如何定位,差异化该如何保持

相关产品

  • 实时计算 Flink版