Flink+Hologres搭建实时数仓

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
实时数仓Hologres,5000CU*H 100GB 3个月
云原生数据仓库AnalyticDB MySQL版,基础版 8ACU 100GB 1个月
简介: 该方案利用Flink和Hologres构建实时数仓,解决传统数仓中间层查询困难、数据不可复用和架构冗余的问题。Flink负责数据源接入和加工,将数据写入Hologres的ODS、DWD和DWS层。Hologres支持高效更新和查询,各层数据可直接服务,简化架构,提高效率。方案具备高性能(Flink与Hologres深度集成,支持实时写入查询)、高可用(主从实例确保服务稳定)和低运维(全链路Flink SQL,减少运维成本)优势。适用于实时报表、推荐系统和业务监控等场景。

方案介绍

Flink+Hologres搭建实时数仓

通过Flink将数据源写入Hologres,形成ODS层。Flink订阅ODS层的Binlog进行加工,形成DWD层再次写入Hologres。Flink订阅DWD层的Binlog,通过计算形成DWS层,再次写入Hologres。最后由Hologres对外提供应用查询。

解决问题:中间层不易查

Hologres的每一层数据都支持高效更新与修正、写入即可查,解决了传统实时数仓解决方案的中间层数据不易查、不易更新、不易修正的问题。

解决问题:数据不可复用

Hologres的每一层数据都可单独对外提供服务,使得数据可以高效复用,真正实现数仓分层复用的目标。

解决问题:链路复杂,架构冗余

实时ETL链路均基于Flink SQL实现;ODS层、DWD层和DWS层的数据统一存储在Hologres中,可以降低架构复杂度,提高数据处理效率。

相关产品

实时计算 Flink 版实时数仓 Hologres云数据库 RDS MySQL 版专有网络 VPC

在线咨询

方案优势

高性能

Hologres与Flink原生深度集成,通过内置连接器,支持源表、结果表、维度表多种场景,支持宽表Merge、局部更新等操作,支持海量数据高性能的实时写入与更新,数据写入即可查询。

高可用

Hologres提供了主从多实例部署方式或计算组实例实现资源强隔离,写入、读取、分析等作业之间互不干扰,从而保证Flink对Hologres Binlog的数据拉取不影响线上服务。

低运维

全链路通过Flink和Hologres完成,实时ETL链路通过Flink SQL实现,数据统一存储在Hologres,Hologres提供对外提供在线服务和OLAP查询,每层数据可复用、可查,只需一套系统就能满足业务需求,降低运维压力和运维成本。

应用场景

实时报表查询

支持各个业务方快速查询交易数据、行为数据、用户画像标签等报表。

实时推荐

基于实时用户行为数据,分析用户行为和兴趣,为用户提供针对性的推荐。

实时推荐

通过对业务数据进行实时处理和分析,实现对业务的实时监控,及时发现业务异常和问题。

方案部署

01准备资源

这一步骤将帮助您完成所需资源的创建,包括RDS实例、Hologres实例和Flink工作空间。

02搭建实时数仓

这一步骤将引导您完成实时数仓的搭建。

03数据探查及应用

此方案的每一层数据都实现了持久化,这一步骤将进行中间数据探查,以及简单的实时报表应用场景查询。

04清理资源

完成教程学习后,你可以将模拟环境的资源释放掉,避免产生额外的费用。

方案部署

解决方案推荐

AnalyticDB MySQL湖仓版的用户运营分析实践

方案使用AnalyticDB MySQL湖仓版实现对应用数据的分析。过去的方案中,为了不影响在线分析的性能和稳定性,通常用两个实例,一个负责数据清洗,一个负责在线分析,但这种方案存在数据时效性差、一致性差、数据冗余的问题。本方案只需一个湖仓版实例就能完成“数据入湖+作业开发+在线分析”的一站式用户运营数据分析,提供更高效的数据处理方案与更低的数据存储成本。

查看详情

高价值用户挖掘及触达

高价值用户挖掘及触达方案实现营销触达全链路。本方案使用阿里云机器学习平台PAI的强大算法能力,通过对用户数据的计算和预测,辅助客户对人群营销决策的判断,在用户召回,流失预测,高价值用户寻找等多个运营场景,帮助客户降低成本,提高效率;客户可通过短信的方式触达用户,完成营销触达的全链路操作。


相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
目录
相关文章
|
8天前
|
存储 SQL Java
Flink CDC + Hologres高性能数据同步优化实践
本文整理自阿里云高级技术专家胡一博老师在Flink Forward Asia 2024数据集成(二)专场的分享,主要内容包括:1. Hologres介绍:实时数据仓库,支持毫秒级写入和高QPS查询;2. 写入优化:通过改进缓冲队列、连接池和COPY模式提高吞吐量和降低延迟;3. 消费优化:优化离线场景和分区表的消费逻辑,提升性能和资源利用率;4. 未来展望:进一步简化用户操作,支持更多DDL操作及全增量消费。Hologres 3.0全新升级为一体化实时湖仓平台,提供多项新功能并降低使用成本。
186 1
Flink CDC + Hologres高性能数据同步优化实践
|
1月前
|
SQL 消息中间件 Kafka
Flink+Paimon+Hologres,面向未来的一体化实时湖仓平台架构设计
本文介绍了阿里云实时数仓Hologres负责人姜伟华在Flink Forward Asia 2024上的分享,涵盖实时数仓的发展历程、从实时数仓到实时湖仓的演进,以及总结。文章通过三代实时数仓架构的演变,详细解析了Lambda架构、Kafka实时数仓分层+OLAP、Hologres实时数仓分层复用等方案,并探讨了未来从实时数仓到实时湖仓的演进方向。最后,结合实际案例和Demo展示了Hologres + Flink + Paimon在实时湖仓中的应用,帮助用户根据业务需求选择合适的方案。
534 20
Flink+Paimon+Hologres,面向未来的一体化实时湖仓平台架构设计
|
20天前
|
存储 关系型数据库 MySQL
Flink基于Paimon的实时湖仓解决方案的演进
本文整理自阿里云智能集团苏轩楠老师在Flink Forward Asia 2024论坛的分享,涵盖流式湖仓架构的背景介绍、技术演进和未来发展规划。背景部分介绍了ODS、DWD、DWS三层数据架构及关键组件Flink与Paimon的作用;技术演进讨论了全量与增量数据处理优化、宽表构建及Compaction操作的改进;发展规划则展望了Range Partition、Materialized Table等新功能的应用前景。通过这些优化,系统不仅简化了复杂度,还提升了实时与离线处理的灵活性和效率。
349 3
Flink基于Paimon的实时湖仓解决方案的演进
|
22天前
|
SQL 存储 HIVE
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
本文整理自鹰角网络大数据开发工程师朱正军在Flink Forward Asia 2024上的分享,主要涵盖四个方面:鹰角数据平台架构、数据湖选型、湖仓一体建设及未来展望。文章详细介绍了鹰角如何构建基于Paimon的数据湖,解决了Hudi入湖的痛点,并通过Trino引擎和Ranger权限管理实现高效的数据查询与管控。此外,还探讨了湖仓一体平台的落地效果及未来技术发展方向,包括Trino与Paimon的集成增强、StarRocks的应用以及Paimon全面替换Hive的计划。
146 1
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
|
12天前
|
SQL 消息中间件 Serverless
​Flink+Paimon+Hologres,面向未来的一体化实时湖仓平台架构设计
​Flink+Paimon+Hologres,面向未来的一体化实时湖仓平台架构设计
|
12天前
|
SQL 存储 HIVE
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
|
12天前
|
存储 关系型数据库 MySQL
Flink基于Paimon的实时湖仓解决方案的演进
Flink基于Paimon的实时湖仓解决方案的演进
|
4月前
|
SQL 运维 网络安全
【实践】基于Hologres+Flink搭建GitHub实时数据查询
本文介绍了如何利用Flink和Hologres构建GitHub公开事件数据的实时数仓,并对接BI工具实现数据实时分析。流程包括创建VPC、Hologres、OSS、Flink实例,配置Hologres内部表,通过Flink实时写入数据至Hologres,查询实时数据,以及清理资源等步骤。
|
2月前
|
SQL 监控 关系型数据库
用友畅捷通在Flink上构建实时数仓、挑战与最佳实践
本文整理自用友畅捷通数据架构师王龙强在FFA2024上的分享,介绍了公司在Flink上构建实时数仓的经验。内容涵盖业务背景、数仓建设、当前挑战、最佳实践和未来展望。随着数据量增长,公司面临数据库性能瓶颈及实时数据处理需求,通过引入Flink技术逐步解决了数据同步、链路稳定性和表结构差异等问题,并计划在未来进一步优化链路稳定性、探索湖仓一体架构以及结合AI技术推进数据资源高效利用。
453 25
用友畅捷通在Flink上构建实时数仓、挑战与最佳实践
|
2月前
|
存储 消息中间件 OLAP
Hologres+Flink企业级实时数仓核心能力介绍-2024实时数仓Hologres线上公开课03
本次分享由阿里云产品经理骆撷冬(观秋)主讲,主题为“Hologres+Flink企业级实时数仓核心能力”,是2024实时数仓Hologres线上公开课的第三期。课程详细介绍了Hologres与Flink结合搭建的企业级实时数仓的核心能力,包括解决实时数仓分层问题、基于Flink Catalog的Streaming Warehouse实践,并通过典型客户案例展示了其应用效果。
70 10
Hologres+Flink企业级实时数仓核心能力介绍-2024实时数仓Hologres线上公开课03