Flink+Hologres搭建实时数仓

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 该方案利用Flink和Hologres构建实时数仓,解决传统数仓中间层查询困难、数据不可复用和架构冗余的问题。Flink负责数据源接入和加工,将数据写入Hologres的ODS、DWD和DWS层。Hologres支持高效更新和查询,各层数据可直接服务,简化架构,提高效率。方案具备高性能(Flink与Hologres深度集成,支持实时写入查询)、高可用(主从实例确保服务稳定)和低运维(全链路Flink SQL,减少运维成本)优势。适用于实时报表、推荐系统和业务监控等场景。

方案介绍

Flink+Hologres搭建实时数仓

通过Flink将数据源写入Hologres,形成ODS层。Flink订阅ODS层的Binlog进行加工,形成DWD层再次写入Hologres。Flink订阅DWD层的Binlog,通过计算形成DWS层,再次写入Hologres。最后由Hologres对外提供应用查询。

解决问题:中间层不易查

Hologres的每一层数据都支持高效更新与修正、写入即可查,解决了传统实时数仓解决方案的中间层数据不易查、不易更新、不易修正的问题。

解决问题:数据不可复用

Hologres的每一层数据都可单独对外提供服务,使得数据可以高效复用,真正实现数仓分层复用的目标。

解决问题:链路复杂,架构冗余

实时ETL链路均基于Flink SQL实现;ODS层、DWD层和DWS层的数据统一存储在Hologres中,可以降低架构复杂度,提高数据处理效率。

相关产品

实时计算 Flink 版实时数仓 Hologres云数据库 RDS MySQL 版专有网络 VPC

在线咨询

方案优势

高性能

Hologres与Flink原生深度集成,通过内置连接器,支持源表、结果表、维度表多种场景,支持宽表Merge、局部更新等操作,支持海量数据高性能的实时写入与更新,数据写入即可查询。

高可用

Hologres提供了主从多实例部署方式或计算组实例实现资源强隔离,写入、读取、分析等作业之间互不干扰,从而保证Flink对Hologres Binlog的数据拉取不影响线上服务。

低运维

全链路通过Flink和Hologres完成,实时ETL链路通过Flink SQL实现,数据统一存储在Hologres,Hologres提供对外提供在线服务和OLAP查询,每层数据可复用、可查,只需一套系统就能满足业务需求,降低运维压力和运维成本。

应用场景

实时报表查询

支持各个业务方快速查询交易数据、行为数据、用户画像标签等报表。

实时推荐

基于实时用户行为数据,分析用户行为和兴趣,为用户提供针对性的推荐。

实时推荐

通过对业务数据进行实时处理和分析,实现对业务的实时监控,及时发现业务异常和问题。

方案部署

01准备资源

这一步骤将帮助您完成所需资源的创建,包括RDS实例、Hologres实例和Flink工作空间。

02搭建实时数仓

这一步骤将引导您完成实时数仓的搭建。

03数据探查及应用

此方案的每一层数据都实现了持久化,这一步骤将进行中间数据探查,以及简单的实时报表应用场景查询。

04清理资源

完成教程学习后,你可以将模拟环境的资源释放掉,避免产生额外的费用。

方案部署

解决方案推荐

AnalyticDB MySQL湖仓版的用户运营分析实践

方案使用AnalyticDB MySQL湖仓版实现对应用数据的分析。过去的方案中,为了不影响在线分析的性能和稳定性,通常用两个实例,一个负责数据清洗,一个负责在线分析,但这种方案存在数据时效性差、一致性差、数据冗余的问题。本方案只需一个湖仓版实例就能完成“数据入湖+作业开发+在线分析”的一站式用户运营数据分析,提供更高效的数据处理方案与更低的数据存储成本。

查看详情

高价值用户挖掘及触达

高价值用户挖掘及触达方案实现营销触达全链路。本方案使用阿里云机器学习平台PAI的强大算法能力,通过对用户数据的计算和预测,辅助客户对人群营销决策的判断,在用户召回,流失预测,高价值用户寻找等多个运营场景,帮助客户降低成本,提高效率;客户可通过短信的方式触达用户,完成营销触达的全链路操作。


相关实践学习
数据库实验室挑战任务-初级任务
本场景介绍如何开通属于你的免费云数据库,在RDS-MySQL中完成对学生成绩的详情查询,执行指定类型SQL。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
目录
相关文章
|
10天前
|
SQL 关系型数据库 MySQL
实时计算 Flink版产品使用合集之如何将Hologres字段转换为小写
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
10天前
|
关系型数据库 MySQL Java
实时计算 Flink版产品使用合集之同步MySQL数据到Hologres时,配置线程池的大小该考虑哪些
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
10天前
|
分布式计算 数据处理 MaxCompute
实时计算 Flink版产品使用合集之进行实时处理时,是否需要将所有数据导入到Hologres
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
15天前
|
Oracle 关系型数据库 MySQL
实时计算 Flink版操作报错合集之用CTAS从mysql同步数据到hologres,改了字段长度,报错提示需要全部重新同步如何解决
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
58 8
|
15天前
|
安全 Java 数据处理
实时计算 Flink版操作报错合集之hologres里报错:找不到字段如何解决
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
27 4
|
18天前
|
存储 消息中间件 监控
基于 Hologres+Flink 的曹操出行实时数仓建设
本文主要介绍曹操出行实时计算负责人林震,基于 Hologres+Flink 的曹操出行实时数仓建设的解决方案分享。
109450 1
基于 Hologres+Flink 的曹操出行实时数仓建设
|
18天前
|
SQL 关系型数据库 MySQL
使用CTAS 把mysql 表同步数据 到hologres ,Flink有什么参数可以使hologres 的字段都小写吗?
使用CTAS 把mysql 表同步数据 到hologres ,Flink有什么参数可以使hologres 的字段都小写吗?
320 0
|
18天前
|
SQL 运维 Cloud Native
基于OceanBase+Flink CDC,云粒智慧实时数仓演进之路
本文讲述了其数据中台在传统数仓技术框架下做的一系列努力后,跨进 FlinkCDC 结合 OceanBase 的实时数仓演进过程。
250 2
 基于OceanBase+Flink CDC,云粒智慧实时数仓演进之路
|
18天前
|
SQL 存储 JSON
Flink+Paimon+Hologres 构建实时湖仓数据分析
本文整理自阿里云高级专家喻良,在 Flink Forward Asia 2023 主会场的分享。
|
18天前
|
SQL 存储 JSON
Flink+Paimon+Hologres 构建实时湖仓数据分析
本文整理自阿里云高级专家喻良,在 Flink Forward Asia 2023 主会场的分享。
71746 5
Flink+Paimon+Hologres 构建实时湖仓数据分析