三、基于Flink实线典型场景
3.1 维表join - 预加载维表
方案1改进：在open() 新建一个线程定时加载维表，实现维度数据的周期性更新
3.2 维表join - 预加载维表
3.3 维表join - 热存储关联
3.4 维表join - 广播维表
3.5 维表join - Temporal table function join
3.6 双流join - 离线join vs. 实时join
将两个流的数据存入state中 + join 范围局部化
【实时数仓篇】（02）基于 Flink 的典型 ETL 场景实现2
2022-06-13
223
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
简介：
【实时数仓篇】（02）基于 Flink 的典型 ETL 场景实现2
目录
相关文章
|
1月前
|
SQL
Kubernetes
调度
|
4月前
|
存储
消息中间件
监控
|
4天前
|
SQL
运维
Cloud Native
基于OceanBase+Flink CDC，云粒智慧实时数仓演进之路
本文讲述了其数据中台在传统数仓技术框架下做的一系列努力后，跨进 FlinkCDC 结合 OceanBase 的实时数仓演进过程。
192
2
2
|
1月前
|
SQL
存储
JSON
|
2月前
|
SQL
分布式计算
OLAP
|
3月前
|
SQL
消息中间件
Kafka
flink问题之做实时数仓sql保证分topic区有序如何解决
Apache Flink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。本合集提供有关Apache Flink相关技术、使用技巧和最佳实践的资源。
715
3
3
|
3月前
|
存储
运维
监控
飞书深诺基于Flink+Hudi+Hologres的实时数据湖建设实践
通过对各个业务线实时需求的调研了解到，当前实时数据处理场景是各个业务线基于Java服务独自处理的。各个业务线实时能力不能复用且存在计算资源的扩展性问题，而且实时处理的时效已不能满足业务需求。鉴于当前大数据团队数据架构主要解决离线场景，无法承接更多实时业务，因此我们需要重新设计整合，从架构合理性，复用性以及开发运维成本出发，建设一套通用的大数据实时数仓链路。本次实时数仓建设将以游戏运营业务为典型场景进行方案设计，综合业务时效性、资源成本和数仓开发运维成本等考虑，我们最终决定基于Flink + Hudi + Hologres来构建阿里云云原生实时湖仓，并在此文中探讨实时数据架构的具体落地实践。
131923
92
95
|
3月前
|
消息中间件
SQL
NoSQL
Flink数据源问题之自定义如何解决
Flink数据源是指Apache Flink用于读取外部系统数据的接口或组件；本合集将探讨Flink数据源的类型、配置方法和最佳实践，以及在使用数据源时可能遇到的错误和解决方案。
31
3
3
|
4月前
|
数据采集
存储
数据管理
|
4月前
|
消息中间件
存储
NoSQL
热门文章
最新文章
1
业内首次融合数据仓库与数据湖 阿里云推出下一代大数据平台 “湖仓一体”
2
一文读懂AnalyticDB MySQL过滤条件智能下推原理
3
外部工具连接SaaS模式云数仓MaxCompute—ETL工具篇
4
数据库高效“体检”必备！详解阿里云AnalyticDB一键诊断功能
5
mysql小数格式化正确方法
6
mysql之innodb引擎使用方法
7
分析型数据库 PostgreSQL版本实例规格定义变更
8
慧博科技「H-AI」智能助手引入阿里云AnalyticDB，开启商家智能数字化时代
9
数仓建模—埋点设计与管理
10
AnalyticDB MySQL — Spark 助力在OSS上构建低成本数据湖
1
Apache Flink官方网站提供了关于如何使用Docker进行Flink CDC测试的文档
289
2
Flink CDC产品常见问题之使用3.0测试mysql到starrocks启动报错如何解决
100
3
flink cdc 转换问题之类型转换如何解决
63
4
Flink CDC产品常见问题之oracel cdc 的延时很大如何解决
37
5
flink cdc 数据问题之数据丢失如何解决
141
6
Flink CDC产品常见问题之把flink cdc同步的数据写入到目标服务器失败如何解决
36
7
Flink CDC产品常见问题之tidb-HUDI的整库同步失败如何解决
46
8
flink cdc 数据问题之数据堆积严重如何解决
41
9
Flink CDC产品常见问题之用superset连接starrocks报错如何解决
24
10
Flink CDC产品常见问题之直接升级里面的Debezium版本失败如何解决
28