1.实时数仓、Data Pipeline
接kafka实时消息数据关联维表信息(离线表)进行字段补全，输出新的topic到kafka
pv、cl、od等实时数据消息接入kafka，进行消费
补齐数据的处理逻辑：离线hive表数据推送到hbase+redis，实时处理的时候去关联，如果查不到调线上接口查询，可以避免所有查询调用线上接口，减少接口压力。
离线数仓分层方案：
2.实时数据打标----商品上线
3.数据分析
Flink项目应用
2023-12-29
55
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
简介：
Flink项目应用
目录
相关文章
|
1月前
|
分布式计算
数据处理
Apache
|
4月前
|
存储
监控
大数据
阿里云实时计算Flink在多行业的应用和实践
本文整理自 Flink Forward Asia 2023 中闭门会的分享。主要分享实时计算在各行业的应用实践，对回归实时计算的重点场景进行介绍以及企业如何使用实时计算技术，并且提供一些在技术架构上的参考建议。
835
7
8
|
3月前
|
SQL
存储
资源调度
实时计算 Flink版操作报错合集之启动项目时报错缺少MySqlValidator类，是什么原因
在使用实时计算Flink版过程中，可能会遇到各种错误，了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题，查看Flink的日志是关键，它们通常会提供更详细的错误信息和堆栈跟踪，有助于定位问题。此外，Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
34
1
1
|
3月前
|
机器学习/深度学习
监控
Serverless
Serverless 应用的监控与调试问题之Flink在内部使用的未来规划，以及接下来有什么打算贡献社区的创新技术
Serverless 应用的监控与调试问题之Flink在内部使用的未来规划，以及接下来有什么打算贡献社区的创新技术
48
0
0
|
3月前
|
机器学习/深度学习
监控
大数据
Serverless 应用的监控与调试问题之Flink在整个开源大数据生态中应该如何定位，差异化该如何保持
Serverless 应用的监控与调试问题之Flink在整个开源大数据生态中应该如何定位，差异化该如何保持
54
0
0
|
3月前
|
存储
监控
Serverless
Serverless 应用的监控与调试问题之Pravega和Flink实现端到端的auto-scaling要如何操作
Serverless 应用的监控与调试问题之Pravega和Flink实现端到端的auto-scaling要如何操作
42
0
0
|
3月前
|
SQL
监控
大数据
Serverless 应用的监控与调试问题之Flink流式数仓对于工商银行的数据链路要如何简化
Serverless 应用的监控与调试问题之Flink流式数仓对于工商银行的数据链路要如何简化
55
0
0
|
3月前
|
存储
监控
Cloud Native
|
3月前
|
存储
监控
Serverless
Serverless 应用的监控与调试问题之Flink对于Checkpoint Barrier流动缓慢的问题要如何解决
Serverless 应用的监控与调试问题之Flink对于Checkpoint Barrier流动缓慢的问题要如何解决
34
0
0
|
3月前
|
监控
Java
Serverless
美团 Flink 大作业部署问题之想在Serverless平台上实时查看Spring Boot应用的日志要怎么操作
美团 Flink 大作业部署问题之想在Serverless平台上实时查看Spring Boot应用的日志要怎么操作
48
0
0
热门文章
最新文章
1
Flink on YARN（上）：一张图轻松掌握基础架构与启动流程
2
Flink - 新增 BroadcastStream 无 watermark 导致数据流异常
3
Flink SQL之时态表（Temporal Tables）
4
Flink三种集群模式，Standalone模式，Flink On YARN，Flink On K8S，这三种模式有啥优缺点，生产环境如何选择呢？
5
Flink 消息聚合处理方案
6
对于Flink任务的数据丢失问题，你可以从以下几个方面进行排查：
7
Flink+Hologres实时数仓在Lazada的建设及应用
8
flink 手动维护kafka offset
9
10月17日Spark社区直播【Tablestore Spark Streaming Connector -- 海量结构化数据的实时计算和处理】
10
Flink---13、容错机制（检查点（保存、恢复、算法、配置）、状态一致性、端到端精确一次）
1
基于OceanBase+Flink CDC，云粒智慧实时数仓演进之路
22758
2
Blink实时计算：Explorer大基数表的写入性能优化
92
3
Flink DataStream API 批处理能力演进之路
612
4
人工智能平台PAI 操作报错合集之在集群上提交了包含alink相关功能的flink任务，但是却报错如何解决
98
5
阿里巴巴瓴羊基于 Flink 实时计算的优化和实践
620
6
[尚硅谷flink] 检查点笔记
185
7
[尚硅谷 flink] 状态管理 笔记
76
8
[尚硅谷flink学习笔记] 实战案例TopN 问题
184
9
[尚硅谷 flink] 基于时间的合流——双流联结
82
10
[尚硅谷flink] 水位线
81