AI 助理
备案控制台
开发者社区 大数据与机器学习 实时计算 Flink 正文

请问下Flink，需求做一个宽表，有大量大表join，如果需要跑大数据量的历史数据该怎么处理？

请问下Flink，需求做一个宽表，有大量大表join，因此只能使用look up join，增量还可以，如果需要跑大数据量的历史数据该怎么处理？

展开
收起
真的很搞笑 2024-07-29 13:45:54 82 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

0 条回答
写回答
取消 提交回答
问答分类：
流计算 实时计算 Flink版 云原生大数据计算服务 MaxCompute
问答标签：
云原生大数据计算服务 MaxCompute数据 实时计算 Flink版数据 实时计算 Flink版大数据 云原生多模数据库Lindorm数据 实时计算 Flink版join
问答地址：
开发者社区 > 大数据与机器学习 > 实时计算 Flink > 问答
相关问答
实时计算 Flink版
在Flink大概什么样的场景会需要用到流批一体？一边处理实时流，一边批处理历史数据
99
1
0
大数据 实时计算平 flink 读取 dataHub作为数据源，给个靠谱的demo 没一个文档能跑通
240
3
0
在Flink把源表和目标宽表都设置了binlog，为啥宽表还是没有实现实时更新呢？
45
0
0
Flink在不重新建catalog的情况下，是不是把这个宽表的binlog属性这样改一下就行？
56
1
0
在Flink CDC中，Flink 读Redis，在高并发大数据量下有性能瓶劲，有没有遇到过？
74
1
0
为什么在建行大数据云平台中采用Flink进行实时数据处理？
46
1
0
通过flink的SQL作业生成的宽表的数据结果，跟拼接代码在holo里跑出来的查询结果不一致为什么？
76
0
0
Flink多流部分列更新场景，某条流出现delete操作会转化成最终sink大宽表的update吗？
85
1
0
Flink在整个开源大数据生态中应该如何定位，如何保持差异化？
54
1
0
实时计算Flink on Kubernetes在阿里云飞天大数据平台中提供了哪两种模式？
35
1
0
大数据与机器学习

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。

我要提问

相关文章

  • HTTP代理服务器对速度提升有何作用？
  • 数字化未来：大数据与智能城市的崛起
  • 玩转大数据：从零开始掌握SQL查询基础
  • 优化HTTP代理IP安全稳定性的关键要点
  • 掌握大数据时代的心跳：实时数据处理的崛起

    • 热门讨论

    热门文章

  • Flink CDC任务从savepoint/checkpoints状态中恢复作业错误问题
  • flink cdc 有没得官方介绍文档？
  • FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊？
  • FlinkKafkaConsumer 1.11的clientId什么的看不到这个怎么解决吗？
  • flink大作业启动频繁报akka.pattern.AskTimeoutException 大家有
  • 在Flink为什么遇到这个报错后，作业虽然RUNNING，但是却HANG死了？会有什么隐形的坑吗？
  • web-ui 加载会非常慢是什么原因呢？
  • flinkcdc启动，怎么修改默认端口号，默认是8081。
  • 请问下大家有没有遇到过这个错:Caused by: java.lang.ClassNotFoundE
  • flinksql 新增字段后状态失效，无法使用savepoint启动 有什么解决方案吗？
    • 展开全部
  • 数据仓库介绍与实时数仓案例
  • Flume+Kafka+Flink+Redis构建大数据实时处理系统：实时统计网站PV、UV展示
  • 阿里云实时计算产品案例&解决方案汇总
  • 流计算精品翻译: The Dataflow Model
  • Flink SQL 功能解密系列 —— 流式 TopN 挑战与实现
  • 为什么说流处理即未来？
  • Flink Checkpoint 问题排查实用指南
  • 使用 Kafka 和 Flink 构建实时数据处理系统
  • 运维场景下的实时计算应用
  • Flink: 实时规则引擎助力新零售发展
    • 展开全部
    还有其他疑问?
    咨询AI助理