开发者社区> 阿里云服务支持> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

flink实时计算任务一段时间后没有数据

简介: flink实时计算任务一段时间后没有数据
+关注继续查看

问题背景

任务开始运行符合预期,任务运行1.5天后无法在结果表找到后续的数据


分析过程

1.查看日志确定任务堆栈无异常打印

image

2.使用print表进行测试数据是未进入flink还是在flink中丢失,异常发生时print表的日志正常打印,结果表无数据

image


3.任务数据丢失的时间都很规律,都是运行到一个固定时间后续的数据丢失,调整ttl时间确定是否时ttl时间到导致状态被清楚

4.调大后发现确实同丢失的数据确实是ttl时间之后的数据

5.检查作业确认逻辑为left join ,左表为静态表 ,将左表改为维表形式使用观察后续数据无异常


方案结论

1.flink全托管的left join为左流驱动,如果左表不能保持跟新则会在ttl到期时间停止任务的驱动,导致后续数据无法join上

2.先修改ttl定位问题。后续建议静态表使用维表的方式来使

实时计算Flink版数据的状态默认保存36小时,如果某个状态超过36小时没有更新,之前的状态可能会被清掉.修改方式如下

ps: 参数名和参数值之间必须要有间隔,没有空格会保存不了该参数设置或者报错

image

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
【Flink-需求】RichMapFunction实现活动数据实时计算关联维度信息
【Flink-需求】RichMapFunction实现活动数据实时计算关联维度信息
11 0
实时计算 Flink 版 SQL 实践|学习笔记
快速学习 实时计算 Flink 版 SQL 实践
239 0
实时计算 Flink 版 最佳实践
实时计算 Flink 版 最佳实践目录
9902 0
Flink SQL 如何实现数据流的 Join?
Join 的实现依赖于缓存整个数据集,而 Streaming SQL Join 的对象却是无限的数据流,内存压力和计算效率在长期运行来说都是不可避免的问题。下文将结合 SQL 的发展解析 Flink SQL 是如何解决这些问题并实现两个数据流的 Join。
2615 0
Flink SQL 如何实现数据流的 Join?
Join 的实现依赖于缓存整个数据集,而 Streaming SQL Join 的对象却是无限的数据流,内存压力和计算效率在长期运行来说都是不可避免的问题。下文将结合 SQL 的发展解析 Flink SQL 是如何解决这些问题并实现两个数据流的 Join。
3876 0
Lyft 基于 Flink 的大规模准实时数据分析平台(附FFA大会视频)
如何基于 Flink 搭建大规模准实时数据分析平台?在 Flink Forward Asia 2019 上,来自 Lyft 公司实时数据平台的徐赢博士和计算数据平台的高立博士分享了 Lyft 基于 Apache Flink 的大规模准实时数据分析平台。
2584 0
日均百亿级日志处理:微博基于 Flink 的实时计算平台建设
传统基于 Hadoop 生态的离线数据存储计算方案已在业界形成统一的默契,但受制于离线计算的时效性制约,越来越多的数据应用场景已从离线转为实时。微博广告实时数据平台以此为背景进行设计与构建,目前该系统已支持日均处理日志数量超过百亿,接入产品线、业务日志类型若干。
7130 0
实时计算 Flink> 产品简介——最新动态
时间 特征 类别 描述 使用客户 产品文档 2018.10.26 DDL语句 创建ES结果表 新功能 新增创建ES结果表的说明 所有 创建ElasticSearch(ES)结果表 2018.10.25 查看AccessID、AccessKey信息 新增文档 查看AccessID、AccessKey信息说明 所有 如何查看AccessID、AccessKey信息 2018.10.23 实时计算Flink 共享模式自动续费 新功能 新增实时计算Flink 共享模式下,对是实例的自动续费功能的开启、修改以及关闭。
1199 0
实时计算Flink —— 独享模式介绍
本页目录 背景 特性 背景 阿里云实时计算 Flink目前推出一种新的购买模式:独享模式。独享模式,是实时计算在原有共享模式基础上的补充。 独享模式是指:用户独享一部分物理资源,这部分资源在网络/磁盘/CPU/内存等资源上跟其他用户完全独立。
1652 0
云数据,大计算—海量日志数据分析与应用
网站日志分析是大数据应用场景中非常常见的一种,今天我们通过实例对网站日志数据进行分析,从日志采集——>日志数据清洗、加工做画像分析——>BI报表展现,更进一步,通过社交数据分析做好友推荐 ,对整个全链路过程做实验操作演练,希望能给大家提供一些帮助。
6651 0
文章
问答
来源圈子
更多
作为全球云计算的领先者,阿里云为全球230万企业提供着云计算服务,服务范围覆盖200多个国家和地区。我们致力于为企业、政府等组织机构提供安全可靠的云计算服务,给用户带来极速愉悦的服务体验。
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
任庆盛|Flink CDC + Kafka 加速业务实时化
立即下载
《基于Hologres和Flink的实时数据分析方案》
立即下载
2019大数据技术公开课第五季—kafka 数据如何同步到 MaxCompute
立即下载