Dataworks坑记——小时级别依赖数据丢失问题-阿里云开发者社区

开发者社区> 洛小蒙> 正文

Dataworks坑记——小时级别依赖数据丢失问题

简介: 小时级依赖半小时级导致任务错乱数据丢失
+关注继续查看

问题描述

A 小时级任务 (一天有24个节点) ,A依赖上游B , B 30分钟级任务(一天有48个节点),我们期望应该是一个节点依赖2个,但是第一个只依赖一个节点导致丢数据。

B调度配置如图:

image.png

A调度配置如图

image.png

依赖关系

A依赖上游B
image.png

产出依赖关系

图上时间为定时时间
image.png
就依赖结果:
产出依赖是向前就近关联,不存在跨天依赖的情况

期望依赖关系

image.png

解决办法

调整任务A调度时间
调度时间 大于 依赖的最晚节点的时间加上节点执行时间。
(0点35任务A节点) > (0点30任务B节点)+ (小于1分钟)
image.png

执行结果

最后执行结果符合预期,图上时间为定时时间
image.png

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
依赖DataWorks OpenAPI补数据实现圈人
从2020年10月份起DataWorks为企业版提供了API的能力,我们可以根据现有的API能力打通应用与离线数据加工,从而让大数据能直接为在线应用服务,本篇文章使用圈人功能做一个简单的介绍实现;
1609 0
DataWorks熟能生巧系列直播第二期:DataWorks调度依赖之跨周期依赖
本系列文章为DataWorks钉钉大群内熟能生巧系列直播的文字版,基本涵盖了直播中讲解到的大部分内容,大家可以学习或者Mark一下,有需要的时候再来回顾。本系列直播内容由DataWorks技术支持团队出品,运营团队整理,大部分是DataWorks用户实际使用中遇到的频率较高的问题,希望对大家有一定帮助。
234 0
.NET Micro Framework常见问题问答
.NET Micro Framework常见问题问答
655 0
+关注
洛小蒙
coding is all about communication
49
文章
12
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载