问题1:DataWorks数据集成内的整库周期性增量任务是默认实例生成方式为t+1次日生成吗?过了调度时间数据却没有增进去?
问题2:尽管我把增量调度周期设置为小时 也是默认t+1执行对吗?
回答1:节点提交发布的时间早于23:30(23:30~24:00点期间为全量转实例期间)时,则DataWorks会即刻为您生成实例。任务定时运行时间在提交发布时间的10分钟之后(例如提交发布时间是18:00,定时运行时间是18:30),则DataWorks会正常生成实例运行任务,您可以在实例列表中找到对应的实例。任务定时运行时间距离提交发布时间不足10分钟(例如提交发布时间是18:00,定时运行时间是18:05),则DataWorks会生成一个已完成的实例,节点实例状态为实时生成的过期实例,过期实例不会真实跑数据。
节点提交发布的时间晚于23:30(23:30~24:00点期间为全量转实例期间)时,则发布后即时生成实例功能不生效,您在实例列表中找不到对应的实例,需要等到提交发布后的第三天实例才生效。节点如果是孤立节点时(即节点的调度依赖中,没有任何依赖的上游节点),则无法正常生成实例。 例如,新增节点时,上游节点的实例生成方式配置为T+1次日生成,下游节点的实例生成方式配置为发布后即时生成时,下游节点实例即时生成后,上游节点实例还未生成,此时下游节点无法根据依赖关系找到上游节点实例,会变成孤立节点,无法自动调度。已有的实例从T+1次日生成变更为发布后即时生成,会影响当天实例的产生情况。任务的定时时间(t1)在修改发布时间点(t2)的十分钟后:已生成的节点实例会被删除并替换为实时转出的实例。任务的定时时间(t1)是不在修改发布时间点(t2)的十分钟后:已生成的节点实例会保留。组合节点(例如PAI节点、do-while节点、for-each节点等包含内部节点逻辑的节点)不支持将实例生成方式配置为发布后即时生成,即不支持实时转实例功能。
https://help.aliyun.com/document_detail/137554.html
仅增量不包含历史全量么 增量的话是T+1执行的
回答2:这里可以点进去 然后查看调度配置实例生成 是选择的T+1
,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。