开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks数据集成内的整库周期性增量任务是默认实例生成方式为t+1次日生成吗?

问题1:DataWorks数据集成内的整库周期性增量任务是默认实例生成方式为t+1次日生成吗?过了调度时间数据却没有增进去?
问题2:尽管我把增量调度周期设置为小时 也是默认t+1执行对吗?image.png

展开
收起
cuicuicuic 2023-09-05 12:49:44 41 0
1 条回答
写回答
取消 提交回答
  • 回答1:节点提交发布的时间早于23:30(23:30~24:00点期间为全量转实例期间)时,则DataWorks会即刻为您生成实例。任务定时运行时间在提交发布时间的10分钟之后(例如提交发布时间是18:00,定时运行时间是18:30),则DataWorks会正常生成实例运行任务,您可以在实例列表中找到对应的实例。任务定时运行时间距离提交发布时间不足10分钟(例如提交发布时间是18:00,定时运行时间是18:05),则DataWorks会生成一个已完成的实例,节点实例状态为实时生成的过期实例,过期实例不会真实跑数据。image.png
    节点提交发布的时间晚于23:30(23:30~24:00点期间为全量转实例期间)时,则发布后即时生成实例功能不生效,您在实例列表中找不到对应的实例,需要等到提交发布后的第三天实例才生效。节点如果是孤立节点时(即节点的调度依赖中,没有任何依赖的上游节点),则无法正常生成实例。 例如,新增节点时,上游节点的实例生成方式配置为T+1次日生成,下游节点的实例生成方式配置为发布后即时生成时,下游节点实例即时生成后,上游节点实例还未生成,此时下游节点无法根据依赖关系找到上游节点实例,会变成孤立节点,无法自动调度。已有的实例从T+1次日生成变更为发布后即时生成,会影响当天实例的产生情况。任务的定时时间(t1)在修改发布时间点(t2)的十分钟后:已生成的节点实例会被删除并替换为实时转出的实例。任务的定时时间(t1)是不在修改发布时间点(t2)的十分钟后:已生成的节点实例会保留。组合节点(例如PAI节点、do-while节点、for-each节点等包含内部节点逻辑的节点)不支持将实例生成方式配置为发布后即时生成,即不支持实时转实例功能。
    https://help.aliyun.com/document_detail/137554.html
    仅增量不包含历史全量么 增量的话是T+1执行的
    回答2:这里可以点进去 然后查看调度配置实例生成 是选择的T+1image.png
    ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-09-05 16:56:08
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    Flink CDC:新一代数据集成框架 立即下载
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    《DataWorks 数据集成实时同步》 立即下载