开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks配置好两个依赖任务后,发布后在运维里没生成实例,要怎么执行呢?

DataWorks配置好两个依赖任务后,发布后在运维里没生成实例,要怎么执行呢?

展开
收起
真的很搞笑 2023-09-27 07:55:28 94 0
1 条回答
写回答
取消 提交回答
  • 执行一下补数据,【补数据】

    结合调度参数的使用后可以您可以针对周期任务进行补数据操作,选择业务时间补历史数据,或者未来时间区间的数据,调度参数会根据业务时间自动替换。
    image.png
    image.png

    1.平台维度来看业务时间昨天的数据今天跑

    补数据业务时间选择今天,会等待时间

    补数据业务时间选择昨天,如果任务的定时时间是未来时间,如果没有选择立即运行,会出现等待时间。
    image.png

    2.是否并行:

    指补数据的一段时间区间内,天维度的任务是否并发运行。也就是是否几天的任务一块跑。

    3.小时任务补数据需要选择有实例生成的小时区间,否则会报错
    image.png

    4.节点不在生效时间内不生成实例
    image.png

    【实时场景一:小时任务补数据是否并行】
    image.png

    小时任务补0~3点的数据,选择业务时间为一周,选择并行数3。

    小时任务补0~3点的数据,选择业务时间为一周,选择不并行。
    image.png

    注意:

    是否并行控制的是天维度小时任务多少天的实例是否并发执行,小时任务当天的实例是否并发执行与小时任务是否设置了自依赖有关。如果您需要小时分钟任务不并发执行,可将节点设置为自依赖。详情请参考文档:跨周期依赖

    【实时场景二:同步任务每天将增量数写入到对应的分区中,新建的离线同步任务怎么将一段时间历史数据,写入到对应的分区中?】
    结合调度参数发布生产后进行补数据操作。
    image.png

    【为什么补数据不能选择业务时间今天,或者业务时间选择今天出现了等待时间的情况】

    业务时间昨天的数据,今天的周期实例会跑。
    如果要重跑业务时间昨天的数据,可以重跑周期实例。
    如果出现等待时间,请检查任务的定时时间是几点,补数据补的是历史数据,选择业务时间昨天不会出现这样的情况。

    【注意事项】

    如果下游节点依赖过多,可以选择海量补数据,选择需要补数据的节点所在项目,节点选中项目内不需要补数据的节点(白名单)及未选中项目但需要补数据的节点(黑名单)。
    非并行补数据的场景下,如果补一个区间的数据任务,第一天有任务实例失败了,那么当天的补数据实例会被置为失败,第二天的任务实例也不会开始运行(只有当天的全部任务实例都成功,第二天的任务实例才会开始运行)。
    补数据实例不会触发智能报警。,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-09-27 14:32:17
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载