开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks配置了B节点在18.30和19.30执行任务,不会产生B节点的实例吗?

DataWorks配置了B节点在18.30和19.30执行任务,但是B节点是依赖A节点出数的,A节点只有凌晨1点才执行一次,这样发布上去的任务,不会产生B节点的实例吗?另外a单天有实例,但是重新运行b节点的时候,a节点没有重新运行,这样可以吗?

展开
收起
真的很搞笑 2023-11-30 15:27:36 63 0
4 条回答
写回答
取消 提交回答
  • 如果a当天没有实例的话 b会生成孤立实例 不会运行;这个是可以的,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-11-30 20:34:32
    赞同 展开评论 打赏
  • 在DataWorks中,如果配置了B节点在18:30和19:30执行任务,并且没有其他上游任务或者依赖条件阻止它运行的话,通常情况下会为每个指定的时间点生成一个B节点的实例。

    但是,如果没有产生B节点的实例,可能的原因有以下几点:

    1. 依赖未满足:检查是否B节点依赖于其他上游任务(例如A节点),而这些上游任务未能在预期时间内成功完成。在这种情况下,即使到了预定时间,B节点也不会被执行,直到其所有依赖都得到满足。

    2. 调度规则冲突:确保您的调度规则没有冲突或覆盖导致B节点被跳过。检查工作流中的调度设置以确保正确设置了调度时间和周期。

    3. 手动停止:确认B节点没有被手动停止。有时用户可能会直接停止单个节点的任务,这将阻止新的实例被创建。

    4. 系统问题:可能是由于DataWorks平台遇到了临时的技术问题或故障。这种情况下,可以尝试稍后重新触发任务或联系阿里云技术支持寻求帮助。

    5. 权限问题:检查您是否有足够的权限来创建和执行B节点的实例。如果您不具备必要的权限,那么该节点可能无法按照计划进行执行。

    2023-11-30 20:14:10
    赞同 展开评论 打赏
  • 在DataWorks中,节点间的调度依赖是指周期调度节点之间的上下游依赖关系。当上游节点成功运行时,下游节点才会启动运行,以确保及时产出有效的业务数据。具体来说,节点依赖是在下游节点去依赖上游节点,上游节点的输出作为下游节点的输入,从而形成依赖关系。

    根据您的场景描述,B节点依赖于A节点的出数。即使A节点只在凌晨1点执行一次,当A节点成功运行并产出所需的数据后,B节点也会根据其调度配置(例如18:30和19:30)去依赖并使用这些数据。因此,在这种情况下,B节点仍然会产生实例来执行任务,因为它需要依赖A节点的输出数据。

    为了确保正确地配置调度依赖,您可以进入数据开发节点的编辑页面,单击右侧导航栏的“调度配置”,在“调度依赖”区域配置节点的依赖关系。平台提供了多种方式来配置依赖关系,包括基于代码血缘自动解析、业务流程面板拉线和手动添加等。

    2023-11-30 17:55:44
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在 DataWorks 中配置了 B 节点在 18:30 和 19:30 执行任务后,如果没有生成 B 节点的实例,可能有以下几种原因:

    1. 配置错误:请确保您正确配置了 B 节点的任务调度规则。检查节点的触发器设置,包括开始时间、结束时间、重试策略等。确保这些属性与您的预期一致,并且没有设置任何导致任务不触发的限制条件。

    2. 任务状态:检查 B 节点所属的任务是否处于正常状态。如果任务被禁用或处于异常状态,B 节点将不会生成实例。确保任务是启用的,并且没有其他问题导致任务无法执行。

    3. 时间触发器配置:确认您使用的是正确的时间触发器类型。在 DataWorks 中,可以选择基于 Cron 表达式的定时触发器或基于周期的触发器。根据需求选择适当的触发器类型并配置正确的触发规则。

    4. 权限限制:确保您具有足够的权限来创建和执行任务。一些权限限制可能会阻止您生成 B 节点的实例。建议联系 DataWorks 管理员或技术支持团队,以获取更多关于权限配置的帮助。

    2023-11-30 16:24:18
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多