开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks有些节点我已经冻结了,如果修改完集成资源组,提交任务后,会不会导致任务取消冻结?

DataWorks有些节点我已经冻结了,如果修改完集成资源组,提交任务后,会不会导致任务取消冻结?

展开
收起
cuicuicuic 2024-01-28 16:45:01 50 0
3 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    不会导致任务取消冻结。

    当您在DataWorks中冻结了一些节点后,如果您修改了集成资源组并提交了任务,这些冻结的节点将保持冻结状态。根据DataWorks的机制,冻结的节点或任务实例在解冻后,会根据调度参数配置的定时时间及上游依赖的父节点运行状态来确定是否触发当前实例的运行。这意味着,除非您手动解冻这些节点,否则它们不会因为资源组的修改而自动解除冻结状态。

    此外,DataWorks提供了多种资源组,包括默认、独享和自定义资源组,用于不同的调度和数据集成任务。如果您需要切换任务使用的资源组,可以在购买或配置新的资源组后,按照相应的操作步骤进行切换。这些操作通常涉及到工作空间的管理,但不会影响节点的冻结状态。

    因此,您可以安心地修改集成资源组并提交任务,不必担心这会导致冻结的节点被意外解冻。如果需要对冻结的节点进行操作,您应该通过DataWorks的控制台手动管理这些节点的状态。

    2024-01-28 22:12:29
    赞同 展开评论 打赏
  • 节点调度配置中 选择“暂停调度” 再发布就不会有这个问题 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2024-01-28 21:23:38
    赞同 展开评论 打赏
  • 在阿里云的DataWorks中,当你冻结一个节点时,这意味着你暂时停止了该节点的执行,它不会按照预定的调度计划运行。冻结节点通常用于在不需要执行某个特定数据任务时节省计算资源。

    如果你修改了集成资源组(通常指的是计算资源的配置,比如调整CPU、内存等),这本身不会直接导致已经冻结的节点取消冻结。修改集成资源组影响的是将来任务运行时的资源分配,而不是任务的调度状态。

    然而,有几点需要注意:
    1.提交任务:如果你在修改集成资源组后重新提交了任务(可能是指整个工作流或某个包含冻结节点的上游/下游任务),这可能会触发系统重新评估任务的执行状态。在这种情况下,根据DataWorks的具体实现,可能存在一些自动化逻辑,比如自动解冻因依赖变更而需要重新运行的节点。

    2.依赖关系:如果你的修改影响了节点的依赖关系(例如,你修改了上游节点,而冻结的节点依赖于这个上游节点),那么系统可能会因为需要重新计算依赖关系而自动解冻相关节点。

    3.手动操作:除了系统自动行为外,只有手动解冻节点才会改变其冻结状态。在DataWorks界面中,你需要明确地执行解冻操作才能使节点再次变得可调度。

    4.系统更新与升级:在某些情况下,DataWorks的系统更新或升级可能会影响到节点的状态,尽管这通常不是由修改集成资源组直接引起的。

    为了确保节点状态如你所愿,建议在修改集成资源组或进行其他可能影响节点状态的操作后,仔细检查节点的调度状态,并根据需要手动调整。此外,定期监控和维护DataWorks中的任务和节点也是保持数据流水线顺畅运行的重要部分。

    2024-01-28 20:15:46
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks全链路数据质量解决方案-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载