开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks有什么办法能让任务依赖只依赖本工作空间的节点 ?

DataWorks有什么办法能让任务依赖只依赖本工作空间的节点 ?

展开
收起
真的很搞笑 2023-11-14 08:03:34 86 0
5 条回答
写回答
取消 提交回答
  • 在DataWorks中,任务依赖主要是通过节点的上下游调度关系来实现的。这种依赖关系保障了只有当上游节点运行成功后,下游节点才会启动运行,从而适时地产出有效的业务数据。

    如果您想让任务依赖只依赖本工作空间的节点,可以在节点的编辑页面中进行配置。具体步骤如下:

    1. 进入数据开发节点的编辑页面,单击右侧导航栏的“调度配置”。
    2. 在“调度依赖 > 上一周期”区域,选择“依赖上一周期:本节点(自依赖)”。这样,本节点本次实例的运行就会取决于本节点上一周期业务数据的产出情况。
    3. 在“本节点输出名称”区域,定义其他任务可以通过本节点的哪些节点输出来挂载当前节点的依赖关系。例如,如果本节点最终产出的是pm_table_a,并且本工作空间的名称是test_pm_01,那么本节点的输出名称应设置为project_name.pm_table_a
    2023-11-30 13:59:27
    赞同 展开评论 打赏
  • DataWorks 提供了多种方法来让任务依赖仅依赖本工作空间内的节点。以下是一些常见方法:

    1. 在工作空间内创建父任务,并使用工作流节点。
    2. 使用 DataWorks 的高级功能:分层编排。
    3. 使用条件触发器、参数传递等功能,使任务只依赖本工作空间内部的节点。
    4. 使用自定义依赖逻辑,限制任务之间的相互依赖关系。
    2023-11-14 21:53:36
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    要在DataWorks中让任务依赖只依赖本工作空间的节点,可以采取以下几种方法:

    1. 使用本地资源组:在创建任务时,将任务加入到本地资源组中,这样任务就会只依赖本工作空间内的节点了。
    2. 设置任务参数:在任务的参数设置中,可以选择“只依赖本地节点”,这样任务就不会依赖其他工作空间内的节点了。
    3. 调整资源分配策略:在资源分配策略中,可以设置任务优先使用本地资源,只有当本地资源不足时才会去调用其他工作空间内的节点。

    这三种方法都可以实现让任务依赖只依赖本工作空间内的节点,但是具体哪种方式最适合还需要根据实际情况来决定。

    2023-11-14 13:23:52
    赞同 展开评论 打赏
  • 迁移助手导入的时候可以配置依赖映射,image.png
    看下是否有做对应的映射,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-11-14 11:47:39
    赞同 展开评论 打赏
  • 是的,在DataWorks中可以设置任务依赖只依赖本工作空间的节点。为此,请按照以下步骤操作:

    1. 登录到DataWorks控制台。
    2. 选择需要设置任务依赖的工作空间。
    3. 进入工作空间管理页面,然后选择“设置工作空间属性”。
    4. 在“设置工作空间属性”页面中,找到“依赖限制”选项卡。
    5. 在“依赖限制”页面中,找到“只允许依赖同一工作空间内的节点”选项,并选择它。
    6. 单击“保存”按钮以保存设置。
    7. 现在,工作空间内的任务只能依赖本工作空间内的节点。

    请注意,此设置可以提高工作效率,防止不同工作空间之间的任务互相干扰。同时,请确保所有工作空间内的任务都是合规的,以避免出现冲突。

    2023-11-14 09:57:10
    赞同 1 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多