开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks怎样设置跨空间依赖,需要开什么权限,我a空间的节点如何设置给b空间依赖?

DataWorks怎样设置跨空间依赖,需要开什么权限,例如我有两个dataworks的空间a和b,我a空间的节点如何设置给b空间依赖?

展开
收起
真的很搞笑 2023-12-03 18:48:28 66 0
3 条回答
写回答
取消 提交回答
  • 跨工作空间配置调度依赖
    DataWorks支持同区域下的工作空间进行跨工作空间依赖,根据调度依赖原理,通过将上游节点的输出作为下游节点的输入,以此形成节点依赖,实现跨工作空间的调度依赖。例如,将工作空间A中节点A的输出添加为工作空间B中节点B的输入,即可实现跨工作空间依赖。配置方法与通用场景的调度依赖配置相同,详细操作可参见 配置同周期调度依赖。https://help.aliyun.com/zh/dataworks/user-guide/configure-same-cycle-scheduling-dependencies#concept-gbk-lxx-p2b

    2023-12-05 14:11:59
    赞同 1 展开评论 打赏
  • 在DataWorks中,设置跨空间依赖需要同区域下的工作空间进行操作。具体步骤如下:

    1. 首先,您需要在源工作空间中创建任务并生成节点。
    2. 然后,找到目标工作空间,进入"数据开发"页面,点击"节点管理"选项卡,选择"新建节点"。
    3. 在新建节点的对话框中,填写相关信息,包括任务名称、任务类型、源工作空间、目标工作空间等。
    4. 单击右上角的"跨项目克隆",跳转至相应的克隆页面,过滤出相应的节点,并将任务克隆到目标工作空间。筛选需要克隆的节点,并选择"克隆目标工作空间"。
    5. 最后,单击"设置计算引擎映射",设置当前工作空间与目标工作空间计算引擎的映射关系。
    2023-12-04 17:28:03
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在DataWorks中,您可以设置同区域下的工作空间进行跨工作空间依赖。根据调度依赖原理,通过将上游节点的输出作为下游节点的输入,以此形成节点依赖,实现跨工作空间的调度依赖。例如,将工作空间A中节点A的输出添加为工作空间B中节点B的输入,即可实现跨工作空间的依赖关系。

    为了进行这种跨空间依赖,您需要具有相应的权限。具体来说,您需要确保您拥有设置任务依赖关系的权限。这通常由工作空间的管理员或拥有者来分配和管理。

    在进行节点依赖配置之前,您还需要确认当前节点的表血缘关系(例如,表数据间的血缘关系、表产出的分区数据),基于血缘关系来配置节点的调度依赖。这样可以确保任务能够正确地依赖于正确的上游输出数据。

    另外,如果您想设置节点依赖上一周期的结果(即跨周期依赖),您可以按照以下步骤进行操作:首先,确定本节点本次实例运行依赖于相应节点上一周期实例的运行情况;然后,等待上一周期实例成功运行后,本节点才会运行。通常,这种情况适用于本节点需要依赖上游昨天产出的数据,或者小时、分钟任务依赖自己上一小时或分钟实例的情况。

    2023-12-03 20:36:29
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载