DataWorks怎样设置跨空间依赖,需要开什么权限,例如我有两个dataworks的空间a和b,我a空间的节点如何设置给b空间依赖?
跨工作空间配置调度依赖
DataWorks支持同区域下的工作空间进行跨工作空间依赖,根据调度依赖原理,通过将上游节点的输出作为下游节点的输入,以此形成节点依赖,实现跨工作空间的调度依赖。例如,将工作空间A中节点A的输出添加为工作空间B中节点B的输入,即可实现跨工作空间依赖。配置方法与通用场景的调度依赖配置相同,详细操作可参见 配置同周期调度依赖。https://help.aliyun.com/zh/dataworks/user-guide/configure-same-cycle-scheduling-dependencies#concept-gbk-lxx-p2b
在DataWorks中,设置跨空间依赖需要同区域下的工作空间进行操作。具体步骤如下:
在DataWorks中,您可以设置同区域下的工作空间进行跨工作空间依赖。根据调度依赖原理,通过将上游节点的输出作为下游节点的输入,以此形成节点依赖,实现跨工作空间的调度依赖。例如,将工作空间A中节点A的输出添加为工作空间B中节点B的输入,即可实现跨工作空间的依赖关系。
为了进行这种跨空间依赖,您需要具有相应的权限。具体来说,您需要确保您拥有设置任务依赖关系的权限。这通常由工作空间的管理员或拥有者来分配和管理。
在进行节点依赖配置之前,您还需要确认当前节点的表血缘关系(例如,表数据间的血缘关系、表产出的分区数据),基于血缘关系来配置节点的调度依赖。这样可以确保任务能够正确地依赖于正确的上游输出数据。
另外,如果您想设置节点依赖上一周期的结果(即跨周期依赖),您可以按照以下步骤进行操作:首先,确定本节点本次实例运行依赖于相应节点上一周期实例的运行情况;然后,等待上一周期实例成功运行后,本节点才会运行。通常,这种情况适用于本节点需要依赖上游昨天产出的数据,或者小时、分钟任务依赖自己上一小时或分钟实例的情况。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。