DataWorks上游查询结果如何传递到下游
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
当上游节点任务的调度结果每日提供给下游节点使用时,可使用赋值节点,实现任务结果在节点间传递。赋值节点支持ODPS SQL、SHELL和Python2三种赋值语言,且根据赋值规则,自动添加赋值参数(outputs参数),便于其他节点引用。关于赋值节点的使用,请参见配置赋值节点。
使用说明
● 部分节点存在赋值参数,其使用与赋值节点一致。
● 若下游节点依赖赋值节点传递的结果集,请在执行时,同时执行赋值节点与下游节点以便赋值节点的输出的结果集可传递给下游。
例如,手动补数据时,需要从赋值节点开始补,并且同时选择执行下游任务,上游赋值节点与下游不可分开执行。
扩展使用
● 若需要在整个业务流程中为统一的变量赋值同一个值,请使用流程参数。
● 通过for-each节点遍历赋值节点传递的结果集。
● 通过do-while节点循环赋值节点传递的结果集。说明:do-while节点支持单独使用来循环执行某一段代码。
● 通过分支节点判断上游传递的参数应该走哪一个分支,每个分支可以设置不同的节点代码处理不同的业务逻辑。
● 通过归并节点汇总分支节点最终结果,将该结果作为整体对下游进行依赖。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。