dataworks各任务节点间的数据是怎么传递的啊?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks中各任务节点间的数据传递主要有以下几种方式:
通过节点上下文传递参数
可以在上游节点定义输出参数及其取值,在下游节点定义输入参数并引用上游节点的输出参数,从而实现参数在上下游节点之间的传递。若需要将一个任务的查询结果作为参数传递给下游任务,可在上游节点(需支持赋值参数功能)的编辑页面,单击右侧的调度配置,添加赋值参数来传递上游节点生产的查询结果,下游节点在输入参数中添加上游节点的赋值参数,在代码中通过二维数组的方式引用。
通过数据集成任务同步数据
通过数据集成功能可以将数据从一个数据源同步到另一个数据源,例如从MySQL数据源同步数据到MaxCompute。在数据开发中创建同步节点,设置好数据来源、数据去向以及字段映射关系等,通过调度配置使数据按指定周期进行同步,从而实现不同节点间的数据传递。
通过表存储数据传递
在DataWorks中创建数据表,上游节点将数据写入表中,下游节点从表中读取数据。例如,先通过同步任务将业务数据同步至源表,再通过计算节点对源表数据进行清洗、加工,并将结果写入结果表,下游节点就可以从结果表获取数据。
通过跨租户节点传递
跨租户节点可通过发送与接收实现将两个租户中的任务运行连接起来,将甲租户下的任务流作为乙租户下的任务流的上游,实现跨租户的数据传递。
此外,对于一些特殊类型的节点,如赋值节点、for - each节点、do - while节点等,也可以在特定场景下实现数据在节点间的传递或处理。
可以参考看下 赋值节点、节点上下文 https://help.aliyun.com/zh/dataworks/user-guide/configure-input-and-output-parameters?spm=a2c4g.11186623.0.i2 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
评论
全部评论 (0)
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。
你好,我是AI助理
可以解答问题、推荐解决方案等
评论
全部评论 (0)