开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks中odps节点输出如何给下游节点使用?

DataWorks中odps节点输出如何给下游节点使用?

展开
收起
真的很搞笑 2023-11-20 07:52:34 74 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在DataWorks中,ODPS节点的输出可以很容易地传递给下游节点。您只需要将下游节点连接到ODPS节点即可,这样ODPS节点的输出就会自动传递给下游节点。下面是一些具体的步骤:

    1. 在DataWorks工作空间中,打开要添加ODPS节点的工作流图。
    2. 在工作流图中,单击鼠标右键并选择“新建ODPS节点”。接下来,在弹出窗口中输入ODPS节点名称和其他相关信息,然后单击“保存”按钮。
    3. 将ODPS节点拖放到合适的位置,并将上游节点连接到ODPS节点。
    4. 接下来,创建下游节点,并将其连接到ODPS节点。这样,ODPS节点的输出就会自动传递给下游节点。
    2023-11-20 13:25:57
    赞同 1 展开评论 打赏
  • 在DataWorks中,上游节点任务的查询或输出结果可以通过赋值节点提供给下游节点使用。具体来说,您可以选择赋值节点来实现,它支持ODPS SQL、SHELL和Python2三种赋值语言。赋值节点将最后一条查询或输出结果自动赋值给节点自带的输出参数(outputs),从而便于下游节点引用这些结果。例如,下游shell节点节点名为 xc_赋值节点取值对比_shell,下游节点依赖赋值节点 xc_fuzhi_python ,引用上游赋值节点xc_fuzhi_sql自带的输出outputs作为下游节点的输入,并命名为sql_inputs。值得注意的是,outputs参数的传递值最大为2 MB,且ODPS SQL将输出结果作为一个二维数组传递至下游,而Python和SHELL的输出会基于逗号(,)分割为一维数组。

    2023-11-20 09:02:21
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载