DataWorks我要怎么在test_flow中调用这个公共流public_flow呢?

DataWorks公共业务流public_flow已经配置了虚拟起始节点start和虚拟结束节点end,那我要怎么在test_flow中调用这个公共流public_flow呢?我在虚拟节点配了上游依赖end,但是public_flow没有执行?image.png

展开
收起
真的很搞笑 2023-11-20 05:24:49 86 分享 版权
4 条回答
写回答
取消 提交回答
  • 当前页面最大只能业务流程级别运行 进入运维中心可以看到完整的dag图 再进行补数据运行,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-11-20 21:52:53
    赞同 展开评论
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在 DataWorks 中,公共业务流是一种可复用的工作流组件,它可以将复杂的逻辑拆分成多个可重用的模块。
    要使用公共业务流,您首先应该按照以下步骤进行配置:

    1. 创建公共业务流:首先创建一个新的业务流,命名为 public_flow,并在其内部添加所需的子节点和逻辑。
    2. 编辑公共业务流:将所需的操作添加到 public_flow 中,并将其封装成一个完整的流程。
    3. 定义起始节点和结束节点:在 public_flow 中添加虚拟起始节点 start 和虚拟结束节点 end,以确保公共流可以作为独立的模块运行。
      接下来,您可以在 test_flow 中调用公共流 public_flow:
    4. 添加依赖关系:在 test_flow 中添加一个公共流节点,并指定它的上游依赖项为 public_flow 的虚拟结束节点 end。
    5. 调用公共流:执行 test_flow 时,public_flow 会被自动触发,并按照指定的顺序执行公共流中的所有操作。
    6. 查看结果:测试完成后,您可以查看公共流的输出结果。
    2023-11-20 15:25:38
    赞同 展开评论
  • 在DataWorks中,如果你想在一个flow中调用另一个flow,你需要使用subflow的功能。具体来说,你需要在主flow中创建一个新的节点,然后在这个节点中调用你想调用的子flow。

    以下是一个基本的步骤:

    1. 在主flow中,点击"新建节点"按钮,然后选择"Subflow"类型。

    2. 在弹出的对话框中,输入你想要调用的子flow的名称,然后点击"确定"按钮。

    3. 这时候,你会看到一个新的节点被添加到了主flow中。在这个节点中,你可以看到有一个"Subflow Parameters"选项,你可以在这里设置你想要传递给子flow的参数。

    4. 最后,你可以像正常一样运行你的主flow。当主flow运行到subflow节点时,它会自动调用对应的子flow,并将你设置的参数传递给子flow。

    2023-11-20 11:13:21
    赞同 展开评论
  • 北京阿里云ACE会长

    在 test_flow 中添加虚拟节点 start 和 end,分别作为 public_flow 的起点和终点。在 test_flow 中,这两个虚拟节点应分别与 public_flow 的 start 和 end 节点建立上游依赖关系。

    1. 在 test_flow 中添加一个并行分支,将需要执行的公共业务流任务添加到该分支中。在并行分支的配置中,添加一个 "调用公共业务流" 任务,选择公共业务流 public_flow,并设置适当的参数。
    2. 将并行分支的执行结果与虚拟节点 end 建立下游依赖关系。这样,当 test_flow 执行到 end 节点时,会自动调用 public_flow 公共业务流。
    3. 确保 public_flow 中的任务配置正确,并且在执行过程中没有异常或错误。如果 public_flow 中的任务有返回结果,请确保将这些结果传递给 test_flow 的后续任务。
    4. 最后,确保 test_flow 的整个流程配置正确,没有死循环或其他逻辑错误。在测试过程中,可以通过查看任务执行日志和结果来验证 public_flow 是否被正确调用。
    2023-11-20 07:56:08
    赞同 展开评论

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

还有其他疑问?
咨询AI助理