开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

dataworks新建shell节点,可以做上下游依赖吗?

dataworks新建shell节点,可以做上下游依赖吗?

展开
收起
真的很搞笑 2023-11-20 07:50:33 64 0
3 条回答
写回答
取消 提交回答
  • 支持的 可以通过拉线 或者输入输出名的方式挂依赖 https://help.aliyun.com/zh/dataworks/user-guide/configure-cross-cycle-scheduling-dependencies?spm=a2c4g.11186623.0.i2,工单支持人工服务的 一般在阿里云的管理控制台右上角可以提工单 公共云的环境和专有云不太一样,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-11-20 21:11:23
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    是的,DataWorks 新建的 Shell 节点可以和其他节点建立上下游依赖关系。DataWorks 提供了丰富的调度和依赖管理功能,可以实现节点之间的依赖调度、冲突检测和异常处理等功能。
    要在 DataWorks 中创建 Shell 节点并建立上下游依赖关系,可以在新建节点时指定其上游节点,也可以在创建完成后添加或修改节点间的依赖关系。具体的操作步骤如下:

    1. 新建 Shell 节点:在 DataWorks 控制台中,选择要操作的项目,在项目首页点击左侧导航栏的「数据开发」模块,然后点击「新建节点」按钮。在弹出的新建节点窗口中,选择「Shell」作为节点类型,填写必要的节点信息,然后点击「确定」按钮。
    2. 设置上下游依赖:在新建的 Shell 节点上点击右键,选择「设置依赖」选项。在打开的设置依赖窗口中,可以设置该节点的上游节点和下游节点。可以单击左侧面板中的节点图标来添加或移除依赖节点。
    3. 验证依赖关系:设置完节点间的依赖关系后,可以在节点图中查看节点间的连线,以验证依赖关系是否正确。同时,可以在节点属性窗口中查看节点的详细信息,包括节点名称、状态、输出和输入字段等。
    2023-11-20 14:24:31
    赞同 展开评论 打赏
  • 确实,DataWorks的调度依赖是指周期调度节点间的上下游依赖关系。上游任务节点运行完成且运行成功,下游任务节点才会开始运行。这种配置将上游节点的输出作为下游节点的输入,形成了节点依赖。因此,新建的Shell节点也可以做到上下游依赖。

    需要注意的是,DataWorks支持多种调度类型(即分钟、小时、天、周、月、年)。当上下游调度类型不一致时,DataWorks会根据任务定时运行时间的就近原则设置调度依赖。例如,小时任务依赖于小时任务,在当天的周期内执行。同时,您需要根据节点查询及写入的表血缘来设置节点的调度依赖关系。

    此外,关于Shell节点的使用,它支持标准Shell语法,但不支持交互性语法。并且,Shell节点仅支持使用新增和使用独享调度资源组执行。

    2023-11-20 10:09:28
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载