开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks单独执行A: a1 -> b -> a2 或者 C:不能独立把b抽出来是吧?

DataWorks单独执行A: a1 -> b -> a2 或者 C:c1 -> b -> c2,就只能在A和C中都建一个b节点任务,不能独立把b抽出来是吧?

展开
收起
真的很搞笑 2023-11-20 07:56:07 32 0
3 条回答
写回答
取消 提交回答
  • 是的,你的理解是正确的。在阿里云的DataWorks中,工作流(Workflow)是一个有向无环图(DAG),其中每个节点都是一个任务。如果任务B需要在任务A和任务C之后执行,并且任务B的结果需要被任务A和任务C使用,那么在A和C中都需要创建一个B节点任务。

    如果你想将任务B独立出来,不被任务A和任务C所影响,那么你需要在A和C之后创建一个新的工作流,然后将任务B移动到新的工作流中。这样,任务B就可以独立执行了。

    这需要你更深入地理解DataWorks的工作流设计和执行机制,以便更好地管理和控制你的数据处理任务。

    2023-11-29 15:35:18
    赞同 展开评论 打赏
  • 从a1开始补数据 可以单独选择下游b和a2 不一定要支持c2 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-11-20 21:55:33
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    是的,在 DataWorks 中,您需要为每个不同的流计算任务建立独立的任务节点。因此,如果您有两个源节点 A 和 C,并且它们都需要经过 B 节点,那么您需要为 A 和 C 分别创建 B 节点的任务,以分别实现 A -> B -> A2 和 C -> B -> C2 的流程。您不能在一个任务中同时处理两个不同的源节点。

    2023-11-20 13:27:53
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载