开发者社区> 问答> 正文

dataphin任务上游依赖dataworks中的任务节点,这个可以吗?

dataphin任务上游依赖dataworks中的任务节点,这个可以吗?

展开
收起
冰激凌甜筒 2023-04-04 15:51:37 175 0
2 条回答
写回答
取消 提交回答
  • 这个不支持,两个调度系统是独立的,此回答整理自钉群“Dataphin二线技术支持群”

    2023-04-04 16:59:54
    赞同 展开评论 打赏
  • 随心分享,欢迎友善交流讨论:)

    可以实现在Dataphin中创建的任务依赖于DataWorks中的任务节点。这可以通过Dataphin中的“数据接入”功能来实现。具体步骤如下:

    在Dataphin中创建一个数据接入任务,选择要接入的数据源和表。

    在“任务配置”页面中,配置ETL任务的参数,包括数据抽取、数据清洗、数据转换等。

    在ETL任务中,添加一个“外部任务”节点,并将其设置为依赖于DataWorks中的任务节点。此外,还需要在“任务配置”页面中设置任务节点的依赖关系和执行顺序。

    在DataWorks中创建一个任务节点,并将其设置为ETL任务的前置节点。

    配置DataWorks中的任务节点,包括源数据表、目标数据表、数据抽取方式、数据转换规则等。

    在DataWorks中执行任务节点,将源数据表中的数据抽取到目标数据表中。

    回到Dataphin中,启动ETL任务,Dataphin会自动检查外部任务节点的状态,如果DataWorks中的任务节点已经成功执行,则ETL任务会继续执行下一步操作。

    通过这种方式,可以在Dataphin中创建的任务依赖于DataWorks中的任务节点,实现数据的接入和处理。同时,这种方式还可以实现Dataphin和DataWorks之间的数据交互,为企业数据的整合和管理提供了便利。

    2023-04-04 15:54:07
    赞同 展开评论 打赏
来源圈子
更多
收录在圈子:
聚焦数据管理交流、问答互动小花园。
问答排行榜
最热
最新

相关电子书

更多
阿里云AnalyticDB+Data Works 企业数仓构 立即下载
AnalyticDB+DataWorks企业数仓构建方案 立即下载
DataWorks全链路数据质量解决方案-2020飞天大数据平台实战应用第一季 立即下载