DataWorks如何配置调度依赖背景信息?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
在DataWorks中配置调度依赖可以帮助您定义任务之间的执行顺序和关联关系。以下是一些背景信息,可帮助您更好地了解如何在DataWorks中配置调度依赖:
1. 调度任务: 在DataWorks中,调度任务是按照预定时间触发的周期性任务。常见的调度任务包括小时调度任务、日调度任务等。
2. 前置任务: 在调度任务中,可以指定一个或多个前置任务。前置任务是在当前任务执行之前需要完成的任务。您可以根据具体需求设置不同的前置任务。
3. 依赖规则: 在配置调度依赖时,您可以选择适当的依赖规则。常见的依赖规则有:
4. 任务运行状态: 在DataWorks控制台的运维中心中,您可以监控任务的运行状态和执行情况,以了解各个任务之间的依赖关系和调度情况。
使用DataWorks时,调度依赖的配置主要包含两大部分的配置内容:依赖的上游节点和本节点的产出。您需要将上游节点的本节点的产出作为下游节点的依赖的上游节点,以形成依赖关系。
DataWorks支持自动解析、手动配置、拉线配置的方式进行调度依赖配置,且在创建节点时,系统会自动为节点添加本节点的输出配置信息,详情可参见:调度依赖配置指导:自动解析调度依赖配置指导:手动配置调度依赖配置指导:系统生成调度依赖配置指导:拉线配置常见的典型配置可参见典型业务场景配置指导。调度配置完成后,提交节点时,DataWorks会检查节点的调度依赖与节点代码中的数据血缘关系是否一致,详情可参见调度配置完成后处理。
https://help.aliyun.com/document_detail/137550.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。