在DataWorks中,您可以配置节点的调度依赖,主要用于保障周期调度节点定时更新的表数据,确保下游节点取数无误。同时,您可以通过调度配置的时间属性来定义节点在生产环境的周期调度方式,包括实例调度周期与执行时间等。
对于周期调度的任务,除了可以设置小时级别的调度外,DataWorks还支持更细粒度的时间属性配置。例如,您可以在节点编辑页面的顶部工具栏中保存并提交ODPS SQL节点的配置,然后在开发环境测试对话框中配置业务时间,模拟节点的调度周期。
此外,如果您需要对多个节点进行统一的操作,如快速添加目标类别的节点为补数据节点,您可以在当前周期任务的DAG图中,结合DAG的聚合功能,按照工作空间、所属责任人或优先级等维度将节点划分为组,然后直接勾选该节点组。这种方式能够大大提高您的工作效率。
补数据只会按照一天一天去生产实例的,补多天的话,每天之前也不会有互相依赖的 所以这里跨周期依赖的下游会选不到 需要分开补一下,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。