DataWorks果我有一个任务是每天跑的,然后我想补之前几个月数据,需要把每天的pt传入跑一次,那我有没有办法设置一个区间的传参让它自动运行很多次呢?
周期自动运行,由系统根据所有节点的调度配置自动触发,所以页面没有操作入口。您可以通过以下两种方式查看实例信息和运行日志:
在运维中心页面,单击左侧导航栏中的周期任务运维 > 周期实例,选择业务日期或运行日期等参数,搜索write_result节点对应的实例后,右键查看实例信息和运行日志。
选择周期实例页面中相应的节点实例并单击,即可看到实例DAG图。
右键单击实例,可以查看该实例的依赖关系和详细信息并进行终止运行、重跑等具体操作。
在DataWorks的数据同步任务中,你可以通过配置任务调度策略来实现你的需求。具体来说,你可以设置任务的触发周期为每天,然后在任务的参数设置中,设置一个区间值,比如"1-6",表示从第1天到第6天的数据。
然后,你可以设置任务的并发数为6,这样任务就会自动运行6次,分别处理这6天的数据。
请注意,这种设置可能需要你的数据源和目标支持分片查询或者分区查询,否则可能无法实现。另外,如果你的数据量非常大,可能需要调整任务的并发数和时间间隔,以避免任务运行时间过长或者资源消耗过大。
pt是根据调度参数自动替换的 补数据的时候可以选择一个区间的业务日期
,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
在DataWorks中,您可以使用调度参数和参数节点来实现区间传参并自动运行任务多次。
首先,为了实现每天的批量处理,您可以配置和使用调度参数。调度参数是DataWorks任务调度时使用的参数,根据您配置的调度参数取值规则,在每次任务运行时可以自动替换为真实的取值,从而实现任务调度时间内参数的动态替换。例如,您可以设置一个日期范围,让任务在这个日期范围内的每一天都运行一次。
其次,对于需要跨节点传参的场景,您可以使用参数节点。参数节点不会运行数据计算任务产生数据,它主要用于跨节点传参和参数管理的场景。当下游节点的任务需要获取多个、多级上游节点的输出参数时,您可以将所有下游节点需要获取的参数统一添加至参数节点中,后续下游节点可直接挂在参数节点之下,即可获取到所有所需参数。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。