开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks果我有一个任务是每天跑的,那我有没有办法设置一个区间的传参让它自动运行很多次呢?

DataWorks果我有一个任务是每天跑的,然后我想补之前几个月数据,需要把每天的pt传入跑一次,那我有没有办法设置一个区间的传参让它自动运行很多次呢?

展开
收起
真的很搞笑 2023-12-03 17:06:37 38 0
4 条回答
写回答
取消 提交回答
  • 可以周期自动运行https://help.aliyun.com/zh/dataworks/use-cases/run-a-node-and-troubleshoot-errors-that-occur-on-the-node?spm=a2c4g.11186623.0.i61

    周期自动运行,由系统根据所有节点的调度配置自动触发,所以页面没有操作入口。您可以通过以下两种方式查看实例信息和运行日志:

    在运维中心页面,单击左侧导航栏中的周期任务运维 > 周期实例,选择业务日期或运行日期等参数,搜索write_result节点对应的实例后,右键查看实例信息和运行日志。

    选择周期实例页面中相应的节点实例并单击,即可看到实例DAG图。

    右键单击实例,可以查看该实例的依赖关系和详细信息并进行终止运行、重跑等具体操作。

    2023-12-05 11:06:04
    赞同 展开评论 打赏
  • 在DataWorks的数据同步任务中,你可以通过配置任务调度策略来实现你的需求。具体来说,你可以设置任务的触发周期为每天,然后在任务的参数设置中,设置一个区间值,比如"1-6",表示从第1天到第6天的数据。

    然后,你可以设置任务的并发数为6,这样任务就会自动运行6次,分别处理这6天的数据。

    请注意,这种设置可能需要你的数据源和目标支持分片查询或者分区查询,否则可能无法实现。另外,如果你的数据量非常大,可能需要调整任务的并发数和时间间隔,以避免任务运行时间过长或者资源消耗过大。

    2023-12-04 17:54:53
    赞同 展开评论 打赏
  • pt是根据调度参数自动替换的 补数据的时候可以选择一个区间的业务日期image.png
    ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-12-03 23:14:42
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在DataWorks中,您可以使用调度参数和参数节点来实现区间传参并自动运行任务多次。

    首先,为了实现每天的批量处理,您可以配置和使用调度参数。调度参数是DataWorks任务调度时使用的参数,根据您配置的调度参数取值规则,在每次任务运行时可以自动替换为真实的取值,从而实现任务调度时间内参数的动态替换。例如,您可以设置一个日期范围,让任务在这个日期范围内的每一天都运行一次。

    其次,对于需要跨节点传参的场景,您可以使用参数节点。参数节点不会运行数据计算任务产生数据,它主要用于跨节点传参和参数管理的场景。当下游节点的任务需要获取多个、多级上游节点的输出参数时,您可以将所有下游节点需要获取的参数统一添加至参数节点中,后续下游节点可直接挂在参数节点之下,即可获取到所有所需参数。

    2023-12-03 18:08:36
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多