开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks常用调度参数列表是什么?

DataWorks常用调度参数列表是什么?

展开
收起
cuicuicuic 2023-07-01 16:48:47 69 0
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在DataWorks中,常用的调度参数列表包括以下几个:

    ${date}:代表调度日期,格式为yyyyMMdd。

    ${hour}:代表调度小时,格式为HH。

    ${minute}:代表调度分钟,格式为mm。

    ${bizdate}:代表业务日期,格式为yyyyMMdd。

    ${offset}:代表时间偏移量,表示相对于调度时间的时间偏移量,单位为分钟。例如,${offset-10}表示调度时间的10分钟前。

    ${latestTime}:代表最新时间戳,格式为yyyyMMddHHmmss。该参数可以与DataWorks中的数据同步任务配合使用,用于指定数据同步的时间范围。

    ${taskid}:代表任务ID,用于在调度任务中获取任务ID,方便对任务进行管理和监控。

    ${var}:代表自定义变量,可以在调度任务中定义和使用。例如,${var:myVar}表示引用名为“myVar”的自定义变量。

    2023-07-31 22:28:09
    赞同 展开评论 打赏
  • DataWorks常用调度参数列表如下:

    1. bizdate:业务日期,表示任务执行的日期。在数据集成中,可以根据该参数来读取相应日期的数据。
    2. offset:偏移量,用于处理增量数据。可以指定一个整数值,表示相对于当前日期的前后偏移量。
    3. partition:分区参数,用于指定任务执行时所操作的分区。可以是日期、地域、产品等维度的参数。
    4. input:输入路径或者表名,表示任务的输入数据来源。
    5. output:输出路径或者表名,表示任务的输出结果保存位置。
    6. mode:运行模式,用于指定任务的运行方式,如增量更新、全量覆盖等。
    7. overwrite:是否覆盖输出路径或表的数据。可以设定为truefalse,默认为false
    8. paramXX:自定义参数,可以在任务配置中添加自定义的参数,并在任务中使用。

    这些参数可以根据具体的任务需求进行配置和使用,以实现灵活的调度和数据处理。

    2023-07-01 17:43:15
    赞同 展开评论 打赏
  • 常用调度参数列表假设定时时间是2022-10-01 00:10:59

    取昨天的年月日:arg=$[yyyymmdd-1] 或arg=$[yyyy-mm-dd-1]或arg=$[yyyy/mm/dd-1]等 调用${arg} 取昨天的年或月:arg1=${yyyy} arg2=${mm} 取昨天的年月日时分秒:返回值2022-09-31 00:10:59 需配置两个参数arg1=$[yyyymmdd-1] arg2=$[hh24:mi:ss] 调用'\unknown \unknown' 取今天的年月日: arg=$[yyyymmdd]等 取今天的年月日时分秒:返回值2022-10-01 00:10:59 配置两个参数arg1=$[yyyymmdd] arg2=$[hh24:mi:ss] 调用'${arg1} ${arg2}' 取15分钟前的年、月、日、小时、分钟:year=$[yyyy-15/24/60] month=$[yyyymm-15/24/60] day=$[yyyymmdd-15/24/60] hour=$[hh24-15/24/60] mi=$[mi-15/24/60] 取1小时前的日、小时:day=$[yyyymmdd-1/24] hour=$[hh24-1/24] 取昨天时间区间:beginDateTime=$[yyyymmdd-1]000000 endDateTime=$[yyyymmdd]000000 取上一小时时间区间:beginDateTime=$[yyyymmddhh24-1/24]0000 endDateTime=$[yyyymmddhh24]0000 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-07-01 16:53:36
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks全链路数据质量解决方案-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多