在DataWorks中,常用的调度参数列表包括以下几个:
${date}:代表调度日期,格式为yyyyMMdd。
${hour}:代表调度小时,格式为HH。
${minute}:代表调度分钟,格式为mm。
${bizdate}:代表业务日期,格式为yyyyMMdd。
${offset}:代表时间偏移量,表示相对于调度时间的时间偏移量,单位为分钟。例如,${offset-10}表示调度时间的10分钟前。
${latestTime}:代表最新时间戳,格式为yyyyMMddHHmmss。该参数可以与DataWorks中的数据同步任务配合使用,用于指定数据同步的时间范围。
${taskid}:代表任务ID,用于在调度任务中获取任务ID,方便对任务进行管理和监控。
${var}:代表自定义变量,可以在调度任务中定义和使用。例如,${var:myVar}表示引用名为“myVar”的自定义变量。
DataWorks常用调度参数列表如下:
bizdate
:业务日期,表示任务执行的日期。在数据集成中,可以根据该参数来读取相应日期的数据。offset
:偏移量,用于处理增量数据。可以指定一个整数值,表示相对于当前日期的前后偏移量。partition
:分区参数,用于指定任务执行时所操作的分区。可以是日期、地域、产品等维度的参数。input
:输入路径或者表名,表示任务的输入数据来源。output
:输出路径或者表名,表示任务的输出结果保存位置。mode
:运行模式,用于指定任务的运行方式,如增量更新、全量覆盖等。overwrite
:是否覆盖输出路径或表的数据。可以设定为true
或false
,默认为false
。paramXX
:自定义参数,可以在任务配置中添加自定义的参数,并在任务中使用。这些参数可以根据具体的任务需求进行配置和使用,以实现灵活的调度和数据处理。
常用调度参数列表假设定时时间是2022-10-01 00:10:59
取昨天的年月日:arg=$[yyyymmdd-1] 或arg=$[yyyy-mm-dd-1]或arg=$[yyyy/mm/dd-1]等 调用${arg} 取昨天的年或月:arg1=${yyyy} arg2=${mm} 取昨天的年月日时分秒:返回值2022-09-31 00:10:59 需配置两个参数arg1=$[yyyymmdd-1] arg2=$[hh24:mi:ss] 调用'\unknown \unknown' 取今天的年月日: arg=$[yyyymmdd]等 取今天的年月日时分秒:返回值2022-10-01 00:10:59 配置两个参数arg1=$[yyyymmdd] arg2=$[hh24:mi:ss] 调用'${arg1} ${arg2}' 取15分钟前的年、月、日、小时、分钟:year=$[yyyy-15/24/60] month=$[yyyymm-15/24/60] day=$[yyyymmdd-15/24/60] hour=$[hh24-15/24/60] mi=$[mi-15/24/60] 取1小时前的日、小时:day=$[yyyymmdd-1/24] hour=$[hh24-1/24] 取昨天时间区间:beginDateTime=$[yyyymmdd-1]000000 endDateTime=$[yyyymmdd]000000 取上一小时时间区间:beginDateTime=$[yyyymmddhh24-1/24]0000 endDateTime=$[yyyymmddhh24]0000 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。