DataWorks基础属性:调度参数自定义参数:系统内置参数?基础属性:调度参数自定义参数:系统内置参数?
在DataWorks中,基础属性中的调度参数自定义参数包括系统内置参数和用户自定义参数。
系统内置参数是由DataWorks系统预定义的一些参数,用于控制调度任务的行为和属性。常见的系统内置参数包括:
${bizdate}:业务日期,表示当前任务运行的日期,格式为YYYYMMDD。
${latestRerunTime}:最近一次重跑的时间,表示当前任务最近一次重跑的时间,格式为YYYYMMDDHHmmss。
${data_time}:数据时间,表示当前任务需要处理的数据时间,格式为YYYYMMDDHH。
${task_id}:任务ID,表示当前任务的ID。
用户自定义参数是由用户自己定义的参数,用于控制调度任务的行为和属性,例如数据源、目标数据源、表名等。用户可以在开发任务时,根据实际需求定义自己的参数,并在任务中使用。
这些系统内置参数和用户自定义参数可以在任务的调度参数中进行设置和配置,以实现任务的灵活性和可配置性。在任务调度时,系统会自动解析这些参数,并将其替换为实际的值,以保证任务的正确性和可靠性。
在阿里云DataWorks中,有两个基础属性相关的内容需要了解:
调度参数自定义参数:这是DataWorks调度任务时可以设置的一组自定义参数。通过设置这些参数,您可以在代码中引用它们,以便在运行时根据不同的场景进行动态配置和处理。
系统内置参数:这是DataWorks预先定义的一组系统级参数。这些参数是由DataWorks自动设置和维护的,可以在任务的代码中直接引用。系统内置参数提供了一些关键信息和上下文环境,帮助您更方便地编写和管理任务。
以下是一些常见的系统内置参数:
bizdate
(业务日期):代表当前任务的业务日期,通常用于分区查询、数据筛选等场景。taskid
(任务ID):代表当前任务的唯一标识符,可以用于日志记录或与其他任务进行关联。nodeid
(节点ID):代表当前节点的唯一标识符,可以用于节点之间的交互或关联。starttime
(任务开始时间):代表当前任务的计划开始时间。endtime
(任务结束时间):代表当前任务的计划结束时间。细分类型内置参数 定义
$bizdate 业务日期,格式为yyyymmdd。 该参数的应用较为广泛,日常调度中默认运行时间的前一天为业务日期。
$cyctime 任务的定时时间,格式为yyyymmddhh24miss。
$gmtdate 当前日期,格式为yyyymmdd。 该参数默认为当天日期,补数据时传入的是业务日期+1。
$bizmonth 业务月份,格式为yyyymm。
$jobid 任务所属的业务流程ID。
$nodeid 节点ID。
$taskid 任务ID,即节点实例ID。赋值引用要求(ODPS SQL节点、离线同步节点、PyODPS节点)需要在调度配置 > 基础属性中的参数中赋值,需使用多个调度参数时,各个参数间使用一个空格分隔。赋值的格式为:key1=value1 key2=value2,其中key1、key2是自定义的参数名称,value1、value2是系统内置参数,DataWorks当前可用的系统内置参数列表可参见上述表格表 1。引用格式为:ODPS SQL节点、EMR类型节点和离线数据同步节点 直接引用unknown、unknown,其中key1和key2是自定义的参数名称。例如,dt=unknown。
PyODPS节点 在全局变量中增加一个名为args的字典对象:args=['key1'] args=['key2']。其中key1和key2是自定义的参数名称。赋值引用要求(通用Shell节点)赋值格式为:value1 value2,其中value1、value2是系统内置参数,DataWorks当前可用的系统内置参数列表可参见上述表格表 1。引用格式 在代码中引用变量$1,$2 ...。说明 EMR Shell节点和EMR Spark Shell节点,请参考ODPS SQL节点引用方式。
https://help.aliyun.com/document_detail/137548.html
,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。