DataWorks基础属性:调度参数自定义参数:系统内置参数是什么?
在DataWorks中,调度参数是指在任务调度过程中,可以通过参数配置来控制任务的行为和结果的一些参数。其中,自定义参数是用户可以自行定义的参数,而系统内置参数是由DataWorks系统提供的一些预定义参数,用于控制任务的行为和结果。
以下是一些常见的DataWorks系统内置参数:
${bizdate}:表示任务的调度日期,格式为yyyyMMdd。
${bizhour}:表示任务的调度小时,格式为HH。
${bizdate-1d}:表示任务的调度日期前一天,格式为yyyyMMdd。
${bizdate-7d}:表示任务的调度日期前七天,格式为yyyyMMdd。
${bizdate-30d}:表示任务的调度日期前三十天,格式为yyyyMMdd。
${taskid}:表示任务的ID。
${nodeid}:表示节点的ID。
${priority}:表示任务的优先级,优先级越高,任务越容易得到资源。
${dataxHome}:表示DataX的安装路径。
${dataTime}:表示任务的调度时间,格式为yyyyMMddHHmmss。
细分类型内置参数 定义
$bizdate 业务日期,格式为yyyymmdd。 该参数的应用较为广泛,日常调度中默认运行时间的前一天为业务日期。
$cyctime 任务的定时时间,格式为yyyymmddhh24miss。
$gmtdate 当前日期,格式为yyyymmdd。 该参数默认为当天日期,补数据时传入的是业务日期+1。
$bizmonth 业务月份,格式为yyyymm。
$jobid 任务所属的业务流程ID。
$nodeid 节点ID。
$taskid 任务ID。赋值引用要求(ODPS SQL节点、离线同步节点、PyODPS节点)需要在调度配置 > 基础属性中的参数中赋值,需使用多个调度参数时,各个参数间使用一个空格分隔。赋值的格式为:key1=value1 key2=value2,其中key1、key2是自定义的参数名称,value1、value2是系统内置参数,DataWorks当前可用的系统内置参数列表可参见上述表格表 1。引用格式为:ODPS SQL节点、EMR类型节点和离线数据同步节点 直接引用unknown、unknown,其中key1和key2是自定义的参数名称。例如,dt=unknown。
PyODPS节点 在全局变量中增加一个名为args的字典对象:args=['key1'] args=['key2']。其中key1和key2是自定义的参数名称。赋值引用要求(通用Shell节点)赋值格式为:value1 value2,其中value1、value2是系统内置参数,DataWorks当前可用的系统内置参数列表可参见上述表格表 1。引用格式 在代码中引用变量$1,$2 ...。说明 EMR Shell节点和EMR Spark Shell节点,请参考ODPS SQL节点引用方式。
https://help.aliyun.com/document_detail/137548.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
在DataWorks中,调度参数自定义参数是用于在数据开发和任务调度过程中进行配置的。系统内置参数是DataWorks提供的一些预定义参数,可以在任务编排、调度和运行过程中使用。
以下是DataWorks中常用的系统内置参数:
bizdate
:代表业务日期,用于处理按照日期分区的数据。sysdate
:代表当前系统日期和时间。dataTime
:代表数据的时间戳,用于标记数据的生成时间。taskid
:代表任务的唯一标识符,用于在任务执行过程中进行跟踪和日志记录。cycle
:代表调度周期,用于表示任务的调度频率,例如小时、天、周等。offset
:代表调度偏移量,用于指定任务相对于调度周期的偏移量,例如指定某个任务在每天的固定时间点执行。runtime
:代表任务的运行时间,用于记录任务的实际执行时间。这些系统内置参数可以在任务的调度参数中进行引用,并根据具体需求进行配置和使用。它们提供了灵活性和动态性,使任务能够根据不同的情况和要求进行调度和执行。
在DataWorks中,基础属性和调度参数是两个不同的概念。
基础属性是指针对数据源或数据表的一些基本属性,例如数据类型、存储类型、分区方式等。这些属性通常在创建数据源或数据表时进行设置,并且对数据的处理和分析具有重要影响。
调度参数是用于控制数据处理任务调度和执行的参数。这些参数包括任务的执行时间、周期、并发数等。通过设置调度参数,您可以控制任务在何时、以何种频率以及同时执行的个数等。
自定义参数是指您可以根据自己的需求自定义的参数。这些参数通常是与您的数据处理任务相关的特定参数,例如数据处理逻辑中的某些阈值、过滤条件等。
系统内置参数是指DataWorks中预先定义好的参数,用于控制任务的执行和调度。这些参数包括任务执行的优先级、超时时间、日志输出级别等。
需要注意的是,基础属性和调度参数是针对不同的数据源或数据表的,而自定义参数和系统内置参数是针对单个任务或流程的。在DataWorks中,您可以根据需要设置和调整这些参数,以适应您的数据处理需求和环境。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。