开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks基础属性:调度参数自定义参数:系统内置参数?

DataWorks基础属性:调度参数自定义参数:系统内置参数?

展开
收起
真的很搞笑 2023-07-22 15:18:17 206 0
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在DataWorks中,调度参数是用于配置任务调度行为和传递参数值的属性。其中,自定义参数是你可以在任务或节点中定义的参数,用于传递自定义数值或字符串等值。这些自定义参数可以在任务运行时通过调度参数进行配置和传递。

    在DataWorks的调度参数中,除了自定义参数,还有系统内置参数。系统内置参数是由DataWorks提供的预定义参数,用于表示任务的一些系统信息或运行时的环境变量等。这些系统内置参数在任务运行时会自动赋值,而无需手动配置。

    以下是一些常见的DataWorks系统内置参数:

    bizdate:表示任务的业务日期,通常用于在任务中处理特定日期的数据。

    offset:表示任务的偏移量,用于在任务中处理增量数据或分批处理数据。

    taskid:表示任务的唯一标识符,可以用于识别任务的执行情况和日志等。

    runtime:表示任务的运行时间,通常用于记录任务的执行时间和统计信息。

    2023-07-30 17:31:00
    赞同 展开评论 打赏
  • 在DataWorks中,调度参数自定义参数是一种用于在任务调度过程中传递参数的功能。系统内置参数是DataWorks预先定义的一些特殊参数,用于提供与任务调度和执行相关的信息。

    以下是一些常见的系统内置参数:

    1. $bizdate:代表当前业务日期(按照调度周期确定)。它可以用于在任务中根据当前日期执行相应的逻辑。

    2. $latestTaskStatus:代表上游依赖任务的状态,可以用于判断上一个任务是否成功执行。

    3. $nodeId:代表当前节点的ID,可用于在任务中获取当前节点的一些属性或执行特定操作。

    4. $runtime:代表任务的运行时间戳,即任务开始执行的时间。

    5. $unixtimestamp:代表任务运行时间的UNIX时间戳形式,表示从1970年1月1日起的秒数。

    这些系统内置参数可以通过${参数名}的形式在任务代码或配置中使用。DataWorks会在任务调度和执行时将其替换为实际的值。

    除了系统内置参数,你还可以在DataWorks中定义自定义参数,以便更灵活地传递和使用额外的参数。自定义参数可以在任务的调度设置中配置,并在任务代码或配置中通过${参数名}的方式进行引用。

    通过使用系统内置参数和自定义参数,你可以在任务的调度和执行过程中,动态地传递和使用各种参数值,以满足任务的需求。

    2023-07-23 13:05:20
    赞同 展开评论 打赏
  • 细分类型内置参数 定义
    $bizdate 业务日期,格式为yyyymmdd。 该参数的应用较为广泛,日常调度中默认运行时间的前一天为业务日期。
    $cyctime 任务的定时时间,格式为yyyymmddhh24miss。
    $gmtdate 当前日期,格式为yyyymmdd。 该参数默认为当天日期,补数据时传入的是业务日期+1。
    $bizmonth 业务月份,格式为yyyymm。
    $jobid 任务所属的业务流程ID。
    $nodeid 节点ID。
    $taskid 任务ID,即节点实例ID。赋值引用要求(ODPS SQL节点、离线同步节点、PyODPS节点)image.png
    需要在调度配置 > 基础属性中的参数中赋值,需使用多个调度参数时,各个参数间使用一个空格分隔。赋值的格式为:key1=value1 key2=value2,其中key1、key2是自定义的参数名称,value1、value2是系统内置参数,DataWorks当前可用的系统内置参数列表可参见上述表格表 1。引用格式为:ODPS SQL节点、EMR类型节点和离线数据同步节点 直接引用unknown、unknown,其中key1和key2是自定义的参数名称。例如,dt=unknown。
    PyODPS节点 在全局变量中增加一个名为args的字典对象:args=['key1'] args=['key2']。其中key1和key2是自定义的参数名称。赋值引用要求(通用Shell节点)赋值格式为:value1 value2,其中value1、value2是系统内置参数,DataWorks当前可用的系统内置参数列表可参见上述表格表 1。引用格式 在代码中引用变量$1,$2 ...。说明 EMR Shell节点和EMR Spark Shell节点,请参考ODPS SQL节点引用方式。
    https://help.aliyun.com/document_detail/137548.html
    ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-07-22 15:26:14
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载