DataWorks2.0调度参数配置小议

本文涉及的产品
大数据开发治理平台DataWorks,资源组抵扣包 750CU*H
简介: Dataworks的参数配置功能帮助您的任务在自动周期运行时能动态适配环境变化,本文主要介绍使用最新的DataStudio工具在配置参数及调试过程中需要注意的事项。

概述

Dataworks的参数配置功能帮助您的任务在自动周期运行时能动态适配环境变化,本文主要介绍使用最新的DataStudio工具在配置参数及调试过程中需要注意的事项。


参数生效问题

这个问题是个特别需要注意的问题,在完成参数配置后进行保存,直接运行测试发现参数并未完成替换,且不生效,提交节点后在运维中心中使用冒烟测试的方式才能生效。

参数说明

  • ${bdp.system.cyctime}:定义为一个实例的定时运行时间,默认格式为yyyymmddhh24miss;
  • ${bdp.system.bizdate}:定义为一个实例计算时对应的业务日期,业务日期默认为运行日期的前一天,默认以yyyymmdd的格式显示;
  • 如果{}参数,就是以bizdate为基准参与运算。示例:前N月:${yyyymm-N};
  • 如果是[]参数,是以cyctime为基准参与运行。

实验测试

DDPS SQL测试
  • 参数设置
    1
  • 直接运行日志
    2
  • 运维中心冒烟测试
    3
shell测试
  • 参数设置
    2_1
  • 直接运行测试(运行中显示指定参数)
    2_2
  • 冒烟测试
    2_3
Python参数配置
  • 参数配置
    py_
  • code调用
# 初始化到args
args['dd']
a = args['dd']
print a

总结

1、参数配置测试情况可以参考上面的测试进行合理的预配置,如在SQL中写死固定常量值进行测试;
2、如果需要测试验证配置的有效性,请在冒烟测试中进行;
3、配置的即时是系统参数也不要在代码中直接指定,最好配置后再在SQL或shell中使用;
4、关于参数的细节及配置,请参考官方链接

相关实践学习
基于Hologres轻量实时的高性能OLAP分析
本教程基于GitHub Archive公开数据集,通过DataWorks将GitHub中的项⽬、行为等20多种事件类型数据实时采集至Hologres进行分析,同时使用DataV内置模板,快速搭建实时可视化数据大屏,从开发者、项⽬、编程语⾔等多个维度了解GitHub实时数据变化情况。
相关文章
|
9月前
|
SQL 分布式计算 DataWorks
如何让DataWorks调度依赖一个非DataWorks的任务结点,如数据上传任务?
如何让DataWorks调度依赖一个非DataWorks的任务结点,如数据上传任务?创建一个表的空分区,然后通过DataWorks去检查这个分区。
182 7
|
SQL DataWorks 安全
DataWorks产品使用合集之如何实现分钟级调度
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
SQL DataWorks 安全
DataWorks产品使用合集之调度资源组与集成资源内部的实例如何进行共用
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
158 1
|
分布式计算 DataWorks 监控
DataWorks产品使用合集之怎么设置参数获取上个月最后一天
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
250 1
|
数据采集 DataWorks 安全
DataWorks产品使用合集之怎么配置定时调度任务
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
427 1
|
数据采集 分布式计算 DataWorks
DataWorks产品使用合集之怎么查看表dqc的配置
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
148 1
|
分布式计算 DataWorks 安全
DataWorks产品使用合集之怎么配置跨业务流程的调度依赖
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
112 1
|
数据采集 DataWorks 监控
DataWorks产品使用合集之怎么使用工作空间参数
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
分布式计算 DataWorks 安全
DataWorks产品使用合集之调度任务时怎么指定时间函数格式
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
9月前
|
DataWorks 监控 数据建模
DataWorks产品体验评测
DataWorks产品体验评测

热门文章

最新文章