dataworks中的调度参数有哪些?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
在DataWorks中,调度参数是指在任务调度时,通过设置参数值来控制任务执行的一些参数。通过使用调度参数,可以灵活控制任务的执行方式和执行效果,以满足不同的业务需求。
以下是DataWorks中常用的调度参数:
bizdate:业务日期,用于指定任务处理的数据日期范围。可以通过设置调度参数的方式传递业务日期,例如设置参数名称为“bizdate”,参数值为“${yyyy-MM-dd}”,则可以在任务中通过引用“${bizdate}”来获取业务日期。
partition:分区信息,用于指定任务处理的分区信息。可以通过设置调度参数的方式传递分区信息,例如设置参数名称为“partition”,参数值为“2019-01-01”,则可以在任务中通过引用“${partition}”来获取分区信息。
etl_date:ETL日期,用于记录任务执行的时间和监控任务的执行状态。可以通过设置调度参数的方式传递ETL日期,例如设置参数名称为“etl_date”,参数值为“${yyyyMMdd}”,则可以在任务中通过引用“${etl_date}”来获取ETL日期。
priority:任务优先级,用于指定任务的优先级。可以通过设置调度参数的方式传递任务优先级,例如设置参数名称为“priority”,参数值为“1”,则可以在任务中通过引用“${priority}”来获取任务优先级。
需要注意的是,以上调度参数适用于
在阿里云DataWorks中,调度参数是用于配置任务调度行为和运行时的一组参数。以下是一些常见的DataWorks调度参数:
bdp.system.bizdate
:业务日期,表示当前任务实例的业务日期。
bdp.system.today
:当天日期,表示当前任务实例的执行日期。
bdp.system.cycletime
:循环调度周期,用于循环任务的判断和处理。
bdp.taskinfo.id
:任务实例ID,表示当前任务实例的唯一标识符。
bdp.taskinfo.name
:任务名称,表示当前任务实例的名称。
bdp.taskinfo.owner
:任务所有者,指定当前任务实例的所有者或负责人。
bdp.taskinfo.nodeid
:任务节点ID,表示当前任务实例所属的节点ID。
bdp.taskinfo.runtime
:任务运行时长,用于获取当前任务实例的运行时间。
bdp.taskinfo.logpath
:任务日志路径,用于获取当前任务实例的日志文件路径。
这些调度参数可以在DataWorks中的任务调度设置页面进行配置。您可以根据任务的需求,使用这些调度参数来动态地控制任务的逻辑和行为。
请注意,不同版本的DataWorks可能会有略微不同的调度参数列表,具体可用的调度参数可以在DataWorks开发界面的相关文档或帮助资源中找到。您还可以咨询阿里云技术支持,以获取更详细的帮助和指导。
参考:
阿里云DataWorks文档:https://help.aliyun.com/document_detail/137663.html
调度参数通过赋值方式分为系统内置变量和自定义参数(推荐)两大类。
系统内置变量:无需手动赋值,参数可以在代码中直接引用。包括业务时间参数unknown和定时时间参数unknown。系统内置变量的详情可参见系统内置变量。自定义参数:需要在调度配置 > 基础属性 > 参数中进行赋值,赋值后可在代码中引用自定义参数的变量名。包括系统内置参数、unknown参数、$[…]参数和常量参数。自定义参数的详情可参见自定义参数:系统内置参数、自定义参数:unknown参数、自定义参数:$[…]参数和自定义参数:常量参数。
https://help.aliyun.com/document_detail/137548.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。