进入数据开发。 登录DataWorks控制台,选择目标区域后,在左侧导航栏单击工作空间列表。 单击目标工作空间后的进入数据开发,即可进入该工作空间的数据开发(DataStudio)模块。 2. 进入调度参数配置界面。
在数据开发界面的目录树,双击目标节点(本文以调度参数易错点节点为例),进入节点的编辑页面。 在节点编辑页面,单击右侧导航栏的调度配置。 在调度配置对话框的参数区域,即可配置目标节点的调度参数。
获取调度参数
使用DataWorks的PyODPS节点开发任务代码时,您也可以使用调度参数,例如,需要通过调度参数获取任务运行的业务日期等场景。PyODPS节点与DataWorks中的SQL节点在调度参数的定义参数操作方面一致,但是在代码中的引用方式不同。
- SQL节点会在代码中直接替换 ${param_name}这样的字符串。
- 为了避免影响代码,PyODPS节点在执行代码前,在全局变量中增加了一个名为args的dict,代码中使用args[param_name]的方式获取调度参数取值,而非在代码中替换 ${param_name}。
例如,在节点基本属性 > 参数中设置了调度参数ds=${yyyymmdd},则可以通过以下方式在代码中获取该参数。
- 获取参数ds的取值。
print('ds=' + args['ds']) #返回ds的时间,如ds=20161116
o.get_table('table_name').get_partition('ds=' + args['ds']) #获取ds分区下表table_name的数据
更多调度参数详情可参见配置并使用调度参数
https://help.aliyun.com/document_detail/146667.html 在数据开发测试调度参数
可以使用DataWorks的pdps模块中的get_schedule_param()函数来获取pdps节点的调度参数,例如:
from dataworks.pdps import get_schedule_param
schedule_param = get_schedule_param()
print(schedule_param)
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。