开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks如何获取pdps节点的调度参数?

DataWorks如何获取pdps节点的调度参数?

展开
收起
wenti 2023-01-15 21:16:07 282 0
4 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    进入数据开发。 登录DataWorks控制台,选择目标区域后,在左侧导航栏单击工作空间列表。 单击目标工作空间后的进入数据开发,即可进入该工作空间的数据开发(DataStudio)模块。 2. 进入调度参数配置界面。

    在数据开发界面的目录树,双击目标节点(本文以调度参数易错点节点为例),进入节点的编辑页面。 在节点编辑页面,单击右侧导航栏的调度配置。 在调度配置对话框的参数区域,即可配置目标节点的调度参数。

    2023-01-15 22:02:03
    赞同 展开评论 打赏
  • 获取调度参数
    使用DataWorks的PyODPS节点开发任务代码时,您也可以使用调度参数,例如,需要通过调度参数获取任务运行的业务日期等场景。PyODPS节点与DataWorks中的SQL节点在调度参数的定义参数操作方面一致,但是在代码中的引用方式不同。
    - SQL节点会在代码中直接替换 ${param_name}这样的字符串。
    - 为了避免影响代码,PyODPS节点在执行代码前,在全局变量中增加了一个名为args的dict,代码中使用args[param_name]的方式获取调度参数取值,而非在代码中替换 ${param_name}。
    例如,在节点基本属性 > 参数中设置了调度参数ds=${yyyymmdd},则可以通过以下方式在代码中获取该参数。
    - 获取参数ds的取值。

    print('ds=' + args['ds']) #返回ds的时间,如ds=20161116

    • 获取名为ds=${yyyymmdd}的分区的表数据。

    o.get_table('table_name').get_partition('ds=' + args['ds']) #获取ds分区下表table_name的数据

    更多调度参数详情可参见配置并使用调度参数

    2023-01-15 21:37:36
    赞同 展开评论 打赏
  • GitHub https://github.com/co63oc/cloud

    https://help.aliyun.com/document_detail/146667.html 在数据开发测试调度参数 image.png

    2023-01-15 21:31:24
    赞同 展开评论 打赏
  • 可以使用DataWorks的pdps模块中的get_schedule_param()函数来获取pdps节点的调度参数,例如:

    from dataworks.pdps import get_schedule_param
    schedule_param = get_schedule_param()
    print(schedule_param)
    
    2023-01-15 21:28:54
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    低代码开发师(初级)实战教程 立即下载
    冬季实战营第三期:MySQL数据库进阶实战 立即下载
    阿里巴巴DevOps 最佳实践手册 立即下载