开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

怎么能实现DataWorks取数时间参数用shell书写覆盖到其他子节点?

怎么能实现DataWorks取数时间参数用shell书写覆盖到其他子节点?

展开
收起
真的很搞笑 2023-04-19 21:39:56 130 0
2 条回答
写回答
取消 提交回答
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    您可以通过DataWorks中的全局变量功能来实现取数时间参数用shell覆盖到其他子节点的需求。具体步骤如下:

    1. 在DataWorks中,打开您需要进行取数时间参数覆盖的工作流,并在工作流中添加一个全局变量节点。

    2. 在全局变量节点中,设置需要覆盖的参数的值,并根据需要选择是否开启环境变量。

    3. 在需要使用取数时间参数的节点中,使用${}语法调用全局变量节点中的变量值来替代原有的参数值。

    4. 编写一个shell脚本,在脚本中调用DataWorks的API来获取全局变量节点中的参数值,并将其传递给其他子节点。

    5. 在需要执行取数的子节点中,调用shell脚本并解析参数值,在取数时使用其作为时间参数。

    需要注意的是,在使用全局变量功能时,您需要保证全局变量节点先于其他节点运行。此外,全局变量的值会在每次执行工作流时重新设置,因此需要在每次执行工作流之前更新变量节点中的参数值。

    2023-04-30 23:16:41
    赞同 展开评论 打赏
  • 看下赋值节点或参数节点是否符合预期 赋值节点:https://help.aliyun.com/document_detail/137534.html 参数节点:https://help.aliyun.com/document_detail/201889.html?spm=a2c4g.137670.0.i1,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-04-20 08:03:33
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载