开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

请教一下,dataworks在往其它数据库离线同步数据的时候,有没有办法动态指定分区范围?

问题1:请教一下,dataworks在往其它数据库离线同步数据的时候,有没有办法动态指定分区范围?image.png 就是根据数据的更新情况,来指定数据分析,比如今天有5个分区的数据有更新,那我只要离线同步这5个分区的,明天有10个分区的,我就更新这10个分区的。 问题2:)调度参数可以通过SQL查询来赋值么

展开
收起
真的很搞笑 2023-06-11 09:43:49 99 0
1 条回答
写回答
取消 提交回答
  • 回答1:这个动态指定分区范围怎么理解,不同的运行时间指定不同分区吗,还是在配置任务时就能指定分区的区间 ,目前集成任务还无法感知源端哪些分区有更新的情况,现在常用的是 过滤分区值用调度参数代替 调度参数可以配置为日期参数 日期参数随执行日期动态变化; 回答2:赋值节点,赋值节点支持ODPS SQL、SHELL和Python三种赋值语言。您可以结合节点上下文,将赋值节点的最后一条查询结果赋值给节点自带outputs输出作为下游节点的入参进行传递。 outputs参数的取值只取最后一行代码的输出结果:

    赋值语言为ODPS SQL的赋值节点中,最后一行SELECT语句的输出。 赋值语言为SHELL的赋值节点中,最后一行ECHO语句的数据。 赋值语言为Python的赋值节点中,最后一行PRINT语句的输出。

    Python和SHELL的输出会基于逗号(,)分割为一维数组。 ODPS SQL将输出结果作为一个二维数组传递至下游。

    说明:

    outputs参数的传递值最大为2 MB。如果赋值语句的输出结果超过该限制,赋值节点会运行失败。 赋值节点作为上游与其它节点配合使用时,请务必先提交赋值节点,以便下游节点在配置时可以解析出参数。

    【节点上下文使用】,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-06-11 09:53:54
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DTCC 2022大会集锦《云原生一站式数据库技术与实践》 立即下载
    阿里云瑶池数据库精要2022版 立即下载
    2022 DTCC-阿里云一站式数据库上云最佳实践 立即下载