问题1:请教一下,dataworks在往其它数据库离线同步数据的时候,有没有办法动态指定分区范围? 就是根据数据的更新情况,来指定数据分析,比如今天有5个分区的数据有更新,那我只要离线同步这5个分区的,明天有10个分区的,我就更新这10个分区的。 问题2:)调度参数可以通过SQL查询来赋值么
回答1:这个动态指定分区范围怎么理解,不同的运行时间指定不同分区吗,还是在配置任务时就能指定分区的区间 ,目前集成任务还无法感知源端哪些分区有更新的情况,现在常用的是 过滤分区值用调度参数代替 调度参数可以配置为日期参数 日期参数随执行日期动态变化; 回答2:赋值节点,赋值节点支持ODPS SQL、SHELL和Python三种赋值语言。您可以结合节点上下文,将赋值节点的最后一条查询结果赋值给节点自带outputs输出作为下游节点的入参进行传递。 outputs参数的取值只取最后一行代码的输出结果:
赋值语言为ODPS SQL的赋值节点中,最后一行SELECT语句的输出。 赋值语言为SHELL的赋值节点中,最后一行ECHO语句的数据。 赋值语言为Python的赋值节点中,最后一行PRINT语句的输出。
Python和SHELL的输出会基于逗号(,)分割为一维数组。 ODPS SQL将输出结果作为一个二维数组传递至下游。
说明:
outputs参数的传递值最大为2 MB。如果赋值语句的输出结果超过该限制,赋值节点会运行失败。 赋值节点作为上游与其它节点配合使用时,请务必先提交赋值节点,以便下游节点在配置时可以解析出参数。
【节点上下文使用】,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。