问题一:DataWorks中Kafaka 数据同步的时候有个问题,我定义了一个函数,被当成了列识别了?
DataWorks中Kafaka 数据同步的时候有个问题,我定义了一个函数,被当成了列识别了,最后值为空,比如now()函数,正常是当前时间,现在一直输出空,看日志在插入时函数被当成了数据列的名称?
参考回答:
咋定义的函数呀 记得kafka不支持,maxcompute的函数 kafka是不支持的哈
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/574851
问题二:DataWorks现在有一个增量离线同步任务,怎么样把数据跑到生产环境的表?
DataWorks现在有一个增量离线同步任务,首次跑完全量,然后加条件每天跑增量, 跑全量的时候假如不发布到生产环境(因为一次性脚本),怎么样把数据跑到生产环境的表?
参考回答:
只能发布到生产环境才能跑生产的数据源 哈
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/574850
问题三:dataworks这个是hardcode写死5分钟的吗?
dataworks中跑批基线的关键路径的甘特图的近期均值都为5分钟,反映不了节点的实际执行时长,这个是hardcode写死5分钟的吗?这些节点正常执行时长为10分钟,已经跑了好多天,但是看基线中的节点预测,还是5分钟,甘特图的近期均值也一直是5分钟,与实际不符?
参考回答:
点进任务A
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/574848
问题四:DataWorks任务依赖是什么?
DataWorks任务依赖是什么?
参考回答:
依赖关系https://help.aliyun.com/zh/dataworks/support/scheduling-dependencies?spm=a2c4g.11186623.0.i41
什么是调度依赖
调度依赖就是节点间的上下游依赖关系,在DataWorks中,上游任务节点运行完成且运行成功,下游任务节点才会开始运行。
说明
挂载依赖关系后,当前节点执行的必要条件之一为当前节点依赖的父节点需要执行成功。更多调度依赖内容,详情请参见调度依赖配置指引。
为什么要设置调度依赖
配置调度依赖后,可保障调度任务在运行时能取到正确的数据(当前节点依赖的上游节点成功运行后,DataWorks通过节点运行的状态识别到上游表的最新数据已产生,此时,下游节点再去取数)。避免下游节点取数据时,上游表数据还未正常产出,导致下游节点取数出现问题。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/574847
问题五:DataWorks透传变量的取值不会同步更新为new_node的output?
DataWorks通过节点组copy的参数节点,依赖会同步更新成new_node,但是透传变量的取值不会同步更新为new_node的output?
参考回答:
这是因为在DataWorks中,节点组copy的参数节点只是复制了节点的配置信息,而没有复制节点的运行时状态。因此,依赖关系会同步更新为new_node,但是透传变量的取值不会同步更新为new_node的output。
要解决这个问题,可以在新的节点上重新配置透传变量,确保它们引用了正确的输出。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/574846