问题一:DataWorks基本信息里面显示是过期实例,为啥生成的还是过期实例呢?
DataWorks基本信息里面显示是过期实例,但是我是在设置的任务调度时间之前提交的,为啥生成的还是过期实例呢?
参考回答:
定时时间>发布时刻+10分钟,可以正常运行 有大概10分钟的buffer时间,过期实例查询集成日志报错我们也优化下
关于本问题的更多回答可点击原文查看:
https://developer.aliyun.com/ask/593041
问题二:请问我用DataWorks数据集成每天定时全量同步我的 user 表到数仓,同步一次大概需要多久?
请问我用DataWorks数据集成每天定时全量同步我的 user 表到数仓,有两个问题
- 我用户表预计大概会有 2000W 的数据,同步一次大概需要多久
- 同步期间会对我数据库的性能有影响么?
参考回答:
1)同步速度受网络、数据库读写性能、插件性能、资源并发数等影响 ,建议您先使用2并发配置跑少量数据 日志中有对应的同步速度 然后在预估下大致的时间
2)速度快可能会导致数据库压力 离线任务可以配置限流
关于本问题的更多回答可点击原文查看:
https://developer.aliyun.com/ask/593038
问题三:DataWorks配置好任务调度时间后,提交了,请问是还需要配置哪里的信息呢?
DataWorks配置好任务调度时间后,提交了,但是到了时间任务没有运行,请问是还需要配置哪里的信息呢?
参考回答:
【实例状态图】
【任务未运行:实例状态灰色】
如果在数据地图发现当天数据未产出,或者在运维中心周期实例看到节点状态为灰色,说明任务未运行。
【解决方案】
点开任务DAG图,选中实例右键查看父节点,看看上游节点任务状态。
【父节点状态】
实例状态:紫色
说明该实例被冻结了,任务将不会运行,并且阻塞下游,可以在实例详情,操作记录中查看相关记录。
实例状态:黄色
等待任务定时时间,点开右下角查看实例详情,看任务定时时间为什么时候。
等待调度资源(日志中会显示),若出现此类等待说明当前项目下正在运行的任务达到上限,若有需求,可使用独享调度资源。
实例状态:灰色
请继续右键灰色实例,查看上游父节点,看其上游状态。
关于本问题的更多回答可点击原文查看:
https://developer.aliyun.com/ask/593037
问题四:DataWorks不支持GROUP_CONCAT方法吗?
DataWorks不支持GROUP_CONCAT方法吗?
参考回答:
GROUP_CONCAT为MySQL提供的聚合函数,用于在GROUP BY产生的每一个分组中将多个行的列值连接成一个单独的字符串,在需要将多个记录合并为一条记录时使用。如果您在MaxCompute中需要类似功能,可使用WM_CONCAT函数实现GROUP_CONCAT函数的能力。
但需要注意的是WM_CONCAT函数并不等价于GROUP_CONCAT函数,二者的能力支持情况如下。
——参考来源于阿里云官方文档。
关于本问题的更多回答可点击原文查看:
https://developer.aliyun.com/ask/593033
问题五:DataWorks这个语法现在是不支持了吗?
DataWorks这个语法现在是不支持了吗?
参考回答:
新建一个odps sql节点, 目前看截图是在shell节点内部 https://help.aliyun.com/zh/dataworks/user-guide/node-development/?spm=a2c4g.11186623.0.0.3359667e262SWg
关于本问题的更多回答可点击原文查看: