问题一:DataWorks有多个任务往一张表写数据,每个任务对应一个二级分区,哪个任务写了数据?
DataWorks有多个任务往一张表写数据,每个任务对应一个二级分区,哪个任务写了数据,就触发那个分区的校验,并且二级分区的值就是像我刚才表达的是字符。现在是我在自定义sql能拿到一级分区的值$yyyymmdd-1],但是二级分区想要动态的引用到触发校验的那任务,举个例子就是:比如一个任务A写 dt=20240612/source_table=abc.efg 分区,另一个任务B写dt=20240612/source_table=iii.efg分区, 可不可以实现当任务A运行完了之后,触发DQC去校验dt=20240612/source_table=abc.efg 这一个分区,而且source_table是不固定的,在自定义sq里怎么定义参数才能拿到触发的任务A的二级分区 abc.efg?
参考回答:
不过目前这个场景还没有办法实现,即使使用自定义sql 也没有办法判断source_table啥时候等于abc.efg
关于本问题的更多回答可点击原文查看:
https://developer.aliyun.com/ask/653840
问题二:DataWorks怎么看某个空间下 提交运行的SQ L量?
DataWorks怎么看某个空间下 提交运行的SQ L量?
参考回答:
dataworks查看odps sql节点列表 可以通过openapi
关于本问题的更多回答可点击原文查看:
https://developer.aliyun.com/ask/653839
问题三:DataWorks这个重跑上下游不是很好操作啊?
DataWorks这个重跑上下游不是很好操作啊?
参考回答:
可以试一下界面选择的方式
关于本问题的更多回答可点击原文查看:
https://developer.aliyun.com/ask/653837
问题四:DataWorks数据质量功能里需要怎么配置分区表达式来实现对每个二级分区进行DQC校验呢?
DataWorks数据质量功能里,对表配置DQC监控,如果表的一级分区是yyyymmdd,二级分区是不确定的字符,要求匹配全字符,需要怎么配置分区表达式来实现对每个二级分区进行DQC校验呢,规则里面自定义sql的话,一级分区用参数 dt='$[yyyymmdd-1]' 可以引用到业务日期,但是二级分区怎么写才能引用到参数呢?
参考回答:
二级分区也可以配置 dt=$[yyyymmdd]/hh=$[hh24miss-1/24] 类似这样 但是还不支持正则表达式哈
1级分区名=分区值/2级分区名=分区值/N级分区名=分区值,您可以试一下 二级分区先配置=abc,然后在自定义sql里 指定where 条件来确定实际要校验的分区范围 可以先尝试一下
关于本问题的更多回答可点击原文查看:
https://developer.aliyun.com/ask/653836
问题五:DataWorks能找到历史的查询任务吗?
DataWorks能找到历史的查询任务吗?
参考回答:
每天记录一下 租户级别的information schema,里面有执行的sql,可以查看对应的日志 https://help.aliyun.com/zh/dataworks/user-guide/view-auto-triggered-node-instances?spm=a2c4g.11186623.0.i3
关于本问题的更多回答可点击原文查看: