DataWorks比如我们要监控表的每日数据产出是否存在,需要用哪种模板呢,我用的是这个表行数,但是如我之前说的,日志里面他会先查询分区,分区不存在直接报错了,如果要有这个监控,需要我人为采用自定义sql吗?
为了监控表的每日数据产出是否存在,您可以使用DataWorks的数据质量功能。这个功能允许您按照数据表配置质量监控规则,以自动拦截问题任务并阻断脏数据向下游蔓延,从而保障产出的表数据符合预期。此外,您还可以通过配置智能基线来监控任务运行状态及资源使用情况。
关于您提到的分区不存在导致报错的问题,您可以在自定义SQL中先查询分区是否存在,然后再进行其他操作。这样可以避免因为分区不存在而导致的错误。如果您需要对周期实例、补数据实例、测试实例产出的表数据进行监控,也可以使用数据质量功能。建议每个表规则配置完毕后,都进行一次试跑操作,以验证表规则的适用性。
实际需求是监控分区是否存在吗 ,数据质量一般是在分区存在的前提下进行监控分区内数据是否符合预期https://help.aliyun.com/zh/dataworks/user-guide/check-node?spm=a2c4g.11186623.0.i2![image.png](https://ucc.alicdn.com/pic/developer-ecology/wyvq5mjsckydw_6fd7c0864c824960aaf386ca25174b25.png)
,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。