开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks比如我们要监控表的每日数据产出是否存在,需要用哪种模板呢?

DataWorks比如我们要监控表的每日数据产出是否存在,需要用哪种模板呢,我用的是这个表行数,但是如我之前说的,日志里面他会先查询分区,分区不存在直接报错了,如果要有这个监控,需要我人为采用自定义sql吗?image.png

展开
收起
cuicuicuic 2023-12-10 18:52:13 23 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    为了监控表的每日数据产出是否存在,您可以使用DataWorks的数据质量功能。这个功能允许您按照数据表配置质量监控规则,以自动拦截问题任务并阻断脏数据向下游蔓延,从而保障产出的表数据符合预期。此外,您还可以通过配置智能基线来监控任务运行状态及资源使用情况。

    关于您提到的分区不存在导致报错的问题,您可以在自定义SQL中先查询分区是否存在,然后再进行其他操作。这样可以避免因为分区不存在而导致的错误。如果您需要对周期实例、补数据实例、测试实例产出的表数据进行监控,也可以使用数据质量功能。建议每个表规则配置完毕后,都进行一次试跑操作,以验证表规则的适用性。

    2023-12-11 12:53:00
    赞同 展开评论 打赏
  • 实际需求是监控分区是否存在吗 ,数据质量一般是在分区存在的前提下进行监控分区内数据是否符合预期https://help.aliyun.com/zh/dataworks/user-guide/check-node?spm=a2c4g.11186623.0.i2![image.png](https://ucc.alicdn.com/pic/developer-ecology/wyvq5mjsckydw_6fd7c0864c824960aaf386ca25174b25.png)
    ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-12-11 09:42:07
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks高效数据分析最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多