数据质量风险监控主要针对数据的准确性、一致性和完整性。本教程使用DataWorks数据质量(DQC)功能,完成数仓各层次的数据质量监控。
前提条件
首先您需要完成教程搭建互联网在线运营分析平台,并保证您的DataWorks工作空间创建区域为华东2(上海),详情参见业务场景与开发流程。您需要完成数据资产定级,本教程中定义为A2,详情请参见数据资产定级。
说明
数据质量风险监控理论规范,请参见数据风险点监控。
背景信息
数据质量监控和数据资产等级对应,您可以根据以下因素细化您的监控配置,数据质量的详情请参见概述。
监控分类:数据量、主键、离散值、汇总值、业务规则和逻辑规则。
监控粒度:字段级别、表级别。
监控层次:ODS、CDM、ADS三层数据,其中ODS和DWD层主要偏重数据的完整性和一致性。DWS和ADS层数据量较小、逻辑复杂,偏重数据的准确性。
https://help.aliyun.com/zh/dataworks/use-cases/use-data-quality-to-monitor-data-quality?spm=a2c4g.11186623.0.i78
在DataWorks数据质量中,判断订阅是否成功的标准如下:
在DataWorks数据质量中,判断订阅是否成功主要依赖于接收到的告警信息。首先,您需要针对重要的表及其规则设置订阅。设置完毕后,系统会根据数据质量的校验结果进行告警,这样您就可以跟踪校验结果。订阅管理可以在数据质量界面找到,点击"订阅管理"后可以配置不同的订阅方式,如短信、邮件或是钉钉。
另外,试跑功能也十分有用,点击试跑后就可以立即运行刚刚设置的规则,以校验配置是否正确。如果一切配置都正确并且订阅的表数据质量校验出现异常,您将能够及时接收到质量校验异常并处理,保障数据的安全性、稳定性以及按时产出。
最后,您可以在左侧导航栏中,单击 "我的订阅" 查看和修改已订阅的任务。如果发现有任务由于质量规则校验失败退出,平台会阻止下游节点执行,防止脏数据影响范围进一步扩大。通过这些步骤,您可以确保订阅是否设置成功并进行必要的调整。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。