数据质量规则生效逻辑说明
配置规则:按表(单表)
配置规则:按模板(批量)
配置数据质量规则去噪
配置示例:MaxCompute
在阿里云的DataWorks中,数据质量中的规则列表中的规则可以通过以下步骤进行关联调度:
进入数据质量界面:首先,你需要登录到DataWorks的数据质量界面。
选择规则列表:在数据质量界面中,你可以选择需要进行调度的规则,然后点击"调度"按钮,选择需要配置的调度参数。
编辑调度参数:在编辑调度参数的界面中,你可以设置调度参数的取值。这些取值可以是静态的,也可以是动态的,例如,你可以使用${now()}函数来获取当前的时间。
发布调度:设置好调度参数后,你需要点击"发布"按钮,将调度参数发布到生产环境中。
测试调度:在发布调度后,你可以点击"测试"按钮,测试调度是否正确。如果测试失败,你需要检查调度参数的设置是否正确。
查看调度结果:调度成功后,你可以点击"调度日志"按钮,查看调度的结果。如果调度结果不符合预期,你可能需要调整调度参数,然后重新进行调度。
【数据质量DQC】
数据质量以数据集(DataSet)为监控对象。目前,数据质量支持EMR(E-MapReduce)、Hologres、AnalyticDB for PostgreSQL、MaxCompute数据表和DataHub实时数据流的监控。当离线数据发生变化时,数据质量会对数据进行校验,并阻塞生产链路,以避免问题数据污染扩散。同时,数据质量支持管理历史校验结果,您可以对数据质量进行分析和定级。
【DQC配置】
您可以在“监控规则”中通过匹配表分区表达式,给表添加“模板规则”或“自定义规则”校验数据产出是否符合预期,通过“规则强弱”,“异常程度”决定规则是否阻塞下游任务执行,避免下游数据受到污染。
规则创建完成后,您可以通过“试跑”来测试表规则是否符合预期。
规则创建完成后,您需要“关联调度”,为规则关联调度节点后,调度节点执行便会触发数据质量监控规则校验。
如果您需要第一时间知道数据质量校验异常情况,您可以点击“订阅管理”,选择手机,邮箱,或者钉钉告警,第一时间接受报警信息,之后的规则触发情况,您可以在“我的订阅”中看到。
如果您需要查看某张表或者某个节点历史数据质量校验情况,您可以选择“任务查询”面板进行查询。,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
在DataWorks数据质量中,规则列表中的规则是相互关联的。一个数据质量监控任务通常会包含多个监控规则,这些规则之间可能存在关联关系,例如某个规则的结果会影响另一个规则的执行。
当一个规则的结果为真时,会触发关联规则的执行。例如,如果一个规则检查数据的完整性,如果数据存在缺失值,那么这个规则的结果为真,会触发另一个规则执行,检查数据的准确性。
在DataWorks中,可以通过配置规则之间的关联关系,实现多个规则的联动执行。例如,可以通过设置规则的触发条件和执行顺序,实现多个规则的顺序执行。同时,也可以通过设置规则的同步和异步执行,实现多个规则的并发执行。
通过配置规则之间的关联关系,可以实现更灵活和高效的数据质量监控。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。