在Dataphin数据治理系列:基于数据质量管理,支撑业务快速发展这篇文章中,我们详细的介绍了Dataphin数据质量模块的产品核心能力和产品使用演示。
在Dataphin3.9版本中,Dataphin支持了批量创建质量规则,支持选择单个规则批量应用到多张质量监控表中,提升质量整体的配置效率和监控覆盖效果。
一、场景介绍
场景1:需要对一批表的主键,批量配置非空、唯一等基础校验,提升整体的基础质量
场景2:需要对一批数据源,批量配置数据源连通性和表结构异动性监控,从而实时发现上游依赖的数据源和表的结构异常
场景3:需要对一批表的业务数据进行校验,如手机号格式有效性,总金额计算正确性等,及时发现业务数据的问题,提升数据质量
二、产品能力介绍
1、批量添加规则入口
1.1、可以在质量规则页面,批量添加质量规则
1.2、也可以在规则模版管理页面,选择一个质量规则模版后,批量创建质量规则
2、配置规则
2.1、配置质量规则基本信息
填写质量规则名称,规则强弱约束,选择质量模版
选择质量监控范围,可以批量选择质量监控的表和字段
2.2、配置质量规则校验详情
如果是唯一性、完整性等基础规则,则无需配置规则详情;如果是有效性、一致性等复杂规则,需要配置详细的规则
这里可以统一配置校验规则和校验配置,后面如果单个规则有特例,可以单独进行修改
2.3、确认并添加质量规则
在当前这步会进行众多校验,如质量规则配置是否完整、是否有重名,是否有权限等;在这一步可以进行质量规则生成前的确认,并且可以编辑或删除单条规则
点击添加规则后,当前质量规则就会正式写入质量监控表,所以一定要确认无误后再进行添加操作。
3、确认质量规则
新添加的质量规则,为了防止配置有误,建议先进行试跑,试跑后在正式开启;同时可以根据实际需要,给规则配置合适的调度,后续可以自动进行相关的质量校验
三、结语
以上就是关于本次批量配置质量规则的全部介绍。合理利用批量配置,能够快速建立起较完善的质量监控体系,提升核心表、业务表的质量监控覆盖率,从而更快更全的发现质量问题,提升数据质量。
更多历史内容详见: