在Dataphin数据治理系列:基于数据质量管理,支撑业务快速发展这篇文章中,我们详细的介绍了Dataphin数据质量模块的产品核心能力和产品使用演示。
在Dataphin V3.11版本中,质量新增了下面两个能力:
1、针对复杂的业务分区的校验能力
2、按照项目和个人管理数据质量
一、复杂分区质量监控
1、场景介绍
在多数按日期进行分区的场景下, 质量校验一般仅校验最新的分区,如ds=${yyyyMMdd}。但是在一些特殊业务场景下, 校验分区会有不同。
1、我只是浙江地区的负责人,只想看浙江地区的客户信息是否完整,则可以使用:province="浙江" and ds=${yyyyMMdd};
2、需要在每周日对本周的整体销售数据进行校验,而不是看单日的销售额,则可以使用:ds>${yyyyMMdd-7} and ds<=${yyyyMMdd};
2、产品能力
分区表达式支持非日期参数、多级条件等写法,支持更加复杂的业务场景的质量校验,可以满足以下场景:
1、校验日期是一个范围,而不是单个分区,如:ds>${yyyyMMdd-7} and ds<=${yyyyMMdd};
2、校验范围包含非日期分区,如地区:province="浙江"
3、校验分区是多级分区,如year=${yyyy} and month=${MM} and day=${dd}
配置复杂分区后,后续的质量校验将会按照所配置的分布进行校验,同时下游的质量报告、质量整改等环节,也会按照所配置的分区展示报告和生成治理项。
二、按照项目和个人管理数据质量
1、场景介绍
在实际的业务管控中,质量报告作为表的重要参考信息,一般是全局共享的。但是表的质量校验配置和校验详情,一般需要按照一定的权限范围进行管控,如按照项目或者个人,只有项目成员或者表的负责人可以配置监控和查看敏感数据的监控详情。
本期数据质量模块,支持按照全局、项目、个人三个视角进行质量规则的配置、校验详情的查看、整改工作的处理。
2、产品能力
1、质量校验记录支持按照不同业务视图查看校验详情。
1.1、全局视图:仅超级管理员和质量管理员可使用,可以查看系统中全部的质量规则的校验记录
1.2、项目视角:项目成员可以使用,可以查看本项目下的质量规则的校验记录。不选择具体项目时,默认展示已加入的所有项目的校验记录。
1.3、个人视角:支持查看自己是质量负责人的所有质量规则的校验记录。管理员还可以切换并查看不同成员负责的内容。
2、质量规则支持按照不同视角进行查看和规则配置。可以切换全局、项目、个人三个视角查看质量规则和管理质量规则。
3、质量治理工作台支持按照不同视角推进整改工作。可以切换全局和个人两个视角查看治理任务和进行数据治理。
三、结语
以上就是关于本次新增的质量支持复杂分区校验能力、支持按照项目和个人管理质量的介绍。有关质量模块更多的介绍,详见:
Dataphin数据治理系列:基于数据质量管理,支撑业务快速发展
数据质量最佳实践(1):批量配置质量规则,快速提升质量覆盖率