在数据质量最佳实践(3):通过质量治理工作台,实现质量问题的跟踪和处理这篇文章中,我们详细的介绍了如何通过治理工作台,对系统出现的一个一个具体质量问题进行治理。
但是对于企业整体的数据质量情况,我们该如何评估呢?以及如何寻找当前企业的数据质量短板,并有针对性的进行改进和提升呢?
在Dataphin V3.12版本中,质量新增了质量分的能力,可以给数据表和质量规则配置打分权重和打分方式,从而获得全局、数据源、项目、负责人、数据表等维度的质量打分评估,帮助CDO判断企业整体的数据质量情况和数据质量问题的分布,从而有针对性的提升企业整体的数据质量水平。
一、质量分大盘
在Dataphin质量模块,新增了质量评分的页面,支持从以下角度查看质量分并进行治理。
1、全局质量分评估和全局质量分走势
可以查看全局质量分当前的评分水平,是属于优秀、良好、及格或者不及格的那一个水平中。
可以查看全局质量分的历史走势,判断全局质量情况是在变好还是变差。
2、项目/数据源/个人质量评估
可以从 质量分高/低 * 质量监控资产数多/少 四个象限来查看质量分的分布,需要重点关注监控资产数多 且 质量分低的区域中的项目/数据源/负责人。
3、项目/数据源/个人质量分排行榜
支持从最佳项目(质量分从高到低)、待提升项目(质量分从低到高)两个视角,查看项目质量分的排行榜。
4、项目/数据源/个人质量详情
支持查看项目(数据源、个人)质量分的详情,可以查看同环比变化等进一步的信息。
5、项目/数据源/个人质量分趋势
支持查看项目(数据源、个人)的质量分走势,判断数据质量是在优化还是在恶化。
6、项目/数据源/个人质量分详情
支持查看项目(数据源、个人)下所有监控表的质量详情,包括当前质量分、质量分走势、质量负责人等信息。
二、质量打分规则配置
1、质量规则支持配置质量分权重和计分方式
1、质量分权重:用于表质量分的加权计算
2、计分方式:
质量校验状态:按照校验成功失败计分,校验成功为100分,校验失败为0分
数据合格比例:按照数据满足质量的比例积分,如手机号完整率是70%,质量分就是70分
2、数据表支持配置质量分权重
支持配置数据表的质量分权重,用于加权汇总生成全局、项目、数据源和负责人的质量分。
三、结语
以上就是关于本次质量分和质量排行榜的介绍,希望大家都能通过数据质量分的能力,更好的发现企业存在的数据质量问题,并有针对性的进行优化,从而提升企业整体的数据质量水平。
有关质量模块更多的介绍,详见:
Dataphin数据治理系列:基于数据质量管理,支撑业务快速发展
数据质量最佳实践(1):批量配置质量规则,快速提升质量覆盖率
数据质量最佳实践(2):通过归档和分析异常数据,快速定位质量问题