数据质量最佳实践(5):利用质量分和排行榜提升企业数据质量【Dataphin V3.12】

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
大数据开发治理平台 DataWorks,不限时长
简介: 在数据质量最佳实践(3):通过质量治理工作台,实现质量问题的跟踪和处理这篇文章中,我们详细的介绍了如何通过治理工作台,对系统出现的一个一个具体质量问题进行治理。但是对于企业整体的数据质量情况,我们该如何评估呢?以及如何寻找当前企业的数据质量短板,并有针对性的进行改进和提升呢?在Dataphin V3.12版本中,质量新增了质量分的能力,可以给数据表和质量规则配置打分权重和打分方式,从而获得全局、数据源、项目、负责人、数据表等维度的质量打分评估,帮助CDO判断企业整体的数据质量情况和数据质量问题的分布,从而有针对性的提升企业整体的数据质量水平。

数据质量最佳实践(3):通过质量治理工作台,实现质量问题的跟踪和处理这篇文章中,我们详细的介绍了如何通过治理工作台,对系统出现的一个一个具体质量问题进行治理。

但是对于企业整体的数据质量情况,我们该如何评估呢?以及如何寻找当前企业的数据质量短板,并有针对性的进行改进和提升呢?

在Dataphin V3.12版本中,质量新增了质量分的能力,可以给数据表和质量规则配置打分权重和打分方式,从而获得全局、数据源、项目、负责人、数据表等维度的质量打分评估,帮助CDO判断企业整体的数据质量情况和数据质量问题的分布,从而有针对性的提升企业整体的数据质量水平。

一、质量分大盘

在Dataphin质量模块,新增了质量评分的页面,支持从以下角度查看质量分并进行治理。

1、全局质量分评估和全局质量分走势

可以查看全局质量分当前的评分水平,是属于优秀、良好、及格或者不及格的那一个水平中。

可以查看全局质量分的历史走势,判断全局质量情况是在变好还是变差。

2、项目/数据源/个人质量评估

可以从 质量分高/低 * 质量监控资产数多/少 四个象限来查看质量分的分布,需要重点关注监控资产数多 且 质量分低的区域中的项目/数据源/负责人。

3、项目/数据源/个人质量分排行榜

支持从最佳项目(质量分从高到低)、待提升项目(质量分从低到高)两个视角,查看项目质量分的排行榜。

4、项目/数据源/个人质量详情

支持查看项目(数据源、个人)质量分的详情,可以查看同环比变化等进一步的信息。

5、项目/数据源/个人质量分趋势

支持查看项目(数据源、个人)的质量分走势,判断数据质量是在优化还是在恶化。

6、项目/数据源/个人质量分详情

支持查看项目(数据源、个人)下所有监控表的质量详情,包括当前质量分、质量分走势、质量负责人等信息。

二、质量打分规则配置

1、质量规则支持配置质量分权重和计分方式

1、质量分权重:用于表质量分的加权计算

2、计分方式:

质量校验状态:按照校验成功失败计分,校验成功为100分,校验失败为0分

数据合格比例:按照数据满足质量的比例积分,如手机号完整率是70%,质量分就是70分

2、数据表支持配置质量分权重

支持配置数据表的质量分权重,用于加权汇总生成全局、项目、数据源和负责人的质量分。

三、结语

以上就是关于本次质量分和质量排行榜的介绍,希望大家都能通过数据质量分的能力,更好的发现企业存在的数据质量问题,并有针对性的进行优化,从而提升企业整体的数据质量水平。

有关质量模块更多的介绍,详见:

Dataphin数据治理系列:基于数据质量管理,支撑业务快速发展

数据质量最佳实践(1):批量配置质量规则,快速提升质量覆盖率

数据质量最佳实践(2):通过归档和分析异常数据,快速定位质量问题

数据质量最佳实践(3):通过质量治理工作台,实现质量问题的跟踪和处理

数据质量最佳实践(4):支持范围和多级分区质量监控+按项目和个人管理数据质量【Dataphin V3.11】

相关文章
|
6天前
Dataphin功能Tips系列(10)-质量分计算口径
质量分大盘中的质量分计算口径是什么?
|
9月前
|
机器学习/深度学习 SQL 安全
隐私计算最佳实践(1):如何基于Dataphin隐私计算实现广告精准营销、用户促活
我们在享受数据便利的同时,数据隐私安全问题也成为了困扰。Dataphin隐私计算可以帮助企业在遵循法律法规的要求下,既充分发挥数据的价值,同时又不会影响用户的数据隐私安全。
323 0
隐私计算最佳实践(1):如何基于Dataphin隐私计算实现广告精准营销、用户促活
|
10月前
|
数据采集 监控 数据管理
数据质量最佳实践(4):支持范围和多级分区质量监控+按项目和个人管理数据质量【Dataphin V3.11】
在Dataphin数据治理系列:基于数据质量管理,支撑业务快速发展这篇文章中,我们详细的介绍了Dataphin数据质量模块的产品核心能力和产品使用演示。 在Dataphin V3.11版本中,质量新增了下面两个能力: 1、针对复杂的业务分区的校验能力 2、按照项目和个人管理数据质量
384 0
|
10月前
|
SQL API 开发者
数据服务最佳实践(2):利用API的多版本管理能力提升API管理效率【Dataphin V3.11】
在DataphinV3.11版本中,Dataphin支持了API开发多版本管理,对API变更过程进行记录和维护,便于追溯历史版本和保障下游调用不受影响。
486 0
|
10月前
|
SQL JSON 运维
数据服务最佳实践(1):支持注册外部API,打造企业数据服务中心【Dataphin V3.11】
在DataphinV3.11版本中,我们支持了注册外部API的能力,用于支持客户统一管理企业所有的API,打造企业的数据服务中心。API注册到Dataphin之后,可以由Dataphin统一纳管,和其他方式创建的API共用相同的服务市场、权限管控、运维监控能力。 同时我们支持了Json文本解析能力,支持编写类似正则表达式的语法定义注册API返回参数的取值路径,满足企业自定义取数的场景。
682 0
|
10月前
|
安全 数据处理 数据安全/隐私保护
数据安全最佳实践(7):通过多级安全分类构建业务安全体系【Dataphin V3.11】
在DataphinV3.11版本中,我们支持了构建多级安全分类体系的能力,用于支持客户定制和使用行业化的数据分类分级体系。 同时我们支持了识别特征的管理,可以使用内置的手机、姓名等识别特征;也在安全模型中内置了通用行业模型,便于客户直接应用,实现对大部分个人敏感数据和部分业务数据的识别和保护。
850 1
|
12月前
|
数据采集 监控 安全
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——(三)资产治理:标准、质量、安全、资源(1)
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——(三)资产治理:标准、质量、安全、资源(1)
155 0
|
12月前
|
监控 安全
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——(三)资产治理:标准、质量、安全、资源(2)
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——(三)资产治理:标准、质量、安全、资源(2)
288 0
|
12月前
|
数据采集 SQL 监控
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——(三)资产治理:标准、质量、安全、资源(5)
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——(三)资产治理:标准、质量、安全、资源(5)
234 0
|
12月前
|
数据可视化 数据管理 数据挖掘
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——三、Dataphin 最佳实践:数字化转型标杆案例(上)
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——三、Dataphin 最佳实践:数字化转型标杆案例(上)
121 0