数据质量最佳实践(5):利用质量分和排行榜提升企业数据质量【Dataphin V3.12】

本文涉及的产品
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
实时计算 Flink 版,5000CU*H 3个月
实时数仓Hologres,5000CU*H 100GB 3个月
简介: 在数据质量最佳实践(3):通过质量治理工作台,实现质量问题的跟踪和处理这篇文章中,我们详细的介绍了如何通过治理工作台,对系统出现的一个一个具体质量问题进行治理。但是对于企业整体的数据质量情况,我们该如何评估呢?以及如何寻找当前企业的数据质量短板,并有针对性的进行改进和提升呢?在Dataphin V3.12版本中,质量新增了质量分的能力,可以给数据表和质量规则配置打分权重和打分方式,从而获得全局、数据源、项目、负责人、数据表等维度的质量打分评估,帮助CDO判断企业整体的数据质量情况和数据质量问题的分布,从而有针对性的提升企业整体的数据质量水平。

数据质量最佳实践(3):通过质量治理工作台,实现质量问题的跟踪和处理这篇文章中,我们详细的介绍了如何通过治理工作台,对系统出现的一个一个具体质量问题进行治理。

但是对于企业整体的数据质量情况,我们该如何评估呢?以及如何寻找当前企业的数据质量短板,并有针对性的进行改进和提升呢?

在Dataphin V3.12版本中,质量新增了质量分的能力,可以给数据表和质量规则配置打分权重和打分方式,从而获得全局、数据源、项目、负责人、数据表等维度的质量打分评估,帮助CDO判断企业整体的数据质量情况和数据质量问题的分布,从而有针对性的提升企业整体的数据质量水平。

一、质量分大盘

在Dataphin质量模块,新增了质量评分的页面,支持从以下角度查看质量分并进行治理。

1、全局质量分评估和全局质量分走势

可以查看全局质量分当前的评分水平,是属于优秀、良好、及格或者不及格的那一个水平中。

可以查看全局质量分的历史走势,判断全局质量情况是在变好还是变差。

2、项目/数据源/个人质量评估

可以从 质量分高/低 * 质量监控资产数多/少 四个象限来查看质量分的分布,需要重点关注监控资产数多 且 质量分低的区域中的项目/数据源/负责人。

3、项目/数据源/个人质量分排行榜

支持从最佳项目(质量分从高到低)、待提升项目(质量分从低到高)两个视角,查看项目质量分的排行榜。

4、项目/数据源/个人质量详情

支持查看项目(数据源、个人)质量分的详情,可以查看同环比变化等进一步的信息。

5、项目/数据源/个人质量分趋势

支持查看项目(数据源、个人)的质量分走势,判断数据质量是在优化还是在恶化。

6、项目/数据源/个人质量分详情

支持查看项目(数据源、个人)下所有监控表的质量详情,包括当前质量分、质量分走势、质量负责人等信息。

二、质量打分规则配置

1、质量规则支持配置质量分权重和计分方式

1、质量分权重:用于表质量分的加权计算

2、计分方式:

质量校验状态:按照校验成功失败计分,校验成功为100分,校验失败为0分

数据合格比例:按照数据满足质量的比例积分,如手机号完整率是70%,质量分就是70分

2、数据表支持配置质量分权重

支持配置数据表的质量分权重,用于加权汇总生成全局、项目、数据源和负责人的质量分。

三、结语

以上就是关于本次质量分和质量排行榜的介绍,希望大家都能通过数据质量分的能力,更好的发现企业存在的数据质量问题,并有针对性的进行优化,从而提升企业整体的数据质量水平。

有关质量模块更多的介绍,详见:

Dataphin数据治理系列:基于数据质量管理,支撑业务快速发展

数据质量最佳实践(1):批量配置质量规则,快速提升质量覆盖率

数据质量最佳实践(2):通过归档和分析异常数据,快速定位质量问题

数据质量最佳实践(3):通过质量治理工作台,实现质量问题的跟踪和处理

数据质量最佳实践(4):支持范围和多级分区质量监控+按项目和个人管理数据质量【Dataphin V3.11】

相关文章
|
6天前
|
数据采集 SQL 人工智能
告别数据混乱:瓴羊Dataphin 通过AI+标准让企业数据“活”起来 | 【瓴羊数据荟】数据MeetUp第四期
AI技术的快速发展促使企业重新审视数据治理的重要性。当前,企业在数据治理中常因指标口径不统一、数据血缘不透明等问题陷入困境。阿里云智能集团瓴羊高级技术专家周鑫提出,以数据标准为核心贯穿数据全生命周期,可有效解决治理难题。
63 15
告别数据混乱:瓴羊Dataphin 通过AI+标准让企业数据“活”起来 | 【瓴羊数据荟】数据MeetUp第四期
|
3天前
|
SQL 分布式计算 数据挖掘
《智能数据建设与治理 Dataphin》的最佳实践
本文介绍了使用Dataphin进行离线数仓搭建的实操教程,涵盖从创建数据板块到数据分析的完整流程。内容包括登录控制台、配置计算源、创建离线管道、生成SQL语句、运行任务及验证数据等步骤。通过详细的操作指南和截图,帮助用户快速上手Dataphin,体验其强大的数据治理能力。总结中提到教程存在部分陈旧问题,建议加深对产品逻辑的理解以更好地掌握工具使用。
21 1
|
3月前
|
数据采集 安全 大数据
“点数成金”时代,如何应用全域数据资产治理释放企业数据价值?【瓴羊Dataphin在信通院2024数据资产管理大会】
在“点数成金”时代,企业数据成为宝贵资产。12月18-19日,信通院“2024数据资产管理大会”在京举办,瓴羊政企金融事业部总监徐宁分享了Dataphin在数据治理领域的创新方法论与实践经验,强调数据资产双循环和元数据管理的重要性。瓴羊副总裁王赛获颁数据资产管理专家证书。
127 16
|
10月前
|
监控
Dataphin功能Tips系列(10)-质量分计算口径
质量分大盘中的质量分计算口径是什么?
126 0
Dataphin功能Tips系列(10)-质量分计算口径
|
数据建模 供应链 定位技术
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——2. 规划:高屋建瓴,总览企业数据体系
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——2. 规划:高屋建瓴,总览企业数据体系
268 0
|
机器学习/深度学习 SQL 安全
隐私计算最佳实践(1):如何基于Dataphin隐私计算实现广告精准营销、用户促活
我们在享受数据便利的同时,数据隐私安全问题也成为了困扰。Dataphin隐私计算可以帮助企业在遵循法律法规的要求下,既充分发挥数据的价值,同时又不会影响用户的数据隐私安全。
407 0
隐私计算最佳实践(1):如何基于Dataphin隐私计算实现广告精准营销、用户促活
|
数据采集 监控 数据管理
数据质量最佳实践(4):支持范围和多级分区质量监控+按项目和个人管理数据质量【Dataphin V3.11】
在Dataphin数据治理系列:基于数据质量管理,支撑业务快速发展这篇文章中,我们详细的介绍了Dataphin数据质量模块的产品核心能力和产品使用演示。 在Dataphin V3.11版本中,质量新增了下面两个能力: 1、针对复杂的业务分区的校验能力 2、按照项目和个人管理数据质量
505 1
|
安全 数据处理 数据安全/隐私保护
数据安全最佳实践(7):通过多级安全分类构建业务安全体系【Dataphin V3.11】
在DataphinV3.11版本中,我们支持了构建多级安全分类体系的能力,用于支持客户定制和使用行业化的数据分类分级体系。 同时我们支持了识别特征的管理,可以使用内置的手机、姓名等识别特征;也在安全模型中内置了通用行业模型,便于客户直接应用,实现对大部分个人敏感数据和部分业务数据的识别和保护。
1015 1
|
SQL API 开发者
数据服务最佳实践(2):利用API的多版本管理能力提升API管理效率【Dataphin V3.11】
在DataphinV3.11版本中,Dataphin支持了API开发多版本管理,对API变更过程进行记录和维护,便于追溯历史版本和保障下游调用不受影响。
632 0
|
SQL JSON 运维
数据服务最佳实践(1):支持注册外部API,打造企业数据服务中心【Dataphin V3.11】
在DataphinV3.11版本中,我们支持了注册外部API的能力,用于支持客户统一管理企业所有的API,打造企业的数据服务中心。API注册到Dataphin之后,可以由Dataphin统一纳管,和其他方式创建的API共用相同的服务市场、权限管控、运维监控能力。 同时我们支持了Json文本解析能力,支持编写类似正则表达式的语法定义注册API返回参数的取值路径,满足企业自定义取数的场景。
825 0