数据质量最佳实践(1):批量配置质量规则,快速提升质量覆盖率

本文涉及的产品
RDS DuckDB + QuickBI 企业套餐,8核32GB + QuickBI 专业版
简介: 在Dataphin3.9版本中,Dataphin支持了批量创建质量规则,支持选择单个规则批量应用到多张质量监控表中,提升质量整体的配置效率和监控覆盖效果。

Dataphin数据治理系列:基于数据质量管理,支撑业务快速发展这篇文章中,我们详细的介绍了Dataphin数据质量模块的产品核心能力和产品使用演示。

在Dataphin3.9版本中,Dataphin支持了批量创建质量规则,支持选择单个规则批量应用到多张质量监控表中,提升质量整体的配置效率和监控覆盖效果。


一、场景介绍

场景1:需要对一批表的主键,批量配置非空、唯一等基础校验,提升整体的基础质量


场景2:需要对一批数据源,批量配置数据源连通性和表结构异动性监控,从而实时发现上游依赖的数据源和表的结构异常


场景3:需要对一批表的业务数据进行校验,如手机号格式有效性,总金额计算正确性等,及时发现业务数据的问题,提升数据质量


二、产品能力介绍

1、批量添加规则入口

1.1、可以在质量规则页面,批量添加质量规则

6e95d7e7-edcb-4923-a0d7-0fb6f3078977.png

1.2、也可以在规则模版管理页面,选择一个质量规则模版后,批量创建质量规则

6732f207-1ba4-4cf3-afd5-7dcf3d1e00f5.png


2、配置规则

2.1、配置质量规则基本信息

填写质量规则名称,规则强弱约束,选择质量模版

918e496e-70ec-4905-ba35-491450aea27a.png

选择质量监控范围,可以批量选择质量监控的表和字段

44cdfc38-88ae-4fba-997e-818b7f39ebc7.png

2.2、配置质量规则校验详情

如果是唯一性、完整性等基础规则,则无需配置规则详情;如果是有效性、一致性等复杂规则,需要配置详细的规则

这里可以统一配置校验规则和校验配置,后面如果单个规则有特例,可以单独进行修改

186481f9-c120-49dc-8f34-ca313bb8b1af.png

2.3、确认并添加质量规则

在当前这步会进行众多校验,如质量规则配置是否完整、是否有重名,是否有权限等;在这一步可以进行质量规则生成前的确认,并且可以编辑或删除单条规则

点击添加规则后,当前质量规则就会正式写入质量监控表,所以一定要确认无误后再进行添加操作。

ce2a05de-a875-4c9a-885e-f3588ea02a65.png

3、确认质量规则

新添加的质量规则,为了防止配置有误,建议先进行试跑,试跑后在正式开启;同时可以根据实际需要,给规则配置合适的调度,后续可以自动进行相关的质量校验

8206ff02-85e0-47c3-ab3b-c1eacee5d253.png


三、结语

以上就是关于本次批量配置质量规则的全部介绍。合理利用批量配置,能够快速建立起较完善的质量监控体系,提升核心表、业务表的质量监控覆盖率,从而更快更全的发现质量问题,提升数据质量。


更多历史内容详见:

Dataphin数据治理系列:基于数据质量管理,支撑业务快速发展

相关文章
|
数据采集 监控 安全
数据标准应用(三):数据标准落标监控-下篇
数据标准创建完成后,需要指定其关联的资产对象才能发挥应用价值。数据标准和资产对象的映射关系通过落标映射规则来管理,对象是否遵循了映射到的标准定义则通过落标监控规则来判断。本文为您介绍落标监控评估的基本概念和监控逻辑。Dataphin 支持通过定义标准属性和资产对象元数据字段之间的匹配关系,自动生成数据标准和资产对象的映射关联;针对已确定的映射关系,可结合数据标准的定义对关联的资产对象进行落标监控,包括元数据监控和内容质量监控。上篇,我们为大家介绍了数据标准监控的分类和配置方式,本期我们将为您介绍配置好的落标监控如何生效以及如何查看监控结果。
955 0
|
10月前
|
存储 数据采集 监控
数据标准码表的3种创建方式
码表(Lookup表)由可枚举数据组成,用于存储名称与编码的映射关系,适用于属性值约束和质量监控。本文介绍在Dataphin创建码表的三种方式:1) 引用内置模板库,如行政区划、度量单位等标准码表;2) 从已有维表逆向生成码表,实现数据资产复用;3) 自定义创建,支持在线编辑或本地导入。通过这些方式,用户可高效管理码表,提升数据标准化水平,并将其应用于数据标准和质量规则中,确保数据一致性和合规性。
519 3
|
10月前
|
人工智能 分布式计算 DataWorks
大数据& AI 产品月刊【2025年5月】
大数据& AI 产品技术月刊【2025年5月】,涵盖5月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
Dataphin免费试用指南
为您提供Dataphin快速上手操作指南,一起轻松构建数据
736 67
|
SQL 分布式计算 数据挖掘
《智能数据建设与治理 Dataphin》的最佳实践
本文介绍了使用Dataphin进行离线数仓搭建的实操教程,涵盖从创建数据板块到数据分析的完整流程。内容包括登录控制台、配置计算源、创建离线管道、生成SQL语句、运行任务及验证数据等步骤。通过详细的操作指南和截图,帮助用户快速上手Dataphin,体验其强大的数据治理能力。总结中提到教程存在部分陈旧问题,建议加深对产品逻辑的理解以更好地掌握工具使用。
633 1
|
SQL API 数据库
为API设置默认排序规则结果数据的正确性
Dataphin数据服务支持API调用时通过OrderByList自定义排序,确保数据返回符合业务需求。默认排序在API设计时至关重要,因为它影响用户体验、数据一致性及查询正确性。新版本 Dataphin 提供了排序优先级设置,允许在SQL脚本或OrderByList中指定排序,以适应不同场景。
452 0
|
数据采集 SQL 机器学习/深度学习
Dataphin数据治理系列:基于数据质量管理,支撑业务快速发展
数据质量是数据建设和管理中非常重要的一环。所有的数据应用,不论是用于支持业务开展的数据库,还是用于支持商业决策,或者用于机器学习和人工智能等高级应用,实现数据价值的前提是数据本身是高质量的,是可靠和可信的。
Dataphin数据治理系列:基于数据质量管理,支撑业务快速发展
|
数据处理 数据安全/隐私保护
智能推荐映射关系,加速数据标准落地进程
在V4.0版本中,Dataphin推出了智能推荐映射关系功能,用户可以基于内置特征或创建自定义特征,对数据内容进行表示,并将其与数据标准关联,进而智能映射映射关系,尤其在字段分布广泛和命名多变的情况下,可以提高映射的准确性和效率,加速了数据标准实施。
632 0
|
数据采集 监控 数据管理
数据质量最佳实践(5):利用质量分和排行榜提升企业数据质量【Dataphin V3.12】
在数据质量最佳实践(3):通过质量治理工作台,实现质量问题的跟踪和处理这篇文章中,我们详细的介绍了如何通过治理工作台,对系统出现的一个一个具体质量问题进行治理。 但是对于企业整体的数据质量情况,我们该如何评估呢?以及如何寻找当前企业的数据质量短板,并有针对性的进行改进和提升呢? 在Dataphin V3.12版本中,质量新增了质量分的能力,可以给数据表和质量规则配置打分权重和打分方式,从而获得全局、数据源、项目、负责人、数据表等维度的质量打分评估,帮助CDO判断企业整体的数据质量情况和数据质量问题的分布,从而有针对性的提升企业整体的数据质量水平。
1382 1
|
监控 供应链
Dataphin资产专题助力您打造精品数据
随着数据量的不断增长以及消费场景的多样化,当前单一的数据目录已经很难满足数据管理者和消费者对于资产管理和查找的需求。 种种困难和吐槽的背后,核心原因是缺少一套有效的资产管理及运营体系,数据难以与业务形成有效连接,数据资产价值无法发挥放大。基于此背景,Dataphin 全新推出资产专题功能,希望打造面向主题的精品数据资产建设和运营生态,提升数据生产者和消费者的工作效率。 通过专题,您可以灵活高效地组织、管理并运营精品数据资产,交流并沉淀业务知识,形成数据与业务更多更强的连接,让数据更好地驱动业务。
1143 1