数据质量最佳实践(1):批量配置质量规则,快速提升质量覆盖率

本文涉及的产品
大数据开发治理平台 DataWorks,不限时长
实时数仓Hologres,5000CU*H 100GB 3个月
实时计算 Flink 版,5000CU*H 3个月
简介: 在Dataphin3.9版本中,Dataphin支持了批量创建质量规则,支持选择单个规则批量应用到多张质量监控表中,提升质量整体的配置效率和监控覆盖效果。

Dataphin数据治理系列:基于数据质量管理,支撑业务快速发展这篇文章中,我们详细的介绍了Dataphin数据质量模块的产品核心能力和产品使用演示。

在Dataphin3.9版本中,Dataphin支持了批量创建质量规则,支持选择单个规则批量应用到多张质量监控表中,提升质量整体的配置效率和监控覆盖效果。


一、场景介绍

场景1:需要对一批表的主键,批量配置非空、唯一等基础校验,提升整体的基础质量


场景2:需要对一批数据源,批量配置数据源连通性和表结构异动性监控,从而实时发现上游依赖的数据源和表的结构异常


场景3:需要对一批表的业务数据进行校验,如手机号格式有效性,总金额计算正确性等,及时发现业务数据的问题,提升数据质量


二、产品能力介绍

1、批量添加规则入口

1.1、可以在质量规则页面,批量添加质量规则

6e95d7e7-edcb-4923-a0d7-0fb6f3078977.png

1.2、也可以在规则模版管理页面,选择一个质量规则模版后,批量创建质量规则

6732f207-1ba4-4cf3-afd5-7dcf3d1e00f5.png


2、配置规则

2.1、配置质量规则基本信息

填写质量规则名称,规则强弱约束,选择质量模版

918e496e-70ec-4905-ba35-491450aea27a.png

选择质量监控范围,可以批量选择质量监控的表和字段

44cdfc38-88ae-4fba-997e-818b7f39ebc7.png

2.2、配置质量规则校验详情

如果是唯一性、完整性等基础规则,则无需配置规则详情;如果是有效性、一致性等复杂规则,需要配置详细的规则

这里可以统一配置校验规则和校验配置,后面如果单个规则有特例,可以单独进行修改

186481f9-c120-49dc-8f34-ca313bb8b1af.png

2.3、确认并添加质量规则

在当前这步会进行众多校验,如质量规则配置是否完整、是否有重名,是否有权限等;在这一步可以进行质量规则生成前的确认,并且可以编辑或删除单条规则

点击添加规则后,当前质量规则就会正式写入质量监控表,所以一定要确认无误后再进行添加操作。

ce2a05de-a875-4c9a-885e-f3588ea02a65.png

3、确认质量规则

新添加的质量规则,为了防止配置有误,建议先进行试跑,试跑后在正式开启;同时可以根据实际需要,给规则配置合适的调度,后续可以自动进行相关的质量校验

8206ff02-85e0-47c3-ab3b-c1eacee5d253.png


三、结语

以上就是关于本次批量配置质量规则的全部介绍。合理利用批量配置,能够快速建立起较完善的质量监控体系,提升核心表、业务表的质量监控覆盖率,从而更快更全的发现质量问题,提升数据质量。


更多历史内容详见:

Dataphin数据治理系列:基于数据质量管理,支撑业务快速发展

相关文章
|
2月前
|
敏捷开发 监控 安全
你的项目质量度量指标有哪些?
你的项目质量度量指标有哪些?
228 0
|
10月前
|
存储 数据采集 数据挖掘
质量追溯系统方案
质量追溯系统方案
131 1
|
测试技术 Docker 容器
自动化质量评估维度
上篇文章讲了下关于终端自动化的一个探索《终端自动化测试探索之路》,今天来聊聊关于自动化质量评估的维度,包括UI和接口。
669 0
|
2月前
|
安全 测试技术 网络架构
【专栏】编写网络设备割接方案的七个步骤,包括明确割接目标、收集信息、制定计划、设计流程、风险评估、准备测试环境和编写文档。
【4月更文挑战第28天】本文介绍了编写网络设备割接方案的七个步骤,包括明确割接目标、收集信息、制定计划、设计流程、风险评估、准备测试环境和编写文档。通过实际案例分析,展示了如何成功完成割接,确保业务连续性和稳定性。遵循这些步骤,可提高割接成功率,为公司的网络性能和安全提供保障。
|
9天前
|
监控 安全 测试技术
探索软件测试的多维度策略
【6月更文挑战第21天】在软件开发生命周期中,测试环节是确保产品质量的关键步骤。本文将介绍一种多维度的软件测试策略,旨在通过不同角度和层面的测试方法来提高软件的可靠性和性能。我们将探讨如何结合静态代码分析、动态测试、自动化测试以及探索性测试等多种测试手段,构建一个全面的测试体系。此外,文章还将讨论如何根据不同的开发阶段和产品特性选择合适的测试工具和技术,以及如何有效地整合这些测试活动以提升测试效率和覆盖率。
|
2月前
|
监控 测试技术 持续交付
提升软件测试效率与质量的自动化策略
【5月更文挑战第25天】 在快速迭代的软件发展环境中,传统的手动测试方法已难以满足高效率和高质量的双重要求。本文将探讨一系列创新的自动化测试策略,旨在通过减少重复性工作、提高测试覆盖率以及实现持续集成来优化软件测试流程。文中不仅分析了自动化测试的优势,还详细讨论了实施过程中面临的挑战,并提出了相应的解决方案。通过案例研究和最佳实践分享,本文为读者提供了一套实用的自动化测试框架设计思路和实施步骤。
|
2月前
|
机器学习/深度学习 人工智能 算法
提升软件测试效率与质量的策略分析
在快速发展的信息技术时代,软件产品已成为日常生活和工作的核心组成部分。随着软件系统的复杂度日益增加,确保其功能性、稳定性及安全性的软件测试工作变得尤为重要。本文针对如何提升软件测试的效率与质量进行了深入探讨,分析了当前软件测试面临的挑战,并提出了一系列创新策略。这些策略包括采用自动化测试工具、实施持续集成和持续部署(CI/CD)、利用人工智能进行测试用例生成以及强化测试团队的技能培训等。通过综合运用这些策略,可以显著提高软件测试的质量和效率,减少人工成本,同时加速产品的上市时间。
|
2月前
|
测试技术
有了测试标准流程后缺陷就不会遗漏到线上吗?
有了测试标准流程后缺陷就不会遗漏到线上吗?
|
10月前
|
机器学习/深度学习 算法
评估系统或算法质量的重要指标
准确性(Accuracy):衡量系统或算法输出结果与真实结果之间的接近程度。通常使用分类准确率、回归误差等指标来评估。 精确率(Precision)和召回率(Recall):主要用于评估分类模型的性能。精确率衡量预测为正例的样本中实际为正例的比例,召回率衡量实际为正例的样本中被正确预测为正例的比例。
201 4
|
数据采集 存储 监控
数据质量最佳实践(2):通过归档和分析异常数据,快速定位质量问题
在Dataphin数据治理系列:基于数据质量管理,支撑业务快速发展这篇文章中,我们详细的介绍了Dataphin数据质量模块的产品核心能力和产品使用演示。 在实际的质量管理过程中,经常需要通过查看异常数据,来确定质量问题产生的原因,从而针对性的修复质量问题,下面我们一起来看下Dataphin质量模块的异常数据归档能力。
454 0
数据质量最佳实践(2):通过归档和分析异常数据,快速定位质量问题

热门文章

最新文章