数据质量最佳实践(3):通过质量治理工作台,实现质量问题的跟踪和处理

简介: 在Dataphin数据治理系列:基于数据质量管理,支撑业务快速发展这篇文章中,我们详细的介绍了Dataphin数据质量模块的产品核心能力和产品使用演示。在实际的质量管理中,做完了事前的质量规则的配置和事中的质量规则校验后,会产生大量的质量问题待治理项,这时候需要有一个完整的工作流程去管理质量问题,实现从质量规则配置,到质量问题发现,到质量治理修复问题,最终提升数据质量的完整PDCA流程。

Dataphin数据治理系列:基于数据质量管理,支撑业务快速发展这篇文章中,我们详细的介绍了Dataphin数据质量模块的产品核心能力和产品使用演示。

在实际的质量管理中,做完了事前的质量规则的配置和事中的质量规则校验后,会产生大量的质量问题待治理项,这时候需要有一个完整的工作流程去管理质量问题,实现从质量规则配置,到质量问题发现,到质量治理修复问题,最终提升数据质量的完整PDCA流程。


一、场景介绍

场景1某电商公司通过手机号进行会员广告投放,历史处理的手机号都是11位,突然有一天发现了一个新的待治理项,通过查看校验详情,发现是有一个新的采集渠道采集上来的手机号是带了国际电话区号(+86)的未处理数据,处理异常数据后,点击重新校验,校验通过即可完成该治理项。


场景2:某财务部门,发现月度财务账单核对后存在差异。通过质量校验发现,有上下游相关的5张表都出现了数据口径不一致的问题,这是可以将5张表放入一个 财务数据治理流程 中,通过流程统一跟踪和治理出现的质量的问题,治理后由财务部门进行最终的数据验收。


二、产品能力介绍

1、治理工作台

质量校验时发现的质量问题,会出现在治理工作台中,等待负责人处理。

通过治理工作台,可以通过以下治理操作:发起治理、忽略本次异常、添加白名单、重新校验、通知负责人进行具体的问题治理;或者查看问题的历史操作记录,了解历史问题和治理方案。

image.png


1.1、查看校验详情

点击校验详情,可以查看本次质量异常的校验详情信息,包括检验对象、校验时间、关键指标,用于初步判断问题原因,更详细的问题定位需要结合异常数据和数据任务等共同判断。

image (1).png


1.2、发起治理

针对需要按照完整的治理流程(先治理后验收)处理的问题,和多个同一个领域可以一起治理的问题,可以发起治理流程,在治理流程中对这些问题进行统一的处理。

image (2).png


1.3、忽略异常

针对偶尔出现的异常问题(如网络波动),如果已经修复,则可以直接忽略本次异常。image (3).png


1.4、加入白名单

对于不是核心需要治理的对象,比如临时表,可以加入白名单,有效期内出现的后续质量问题不会再出现工作台中。

image (4).png


1.5、重新校验

针对偶尔出现的异常,但是目前已经恢复的数据;或者已经在上游治理过的数据,可以执行一次重新校验,对最新的数据进行一次校验,看是否符合质量规则校验条件。

image (5).png


1.6、通知责任人

对于需要负责人重点关注的问题,或者长期未处理的问题,可以直接通知该问题的负责人加急处理。

image (6).png


1.7、查看操作记录

操作记录中保留了治理问题从出现开始的所有操作记录,包括问题的出现、忽略、治理的操作和原因等,可以通过操作记录详细了解一个治理项的历史情况。

image (7).png


2、治理流程

在治理工作台中发起治理后,可以在治理流程列表中看到和自己相关的治理流程,可以在治理流程中对质量问题进行进一步处理

image (8).png

在治理流程中,可以对质量问题进行忽略、重新校验等治理操作,或者到研发模块,修改数据产出流程。完成治理后,治理人可以发起验收,提交整个治理流程到验收人处理。image (9).png

验收人可以查看治理流程中每个问题的状态,可以根据问题的治理状态和发起治理时的说明,决定是否通过验收。

image (10).png

验收人验收通过之后,当前治理流程变为验收通过状态,本次治理流程正式结束。

image (11).png

治理流程的关键环节(发起治理、提交验收、验收通过等)会发送消息给相关人,协助相关人快速处理相关流程。

image (12).png


3、治理白名单

对于暂时不需要治理的治理项, 可以放入白名单进行统一管理,在白名单有效期内,质量校验仍会正常执行,但不会生成治理项。

在治理白名单页面,可以针对白名单进行统一管理,如修改白名单生效时间和删除白名单等。

image (13).png



三、结语

以上就是关于质量治理工作台的全部介绍。通过治理工作台,可以实现对质量问题处理流程的跟踪,从而更好管理质量问题出现后的整个治理流程。

到Dataphin的3.10版本,质量模块实现了从事前的质量规则配置(在质量模块配置、结合数据标准配置、在集成任务配置),到事中的数据质量稽核校验(定时校验、任务触发校验),到事后的质量整改的流程跟踪和效果检验的整条质量提升链路,帮助客户更快更好的构建高质量数据。


更多历史内容详见:

Dataphin数据治理系列:基于数据质量管理,支撑业务快速发展

数据质量最佳实践(1):批量配置质量规则,快速提升质量覆盖率

数据质量最佳实践(2):通过归档和分析异常数据,快速定位质量问题

相关文章
|
9月前
|
存储 编解码 算法
推荐一款视频压缩神器!视频体积能压缩减少80%,支持指定大小压缩、批量压缩,压缩不可能不损失质量的。
推荐一款高效视频压缩工具,支持AVI、MP4、MKV等格式,可批量压缩,体积减少达80%。支持按比例或指定大小压缩,采用H.265等无损编码技术,在保证画质的前提下显著减小文件体积,操作简单,拖拽即可完成压缩,适合日常分享与存储。
793 0
|
12月前
|
搜索推荐 数据管理
Dataphin功能Tips系列(70)自定义菜单:构建一站式数据管理平台
Dataphin通过自定义菜单功能,支持嵌入企业其他平台URL,实现统一的数据开发与管理平台,提升团队协作效率。
328 8
|
SQL 分布式计算 数据挖掘
智能数据建设与治理 Dataphin 评测报告
本文详细记录了测试开发工程师“宏哥”对阿里巴巴云产品Dataphin的评测体验。Dataphin是一款基于OneData数据治理方法论的企业级数据中台工具,提供数据采集、建模、管理与应用的全生命周期能力。评测从开通试用、环境准备、项目创建到任务开发、周期补数据、即席分析及数据分析等多个环节展开。宏哥按照官方手册完成了数据处理全流程,但也指出了一些问题:如部分操作步骤不够清晰、新手友好数不足(例如SQL脚本编写难度)、以及业务流程逻辑需进一步优化。整体来看,Dataphin在数据同步、周期补数据和即席分析等方面表现出色,但用户体验和学习成本仍有提升空间。
511 8
|
11月前
|
数据采集 SQL 数据可视化
Dataphin功能Tips系列(72)一键数据探查,打造高质量数据开发、分析流程
在数据开发与分析前期,掌握数据质量与分布情况至关重要。Dataphin提供高效的数据探查功能,支持手动与自动探查方式,一键生成数据质量报告,帮助用户快速发现空值、异常值、重复值等问题,提升数据准备与分析准确性。
349 0
|
存储 运维 前端开发
如何开发设备管理系统中的设备维护管理板块 ?(附架构图+流程图+代码参考)
设备管理系统中的维护管理是企业高效运营的关键。本文详解设备维护管理模块的设计与实现,涵盖功能规划、业务流程、技术方案及开发技巧,助力企业构建科学的设备维护体系,提升设备利用率与生产效率。
|
SQL 分布式计算 数据挖掘
《智能数据建设与治理 Dataphin》的最佳实践
本文介绍了使用Dataphin进行离线数仓搭建的实操教程,涵盖从创建数据板块到数据分析的完整流程。内容包括登录控制台、配置计算源、创建离线管道、生成SQL语句、运行任务及验证数据等步骤。通过详细的操作指南和截图,帮助用户快速上手Dataphin,体验其强大的数据治理能力。总结中提到教程存在部分陈旧问题,建议加深对产品逻辑的理解以更好地掌握工具使用。
763 1
|
算法 大数据 网络安全
FP-Growth算法
FP-Growth算法
888 2
|
数据采集 SQL 机器学习/深度学习
Dataphin数据治理系列:基于数据质量管理,支撑业务快速发展
数据质量是数据建设和管理中非常重要的一环。所有的数据应用,不论是用于支持业务开展的数据库,还是用于支持商业决策,或者用于机器学习和人工智能等高级应用,实现数据价值的前提是数据本身是高质量的,是可靠和可信的。
Dataphin数据治理系列:基于数据质量管理,支撑业务快速发展
|
数据采集 监控 数据管理
数据质量最佳实践(5):利用质量分和排行榜提升企业数据质量【Dataphin V3.12】
在数据质量最佳实践(3):通过质量治理工作台,实现质量问题的跟踪和处理这篇文章中,我们详细的介绍了如何通过治理工作台,对系统出现的一个一个具体质量问题进行治理。 但是对于企业整体的数据质量情况,我们该如何评估呢?以及如何寻找当前企业的数据质量短板,并有针对性的进行改进和提升呢? 在Dataphin V3.12版本中,质量新增了质量分的能力,可以给数据表和质量规则配置打分权重和打分方式,从而获得全局、数据源、项目、负责人、数据表等维度的质量打分评估,帮助CDO判断企业整体的数据质量情况和数据质量问题的分布,从而有针对性的提升企业整体的数据质量水平。
1523 1
|
监控 数据管理
治理工作台升级,可手动录入质量问题,实现反馈有渠道、整改可跟踪
Dataphin V4.0版本升级治理工作台,支持手动录入数据质量问题,新增对“标签”对象的问题管理,并且可对问题进行分类。问题清单和整改流程也进行了优化,手动录入的问题和自动识别的问题可统一整改追踪,并提供操作记录,以增强数据质量管理的响应速度和效率。
852 2