数据质量最佳实践(3):通过质量治理工作台,实现质量问题的跟踪和处理

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: 在Dataphin数据治理系列:基于数据质量管理,支撑业务快速发展这篇文章中,我们详细的介绍了Dataphin数据质量模块的产品核心能力和产品使用演示。在实际的质量管理中,做完了事前的质量规则的配置和事中的质量规则校验后,会产生大量的质量问题待治理项,这时候需要有一个完整的工作流程去管理质量问题,实现从质量规则配置,到质量问题发现,到质量治理修复问题,最终提升数据质量的完整PDCA流程。

Dataphin数据治理系列:基于数据质量管理,支撑业务快速发展这篇文章中,我们详细的介绍了Dataphin数据质量模块的产品核心能力和产品使用演示。

在实际的质量管理中,做完了事前的质量规则的配置和事中的质量规则校验后,会产生大量的质量问题待治理项,这时候需要有一个完整的工作流程去管理质量问题,实现从质量规则配置,到质量问题发现,到质量治理修复问题,最终提升数据质量的完整PDCA流程。


一、场景介绍

场景1某电商公司通过手机号进行会员广告投放,历史处理的手机号都是11位,突然有一天发现了一个新的待治理项,通过查看校验详情,发现是有一个新的采集渠道采集上来的手机号是带了国际电话区号(+86)的未处理数据,处理异常数据后,点击重新校验,校验通过即可完成该治理项。


场景2:某财务部门,发现月度财务账单核对后存在差异。通过质量校验发现,有上下游相关的5张表都出现了数据口径不一致的问题,这是可以将5张表放入一个 财务数据治理流程 中,通过流程统一跟踪和治理出现的质量的问题,治理后由财务部门进行最终的数据验收。


二、产品能力介绍

1、治理工作台

质量校验时发现的质量问题,会出现在治理工作台中,等待负责人处理。

通过治理工作台,可以通过以下治理操作:发起治理、忽略本次异常、添加白名单、重新校验、通知负责人进行具体的问题治理;或者查看问题的历史操作记录,了解历史问题和治理方案。

image.png


1.1、查看校验详情

点击校验详情,可以查看本次质量异常的校验详情信息,包括检验对象、校验时间、关键指标,用于初步判断问题原因,更详细的问题定位需要结合异常数据和数据任务等共同判断。

image (1).png


1.2、发起治理

针对需要按照完整的治理流程(先治理后验收)处理的问题,和多个同一个领域可以一起治理的问题,可以发起治理流程,在治理流程中对这些问题进行统一的处理。

image (2).png


1.3、忽略异常

针对偶尔出现的异常问题(如网络波动),如果已经修复,则可以直接忽略本次异常。image (3).png


1.4、加入白名单

对于不是核心需要治理的对象,比如临时表,可以加入白名单,有效期内出现的后续质量问题不会再出现工作台中。

image (4).png


1.5、重新校验

针对偶尔出现的异常,但是目前已经恢复的数据;或者已经在上游治理过的数据,可以执行一次重新校验,对最新的数据进行一次校验,看是否符合质量规则校验条件。

image (5).png


1.6、通知责任人

对于需要负责人重点关注的问题,或者长期未处理的问题,可以直接通知该问题的负责人加急处理。

image (6).png


1.7、查看操作记录

操作记录中保留了治理问题从出现开始的所有操作记录,包括问题的出现、忽略、治理的操作和原因等,可以通过操作记录详细了解一个治理项的历史情况。

image (7).png


2、治理流程

在治理工作台中发起治理后,可以在治理流程列表中看到和自己相关的治理流程,可以在治理流程中对质量问题进行进一步处理

image (8).png

在治理流程中,可以对质量问题进行忽略、重新校验等治理操作,或者到研发模块,修改数据产出流程。完成治理后,治理人可以发起验收,提交整个治理流程到验收人处理。image (9).png

验收人可以查看治理流程中每个问题的状态,可以根据问题的治理状态和发起治理时的说明,决定是否通过验收。

image (10).png

验收人验收通过之后,当前治理流程变为验收通过状态,本次治理流程正式结束。

image (11).png

治理流程的关键环节(发起治理、提交验收、验收通过等)会发送消息给相关人,协助相关人快速处理相关流程。

image (12).png


3、治理白名单

对于暂时不需要治理的治理项, 可以放入白名单进行统一管理,在白名单有效期内,质量校验仍会正常执行,但不会生成治理项。

在治理白名单页面,可以针对白名单进行统一管理,如修改白名单生效时间和删除白名单等。

image (13).png



三、结语

以上就是关于质量治理工作台的全部介绍。通过治理工作台,可以实现对质量问题处理流程的跟踪,从而更好管理质量问题出现后的整个治理流程。

到Dataphin的3.10版本,质量模块实现了从事前的质量规则配置(在质量模块配置、结合数据标准配置、在集成任务配置),到事中的数据质量稽核校验(定时校验、任务触发校验),到事后的质量整改的流程跟踪和效果检验的整条质量提升链路,帮助客户更快更好的构建高质量数据。


更多历史内容详见:

Dataphin数据治理系列:基于数据质量管理,支撑业务快速发展

数据质量最佳实践(1):批量配置质量规则,快速提升质量覆盖率

数据质量最佳实践(2):通过归档和分析异常数据,快速定位质量问题

相关文章
|
数据采集 监控 安全
数据标准应用(三):数据标准落标监控-下篇
数据标准创建完成后,需要指定其关联的资产对象才能发挥应用价值。数据标准和资产对象的映射关系通过落标映射规则来管理,对象是否遵循了映射到的标准定义则通过落标监控规则来判断。本文为您介绍落标监控评估的基本概念和监控逻辑。Dataphin 支持通过定义标准属性和资产对象元数据字段之间的匹配关系,自动生成数据标准和资产对象的映射关联;针对已确定的映射关系,可结合数据标准的定义对关联的资产对象进行落标监控,包括元数据监控和内容质量监控。上篇,我们为大家介绍了数据标准监控的分类和配置方式,本期我们将为您介绍配置好的落标监控如何生效以及如何查看监控结果。
714 0
|
2月前
|
搜索推荐 数据管理
Dataphin功能Tips系列(70)自定义菜单:构建一站式数据管理平台
Dataphin通过自定义菜单功能,支持嵌入企业其他平台URL,实现统一的数据开发与管理平台,提升团队协作效率。
103 8
|
4月前
|
存储 数据采集 监控
数据标准码表的3种创建方式
码表(Lookup表)由可枚举数据组成,用于存储名称与编码的映射关系,适用于属性值约束和质量监控。本文介绍在Dataphin创建码表的三种方式:1) 引用内置模板库,如行政区划、度量单位等标准码表;2) 从已有维表逆向生成码表,实现数据资产复用;3) 自定义创建,支持在线编辑或本地导入。通过这些方式,用户可高效管理码表,提升数据标准化水平,并将其应用于数据标准和质量规则中,确保数据一致性和合规性。
246 3
|
5月前
|
数据采集 存储 监控
星河中的数据旅程:从普通字段到核心指标 -- 基于Dataphin的数据源资产全链路管理
在数据星河中,Starrocks星球的字段居民渴望登上资产管理平台,贡献数据力量。通过元数据采集、标准稽核与质量监控,字段们获得新身份“核心业务指标”。借助Dataphin平台功能,如自定义属性和QuickBI对接,它们最终参与经营分析报表,助力决策。Dataphin V4.4提升了全链路管理能力,新增大数据存储元数据采集、自定义指标等功能,释放数据潜力。加入Dataphin,探索数据无限可能!
157 8
|
5月前
|
数据采集 监控 安全
数据治理起步难?Dataphin内置模板来帮你
数据治理冷启动常因沟通协调多、流程长且配置繁琐而受阻。Dataphin 提供多种内置模板,涵盖数据标准码表(如行政区划、度量单位等)、安全分类分级(如金融、能源行业规范)、数据质量规则(40+常用规则)及识别特征(如手机号、身份证号),助力企业快速构建治理框架,提升效率,加速数据战略实施。
161 0
|
7月前
|
数据采集 SQL 人工智能
告别数据混乱:瓴羊Dataphin 通过AI+标准让企业数据“活”起来 | 【瓴羊数据荟】数据MeetUp第四期
AI技术的快速发展促使企业重新审视数据治理的重要性。当前,企业在数据治理中常因指标口径不统一、数据血缘不透明等问题陷入困境。阿里云智能集团瓴羊高级技术专家周鑫提出,以数据标准为核心贯穿数据全生命周期,可有效解决治理难题。
380 15
告别数据混乱:瓴羊Dataphin 通过AI+标准让企业数据“活”起来 | 【瓴羊数据荟】数据MeetUp第四期
|
7月前
|
关系型数据库 MySQL 数据库
|
9月前
Dataphin免费试用指南
为您提供Dataphin快速上手操作指南,一起轻松构建数据
567 67
|
11月前
|
数据采集 分布式计算 大数据
数据治理之道:大数据平台的搭建与数据质量管理
【10月更文挑战第27天】在数字化时代,数据治理对于确保数据资产的保值增值至关重要。本文探讨了大数据平台的搭建和数据质量管理的重要性及实践方法。大数据平台应包括数据存储、处理、分析和展示等功能,常用工具如Hadoop、Apache Spark和Flink。数据质量管理则涉及数据的准确性、一致性和完整性,通过建立数据质量评估和监控体系,确保数据分析结果的可靠性。企业应设立数据治理委员会,投资相关工具和技术,提升数据治理的效率和效果。
388 2
|
存储 SQL 运维
跨节点参数的缘起与今生
Dataphin v3.13引入了跨节点参数功能,允许任务间传递消息。输出节点(如SQL、Shell、Python任务)能输出参数,输入节点可以接收并使用这些参数。此功能解决了通过公共存储中转消息的复杂性和低效问题。应用场景包括:金融企业的币种转换,其中汇率任务(输出节点)提供汇率,转换任务(输入节点)使用该汇率;以及产品目录更新检查,通过跨节点参数控制是否需要执行数据导入任务。用户可以通过任务编辑器设置和传递跨节点参数,并在运维中进行补数据操作。
436 2
跨节点参数的缘起与今生