治理工作台升级,可手动录入质量问题,实现反馈有渠道、整改可跟踪

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: Dataphin V4.0版本升级治理工作台,支持手动录入数据质量问题,新增对“标签”对象的问题管理,并且可对问题进行分类。问题清单和整改流程也进行了优化,手动录入的问题和自动识别的问题可统一整改追踪,并提供操作记录,以增强数据质量管理的响应速度和效率。

应用场景

Dataphin 从 V3.10 版本开始支持了治理工作台的功能,针对通过质量规则监控自动识别出来的问题,可以结合整改流程进行问题跟踪和处理,提升了质量管理的规范性。

但是,质量问题的来源往往不止监控规则,例如:

  • 业务分析师在资产目录中找到一张需求分析相关的表,通过“数据探查”功能了解表数据概况,发现其中一个字段的“值分布”存在明显异常,希望能直接快捷地反馈该数据质量问题
  • 质量管理员从数据运营团队收集到一批取数用数过程中遇到的问题,希望能够将这部分问题录入系统,和其他通过质量监控规则自动发现的问题用统一的整改流程来追踪
  • 标签业务员发现自己使用的标签数据已经 1 周没有更新过,需要向标签开发人员反馈该问题,并追踪问题的整改情况

因此,V4.0 版本中,Dataphin 治理工作台再升级,支持手动录入质量问题,并且纳入了“标签”对象的问题管理,更全面地实现反馈有渠道、整改可跟踪。


功能概览

问题反馈更便捷

首先,本期拓展了问题反馈渠道。除了系统通过质量规则监控自动发现问题外,您可以在资产目录或标签市场中浏览资产详情时快速反馈发现的异常问题,也可以在治理工作台中统一批量录入问题,并在问题清单列表中统一查看和管理所有的质量问题,缩短反馈链路。

反馈问题时,您可以上传附件(如数据比对结果、问题录屏等等)作为问题的依据,也可以选择是否提供个人联系方式,便于问题处理人联系您了解更多细节信息。

此外,治理工作台可管理的问题对象除了已经支持的数据表、数据源等,还新增支持了对“标签”类型对象的问题反馈及管理,让标签使用更放心。

问题管理更精细

本次新增支持对质量问题进行分类管理。

针对通过质量规则监控系统发现的问题,会根据“规则类型”自动归属到对应的系统问题类型(如“一致性校验异常”),后续也可以编辑新增其他问题类型。针对手动录入的问题,可以在提出问题时标注问题分类,也可以后续批量管理修改问题所属分类。

系统内置了部分常见的质量问题类型(如:数据不准确、数据产出延迟、数据口径不准确等),开箱即用,也支持自定义新增类型,让问题管理更加便捷。

本次问题清单列表也进行了升级。

首先,我们按照资产类型对问题进行了分类统计,可以快捷查看每种类型下已提出的和待处理的问题总数。其次,每个资产类型对应一份问题清单列表,支持按照问题对象名称进行搜索,也可以按照问题分类、提出方式/提出人等进行进一步筛选,提升查找问题效率。您可以在列表查看问题的基本信息、当前的处理状态、关联的整改流程和问题负责人等,还可以根据需要查看的信息项自定义配置展示列,使用体验更友好。

整改流程更完善

针对本期新增的手动录入的问题,您可以进行:标记为已处理、打回重新处理、忽略异常、转交问题负责人等操作,并且可以将手动问题和系统自动识别问题一并加入整改流程进行统一整改追踪。发起整改时,您可以选择已有的整改流程,也可以快速创建新的流程,大大提升了操作灵活性。

针对单个问题和整改流程的每一次操作都会被记录为清晰可循的操作记录,您可以通过记录完整跟踪每个问题的处理节点。

结语

通过治理工作台集中管控和处理系统自动检测及手动录入的质量问题,能更大程度上确保问题被有效追踪和及时整改,提升整体数据质量管理的响应速度和维护效率,为您的数据治理提供更有力的支撑。

相关文章
|
数据采集 运维 Java
有了 Dataphin v4.0,跨系统调度依赖再也不是难题
Dataphin v4.0引入了新的触发式节点,用于解决多数据平台间的调度问题。当上游系统(如Unix的crontab)完成数据采集后,可通过触发式节点通知Dataphin开始拉取数据,避免传统轮询方式的效率低和资源占用。触发式节点需满足Dataphin OpenAPI开通和网络连通条件,并通过SDK进行外部触发。示例展示了如何创建和使用触发式节点,以及使用Java SDK模拟触发请求。
672 0
|
数据采集 监控 搜索推荐
质量规则支持自定义属性,规则管理更便捷
随着企业数据治理开展到一定阶段,对质量监控规则的精细化管理诉求进一步提升,需要为质量规则配置更多属性信息以支持后续的统计的分析。Dataphin V4.0版本新增了自定义质量规则属性的能力,通过简单的配置即可实现灵活、高效的规则管理,满足多样化诉求。
453 0
|
数据采集 监控 安全
数据标准应用(三):数据标准落标监控-下篇
数据标准创建完成后,需要指定其关联的资产对象才能发挥应用价值。数据标准和资产对象的映射关系通过落标映射规则来管理,对象是否遵循了映射到的标准定义则通过落标监控规则来判断。本文为您介绍落标监控评估的基本概念和监控逻辑。Dataphin 支持通过定义标准属性和资产对象元数据字段之间的匹配关系,自动生成数据标准和资产对象的映射关联;针对已确定的映射关系,可结合数据标准的定义对关联的资产对象进行落标监控,包括元数据监控和内容质量监控。上篇,我们为大家介绍了数据标准监控的分类和配置方式,本期我们将为您介绍配置好的落标监控如何生效以及如何查看监控结果。
714 0
|
5月前
|
人工智能 JSON 运维
Dataphin MCP:让数据查询 “轻而易举”
Dataphin推出MCP服务,助力Agent高效获取数据,释放企业数据价值。
453 10
|
5月前
|
数据采集 监控 安全
数据治理起步难?Dataphin内置模板来帮你
数据治理冷启动常因沟通协调多、流程长且配置繁琐而受阻。Dataphin 提供多种内置模板,涵盖数据标准码表(如行政区划、度量单位等)、安全分类分级(如金融、能源行业规范)、数据质量规则(40+常用规则)及识别特征(如手机号、身份证号),助力企业快速构建治理框架,提升效率,加速数据战略实施。
161 0
|
11月前
|
存储 运维 监控
API明细日志及运维统计日志全面提升API可运维性
在数字化转型的大潮中,数据已成为企业最宝贵的资产之一。而数据服务API可快速为数据应用提供数据接口。面对越来越多的API以及越来越多的应用调用,如何快速查看API的服务情况、异常情况及影响范围,以及查看API的调用详情,进行API的性能优化、错误排查变得越来越重要,本文将介绍如何配置和开通API运维统计及明细日志,以及如何查看日志进行介绍。
537 0
|
9月前
Dataphin免费试用指南
为您提供Dataphin快速上手操作指南,一起轻松构建数据
567 67
|
存储 SQL 专有云
支持配置审计日志的存储数据库
审计日志作为企业监管平台的重要依据,同时也是“等保三级”认证的必要考察项之一。Dataphin V4.3版本支持设置平台日志的存储数据源,帮助用户快速获取审计日志,同时介绍了不同部署模式的Dataphin如何查看审计日志的方法。
321 5
|
数据采集 监控 数据管理
数据质量最佳实践(5):利用质量分和排行榜提升企业数据质量【Dataphin V3.12】
在数据质量最佳实践(3):通过质量治理工作台,实现质量问题的跟踪和处理这篇文章中,我们详细的介绍了如何通过治理工作台,对系统出现的一个一个具体质量问题进行治理。 但是对于企业整体的数据质量情况,我们该如何评估呢?以及如何寻找当前企业的数据质量短板,并有针对性的进行改进和提升呢? 在Dataphin V3.12版本中,质量新增了质量分的能力,可以给数据表和质量规则配置打分权重和打分方式,从而获得全局、数据源、项目、负责人、数据表等维度的质量打分评估,帮助CDO判断企业整体的数据质量情况和数据质量问题的分布,从而有针对性的提升企业整体的数据质量水平。
1121 1
|
存储 SQL 运维
跨节点参数的缘起与今生
Dataphin v3.13引入了跨节点参数功能,允许任务间传递消息。输出节点(如SQL、Shell、Python任务)能输出参数,输入节点可以接收并使用这些参数。此功能解决了通过公共存储中转消息的复杂性和低效问题。应用场景包括:金融企业的币种转换,其中汇率任务(输出节点)提供汇率,转换任务(输入节点)使用该汇率;以及产品目录更新检查,通过跨节点参数控制是否需要执行数据导入任务。用户可以通过任务编辑器设置和传递跨节点参数,并在运维中进行补数据操作。
436 2
跨节点参数的缘起与今生