应用场景
Dataphin 从 V3.10 版本开始支持了治理工作台的功能,针对通过质量规则监控自动识别出来的问题,可以结合整改流程进行问题跟踪和处理,提升了质量管理的规范性。
但是,质量问题的来源往往不止监控规则,例如:
- 业务分析师在资产目录中找到一张需求分析相关的表,通过“数据探查”功能了解表数据概况,发现其中一个字段的“值分布”存在明显异常,希望能直接快捷地反馈该数据质量问题
- 质量管理员从数据运营团队收集到一批取数用数过程中遇到的问题,希望能够将这部分问题录入系统,和其他通过质量监控规则自动发现的问题用统一的整改流程来追踪
- 标签业务员发现自己使用的标签数据已经 1 周没有更新过,需要向标签开发人员反馈该问题,并追踪问题的整改情况
因此,V4.0 版本中,Dataphin 治理工作台再升级,支持手动录入质量问题,并且纳入了“标签”对象的问题管理,更全面地实现反馈有渠道、整改可跟踪。
功能概览
问题反馈更便捷
首先,本期拓展了问题反馈渠道。除了系统通过质量规则监控自动发现问题外,您可以在资产目录或标签市场中浏览资产详情时快速反馈发现的异常问题,也可以在治理工作台中统一批量录入问题,并在问题清单列表中统一查看和管理所有的质量问题,缩短反馈链路。
反馈问题时,您可以上传附件(如数据比对结果、问题录屏等等)作为问题的依据,也可以选择是否提供个人联系方式,便于问题处理人联系您了解更多细节信息。
此外,治理工作台可管理的问题对象除了已经支持的数据表、数据源等,还新增支持了对“标签”类型对象的问题反馈及管理,让标签使用更放心。
问题管理更精细
本次新增支持对质量问题进行分类管理。
针对通过质量规则监控系统发现的问题,会根据“规则类型”自动归属到对应的系统问题类型(如“一致性校验异常”),后续也可以编辑新增其他问题类型。针对手动录入的问题,可以在提出问题时标注问题分类,也可以后续批量管理修改问题所属分类。
系统内置了部分常见的质量问题类型(如:数据不准确、数据产出延迟、数据口径不准确等),开箱即用,也支持自定义新增类型,让问题管理更加便捷。
本次问题清单列表也进行了升级。
首先,我们按照资产类型对问题进行了分类统计,可以快捷查看每种类型下已提出的和待处理的问题总数。其次,每个资产类型对应一份问题清单列表,支持按照问题对象名称进行搜索,也可以按照问题分类、提出方式/提出人等进行进一步筛选,提升查找问题效率。您可以在列表查看问题的基本信息、当前的处理状态、关联的整改流程和问题负责人等,还可以根据需要查看的信息项自定义配置展示列,使用体验更友好。
整改流程更完善
针对本期新增的手动录入的问题,您可以进行:标记为已处理、打回重新处理、忽略异常、转交问题负责人等操作,并且可以将手动问题和系统自动识别问题一并加入整改流程进行统一整改追踪。发起整改时,您可以选择已有的整改流程,也可以快速创建新的流程,大大提升了操作灵活性。
针对单个问题和整改流程的每一次操作都会被记录为清晰可循的操作记录,您可以通过记录完整跟踪每个问题的处理节点。
结语
通过治理工作台集中管控和处理系统自动检测及手动录入的质量问题,能更大程度上确保问题被有效追踪和及时整改,提升整体数据质量管理的响应速度和维护效率,为您的数据治理提供更有力的支撑。