数据标准应用(三):数据标准落标监控-下篇

简介: 数据标准创建完成后,需要指定其关联的资产对象才能发挥应用价值。数据标准和资产对象的映射关系通过落标映射规则来管理,对象是否遵循了映射到的标准定义则通过落标监控规则来判断。本文为您介绍落标监控评估的基本概念和监控逻辑。Dataphin 支持通过定义标准属性和资产对象元数据字段之间的匹配关系,自动生成数据标准和资产对象的映射关联;针对已确定的映射关系,可结合数据标准的定义对关联的资产对象进行落标监控,包括元数据监控和内容质量监控。上篇,我们为大家介绍了数据标准监控的分类和配置方式,本期我们将为您介绍配置好的落标监控如何生效以及如何查看监控结果。

一、概述

数据标准创建完成后,需要指定其关联的资产对象才能发挥应用价值。数据标准和资产对象的映射关系通过落标映射规则来管理,对象是否遵循了映射到的标准定义则通过落标监控规则来判断。本文为您介绍落标监控评估的基本概念和监控逻辑。Dataphin 支持通过定义标准属性和资产对象元数据字段之间的匹配关系,自动生成数据标准和资产对象的映射关联;针对已确定的映射关系,可结合数据标准的定义对关联的资产对象进行落标监控,包括元数据监控和内容质量监控。上篇,我们为大家介绍了数据标准监控的分类和配置方式,本期我们将为您介绍配置好的落标监控如何生效以及如何查看监控结果。

二、落标监控生效逻辑

不同的监控规则类型和配置方式有不同的生效逻辑,具体如下:

元数据监控:元数据监控会对比数据标准的属性值和资产对象元数据字段值之间的差异,如:数据类型、数据分类与分级(Dataphin 资产安全模块定义的属性)。

  • 如果是基于落标映射规则自动生成的映射关系,将在映射规则执行的同时完成监控对比,并更新对应规则的监控结果。
  • 如果是研发过程关联或手动导入的映射关系,将在全局统一配置的落标评估任务执行时自动稽核并生成监控结果,展示在落标评估明细页面。

内容质量监控:已经配置好的质量监控需要被引用才会生成可落地执行的质量规则。在创建数据标准时,由于缺少对当前标准即将映射到的资产对象及其相关产出任务的信息,无法完整配置配置规则的强弱及调度方式等执行信息。同一条监控规则,应用在不用的场景种可能也会对应不同的生效逻辑。

如“会员 ID”数据标准,映射到会员维表的主键字段“member_id”时需要开启“字段值唯一”监控且为强规则,映射到订单快照事实表的属性字段“member_id”时则不需要开启唯一值监控规则。因此,内容质量监控规则的开启需要人工介入评判,根据映射对象及监控逻辑配置生效开关及调度方式。您可以通过以下两种方式引用已经在数据标准中配置好的质量监控:

  • 方式 1: 在数据质量-具体资产对象的质量规则列表中,通过“引用数据标准”监控的方式添加已配置好的数据标准质量监控,并配置规则的生效开关及调度方式。系统将根据当前资产包含的所有对象的标准映射情况,自动筛选出对应标准上已配置且未添加过的质量监控,可快速批量添加。该方式不仅提升了配置效率,也使得规范变更能够通过修订数据标准的自动覆盖到所有相关的质量监控规则,从而保证了数据的稳定性和可用性。
  • 如:某集团IT团队制定了关于“性别”的数据标准,负责人在配置“性别”标准时,同时添加了“字段值域校验”的落标监控配置,要求“异常行数<0”。基于配置的落标映射规则,“性别”标准映射到了“员工信息表”的“员工性别”字段、“客户信息表”的“客户注册性别”字段、营销分析表的“客户预测性别”等字段,对应数据表的质量负责人在质量规则页面,一键引用映射到的“性别”标准已配置的值域监控规则。
  • 方式 2:在数据标准模块的已映射关系页面,针对映射关系中的资产对象,标准负责人或者资产对象负责人可以手动批量添加其相关的数据标准上已配置的质量监控并生成质量规则实例,并结合该资产对象的重要性及产出任务配置调度方式。此类规则将影响落标评估明细中的落标评估率,以补全数据标准监控链路。
  • 按资产汇总视角下,您可以资产为粒度(如:数据表)为其包含的所有生成了映射关系的对象(如:字段)批量配置质量监控规则,实现高效配置,节约配置时间成本。
  • 全部展开视角下,您可以聚焦于单个资产对象,并批量引用该对象对应的所有已映射关系中包含的数据标准下监控配置生成的质量监控规则。
  • 此外,其他质量规则列表为您展示当前资产对象在当前页面之外配置的其他质量规则,避免配置太多重复的监控规则重复运行浪费资源或产生冲突。

注意,标准侧配置的质量监控在质量模块的规则列表和质量报告可见可查,但不支持编辑删除,仅支持在标准侧编辑,从而实现标准的强约束。

此外,落标评估明细聚焦于数据标准视角发起的监控从而为标准负责人和标准管理员提供落标评估依据,因此仅包含了元数据监控和在标准侧创建的质量监控,在质量模块引用数据标准监控生成的监控规则不会纳入落标评估统计。单张表的质量报告需要汇集所有的质量监控结果,因此会包含在质量页面创建的自定义规则、引用数据标准创建的规则,以及在数据标准创建的监控规则的所有监控结果,为下游消费人员提供引导。

三、落标评估明细

落标评估明细页面为您展示所有已映射关系,并根据映射关系上已配置的所有监控规则(包括元数据监控和在已映射关系列表创建的内容质量监控)的执行结果计算落标通过率;针对没有完全落标的映射关系,可以查看评估详情,以便推进整改。

  • 元数据监控:为您展示数据标准属性值和资产对象元数据字段值之间的差异。特殊的,如果“安全分类”和“安全分级”属性评估不通过,可以在评估详情中进行“一键修改安全分类分级”操作,以标准的定义覆盖当前资产对象的扫描识别结果。
  • 内容质量监控:质量规则的执行结果将跟随全局统一的落标评估任务执行定时更新。其中:评估通过的规则可以快捷查看校验详情;评估不通过的可查看执行日志。如果质量规则评估结果暂未同步到数据标准侧,您也可以点击“去质量”快捷跳转到质量规则页面,查看最新的执行结果。

四、结语

能被应用起来的数据标准才是真正有效的好标准!后续,我们还会继续拓展更多功能,让数据标准贯穿数据治理全流程,助力研发提效和资产质量保障!更多惊喜敬请期待~

相关文章
|
9月前
|
SQL 数据可视化 大数据
Dataphin数据血缘:实现全面追溯,保障流转透明
数据血缘揭示数据从源头到应用的全链路流转关系,助力企业厘清数据来源、影响范围与质量问题根源。Dataphin通过自动采集、手动配置和OpenAPI注册三类方式构建全面的数据血缘,支持可视化展示与用于质量问题溯源,实现数据可查、可信、可管,推动高质量数据治理。
1108 1
|
9月前
|
存储 NoSQL Go
英伟达谷歌都在用的(开源特征存储平台Feast)-架构学习指南
欢迎来到Feast的世界!这是一个开源的生产级机器学习特征存储系统,专为解决特征数据高效管理与服务而设计。本指南将带你从零掌握其架构、核心概念与实战技巧,助你像架构师一样思考,像工匠一样编码,轻松应对训练与推理的一致性挑战。
1686 2
|
搜索推荐 数据管理
Dataphin功能Tips系列(70)自定义菜单:构建一站式数据管理平台
Dataphin通过自定义菜单功能,支持嵌入企业其他平台URL,实现统一的数据开发与管理平台,提升团队协作效率。
342 8
|
存储 数据采集 监控
数据标准码表的3种创建方式
码表(Lookup表)由可枚举数据组成,用于存储名称与编码的映射关系,适用于属性值约束和质量监控。本文介绍在Dataphin创建码表的三种方式:1) 引用内置模板库,如行政区划、度量单位等标准码表;2) 从已有维表逆向生成码表,实现数据资产复用;3) 自定义创建,支持在线编辑或本地导入。通过这些方式,用户可高效管理码表,提升数据标准化水平,并将其应用于数据标准和质量规则中,确保数据一致性和合规性。
672 3
|
10月前
|
数据管理
Dataphin功能Tips系列(78)自定义属性助力资产精细化管理
Dataphin V5.3升级自定义属性功能,支持多选、超链接及引用系统属性,实现资产“归口部门”与组织架构同步、指标看板一键跳转等场景,提升资产配置灵活性与管理效率。
288 8
|
10月前
|
安全 数据安全/隐私保护
Dataphin功能Tips系列(73)Dataphin行级权限:构建灵活高效的权限管理体系
Dataphin行级权限通过“控制字段”实现精细化数据管控,有效避免传统字段权限过度开放带来的安全风险,提升权限管理效率与灵活性,满足复杂场景下的数据安全需求。
376 4
|
10月前
|
数据采集 人工智能 自然语言处理
重磅干货|《AI时代数据治理白皮书》正式发布!
AI时代,数据质量决定智能上限。阿里巴巴Dataphin推出《AI时代数据治理白皮书》,提出“好数据×好知识=真智能”,详解面向AI的四层治理体系,揭示如何以高质量数据驱动智能化转型,助力企业构建核心竞争力。
1908 0
Dataphin免费试用指南
为您提供Dataphin快速上手操作指南,一起轻松构建数据
837 67
|
数据采集 SQL 人工智能
瓴羊Dataphin:AI驱动的数据治理——千里之行,始于标准 |【瓴羊数据荟】数据MeetUp第三期
数据标准是数据治理的核心抓手,通过梳理数据标准可以有效提升数据质量。瓴羊Dataphin平台利用AI技术简化数据治理流程,实现自动化的数据标准建立、质量规则构建和特征识别,助力企业在大模型时代高效治理数据,推动数据真正为业务服务。
1413 28
瓴羊Dataphin:AI驱动的数据治理——千里之行,始于标准 |【瓴羊数据荟】数据MeetUp第三期
|
数据采集 搜索推荐
标准审批灵活配置助力高效组织流程管理
Dataphin 在 V3.14 版本中对标准审批设置功能进行了全面升级,支持按照标准集粒度对不同数据标准的审批流程进行配置:上线、下线审批可独立配置,支持免审批;此外,Dataphin 支持设置不同模块的审批流程使用的审批系统(内置或第三方审批系统),从而将标准管理流程和且 OA 流程进行更好的结合,助力提升组织流程的管理效率,推动业务发展。
595 1