数据标准应用(三):数据标准落标监控-下篇

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: 数据标准创建完成后,需要指定其关联的资产对象才能发挥应用价值。数据标准和资产对象的映射关系通过落标映射规则来管理,对象是否遵循了映射到的标准定义则通过落标监控规则来判断。本文为您介绍落标监控评估的基本概念和监控逻辑。Dataphin 支持通过定义标准属性和资产对象元数据字段之间的匹配关系,自动生成数据标准和资产对象的映射关联;针对已确定的映射关系,可结合数据标准的定义对关联的资产对象进行落标监控,包括元数据监控和内容质量监控。上篇,我们为大家介绍了数据标准监控的分类和配置方式,本期我们将为您介绍配置好的落标监控如何生效以及如何查看监控结果。

一、概述

数据标准创建完成后,需要指定其关联的资产对象才能发挥应用价值。数据标准和资产对象的映射关系通过落标映射规则来管理,对象是否遵循了映射到的标准定义则通过落标监控规则来判断。本文为您介绍落标监控评估的基本概念和监控逻辑。Dataphin 支持通过定义标准属性和资产对象元数据字段之间的匹配关系,自动生成数据标准和资产对象的映射关联;针对已确定的映射关系,可结合数据标准的定义对关联的资产对象进行落标监控,包括元数据监控和内容质量监控。上篇,我们为大家介绍了数据标准监控的分类和配置方式,本期我们将为您介绍配置好的落标监控如何生效以及如何查看监控结果。

二、落标监控生效逻辑

不同的监控规则类型和配置方式有不同的生效逻辑,具体如下:

元数据监控:元数据监控会对比数据标准的属性值和资产对象元数据字段值之间的差异,如:数据类型、数据分类与分级(Dataphin 资产安全模块定义的属性)。

  • 如果是基于落标映射规则自动生成的映射关系,将在映射规则执行的同时完成监控对比,并更新对应规则的监控结果。
  • 如果是研发过程关联或手动导入的映射关系,将在全局统一配置的落标评估任务执行时自动稽核并生成监控结果,展示在落标评估明细页面。

内容质量监控:已经配置好的质量监控需要被引用才会生成可落地执行的质量规则。在创建数据标准时,由于缺少对当前标准即将映射到的资产对象及其相关产出任务的信息,无法完整配置配置规则的强弱及调度方式等执行信息。同一条监控规则,应用在不用的场景种可能也会对应不同的生效逻辑。

如“会员 ID”数据标准,映射到会员维表的主键字段“member_id”时需要开启“字段值唯一”监控且为强规则,映射到订单快照事实表的属性字段“member_id”时则不需要开启唯一值监控规则。因此,内容质量监控规则的开启需要人工介入评判,根据映射对象及监控逻辑配置生效开关及调度方式。您可以通过以下两种方式引用已经在数据标准中配置好的质量监控:

  • 方式 1: 在数据质量-具体资产对象的质量规则列表中,通过“引用数据标准”监控的方式添加已配置好的数据标准质量监控,并配置规则的生效开关及调度方式。系统将根据当前资产包含的所有对象的标准映射情况,自动筛选出对应标准上已配置且未添加过的质量监控,可快速批量添加。该方式不仅提升了配置效率,也使得规范变更能够通过修订数据标准的自动覆盖到所有相关的质量监控规则,从而保证了数据的稳定性和可用性。
  • 如:某集团IT团队制定了关于“性别”的数据标准,负责人在配置“性别”标准时,同时添加了“字段值域校验”的落标监控配置,要求“异常行数<0”。基于配置的落标映射规则,“性别”标准映射到了“员工信息表”的“员工性别”字段、“客户信息表”的“客户注册性别”字段、营销分析表的“客户预测性别”等字段,对应数据表的质量负责人在质量规则页面,一键引用映射到的“性别”标准已配置的值域监控规则。
  • 方式 2:在数据标准模块的已映射关系页面,针对映射关系中的资产对象,标准负责人或者资产对象负责人可以手动批量添加其相关的数据标准上已配置的质量监控并生成质量规则实例,并结合该资产对象的重要性及产出任务配置调度方式。此类规则将影响落标评估明细中的落标评估率,以补全数据标准监控链路。
  • 按资产汇总视角下,您可以资产为粒度(如:数据表)为其包含的所有生成了映射关系的对象(如:字段)批量配置质量监控规则,实现高效配置,节约配置时间成本。
  • 全部展开视角下,您可以聚焦于单个资产对象,并批量引用该对象对应的所有已映射关系中包含的数据标准下监控配置生成的质量监控规则。
  • 此外,其他质量规则列表为您展示当前资产对象在当前页面之外配置的其他质量规则,避免配置太多重复的监控规则重复运行浪费资源或产生冲突。

注意,标准侧配置的质量监控在质量模块的规则列表和质量报告可见可查,但不支持编辑删除,仅支持在标准侧编辑,从而实现标准的强约束。

此外,落标评估明细聚焦于数据标准视角发起的监控从而为标准负责人和标准管理员提供落标评估依据,因此仅包含了元数据监控和在标准侧创建的质量监控,在质量模块引用数据标准监控生成的监控规则不会纳入落标评估统计。单张表的质量报告需要汇集所有的质量监控结果,因此会包含在质量页面创建的自定义规则、引用数据标准创建的规则,以及在数据标准创建的监控规则的所有监控结果,为下游消费人员提供引导。

三、落标评估明细

落标评估明细页面为您展示所有已映射关系,并根据映射关系上已配置的所有监控规则(包括元数据监控和在已映射关系列表创建的内容质量监控)的执行结果计算落标通过率;针对没有完全落标的映射关系,可以查看评估详情,以便推进整改。

  • 元数据监控:为您展示数据标准属性值和资产对象元数据字段值之间的差异。特殊的,如果“安全分类”和“安全分级”属性评估不通过,可以在评估详情中进行“一键修改安全分类分级”操作,以标准的定义覆盖当前资产对象的扫描识别结果。
  • 内容质量监控:质量规则的执行结果将跟随全局统一的落标评估任务执行定时更新。其中:评估通过的规则可以快捷查看校验详情;评估不通过的可查看执行日志。如果质量规则评估结果暂未同步到数据标准侧,您也可以点击“去质量”快捷跳转到质量规则页面,查看最新的执行结果。

四、结语

能被应用起来的数据标准才是真正有效的好标准!后续,我们还会继续拓展更多功能,让数据标准贯穿数据治理全流程,助力研发提效和资产质量保障!更多惊喜敬请期待~

相关文章
|
7月前
|
数据采集 机器人 BI
订阅数据标准变更,随时掌握标准动态,保障您的开发质量!
小王是一名ETL工程师,面临数据标准频繁变化对规范开发带来的挑战。为帮助小王等开发者解决此类问题,DataphinV4.3版本新增“标准变更订阅”功能,支持便捷高效的配置、多种变更通知项、多渠道通知并提供了清晰可循的推送记录。这个新功能让小王在遵循数据标准的同时也能保证开发响应效率和数据质量,相关业务方和技术负责人都十分满意。
|
7月前
【突破常规:让函数规范成为注目的亮点】(下)
【突破常规:让函数规范成为注目的亮点】
|
7月前
【突破常规:让函数规范成为注目的亮点】(上)
【突破常规:让函数规范成为注目的亮点】
|
Cloud Native 前端开发
【性能优化上】第三方组织结构同步优化一,分状态,分步骤的设计,你 get 到了吗?
【性能优化上】第三方组织结构同步优化一,分状态,分步骤的设计,你 get 到了吗?
|
自然语言处理 数据管理
数据标准和数据规范到底有什么区别???
数据标准和数据规范到底有什么区别???
|
数据采集 存储 数据管理
相比DCMM,DMBOK为什么没有数据标准?
相比DCMM,DMBOK为什么没有数据标准?
|
机器学习/深度学习 数据采集 存储
5 个章节、25 条规范,全方位 Get 数据集选择与创建的「百科全书」
5 个章节、25 条规范,全方位 Get 数据集选择与创建的「百科全书」
146 0
|
数据采集 存储 监控
数据标准应用(二):数据标准落标监控-上篇
数据标准创建完成后,需要指定其关联的资产对象才能发挥应用价值。数据标准和资产对象的映射关系通过落标映射规则来管理,对象是否遵循了映射到的标准定义则通过落标监控规则来判断。本文为您介绍落标监控评估的基本概念和监控逻辑。Dataphin 支持通过定义标准属性和资产对象元数据字段之间的匹配关系,自动生成数据标准和资产对象的映射关联了;针对已确定的映射关系,可结合数据标准的定义对关联的资产对象进行落标监控,包括元数据监控和内容质量监控。
1219 0
|
数据采集 存储 安全
数据标准体系框架规划【参考】
随着公司数字化转型的深入建设和数字化水平的提升,公司积累了海量的数据信息。
数据标准体系框架规划【参考】
|
存储 前端开发
谈谈数据标准和数据模型
标准定义了一个参考框架,强化交互各方之间的信任。例如,当您在加油站加满汽车油箱时,“升”汽油的标准定义将确保您获得的汽油量是您认为的。反过来,“人民币”的标准定义向加油站所有者保证,您正在向他支付您购买的汽油的适当价值。
谈谈数据标准和数据模型