数据标准应用(一):落标映射关系

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: 数据标准创建完成后,需要指定其关联的资产对象才能发挥应用价值。数据标准和资产对象的映射关系当前可以通过落标映射规则来管理;生成映射关系后,对象是否遵循了映射到的标准定义则通过落标监控评估来判断。本文为您介绍落标映射关系的分类和管理方式。

一、概述

数据标准创建完成后,需要指定其关联的资产对象才能发挥应用价值。数据标准和资产对象的映射关系当前可以通过落标映射规则来管理;生成映射关系后,对象是否遵循了映射到的标准定义则通过落标监控评估来判断。本文为您介绍落标映射关系的分类和管理方式。

二、落标映射关系管理

落标映射关系是指资产对象和数据标准之间的关联关系,根据关联关系是否生效,可以分为:已映射关系、无效映射关系。

映射关系分类

已映射关系为您展示基于已配置的落标映射规则运行生成的数据标准和资产对象之间的已确认的映射关系,可查看每个资产对象应该遵循哪些数据标准,或每个数据标准当前被哪些资产对象所关联应用。如,“客户类型”标准和客户维度表的“customer_type”字段存在已确认映射关系,那么后续的落标监控评估环节,会校验“customer_type”字段是否遵循了“客户类型”标准的定义。

无效映射关系可以用于管理根据落标映射规则执行结果生成的预期外的映射关系,不会参与落标监控评估环节,因此也不会生成落标评估明细。某些场景下,根据映射规则配置,无法准确识别到应该遵循的数据标准,会生成错误的映射关系,产生监控不通过的评估结果从而对研发产生干扰。另外,也存在某些非核心字段或指标,虽然映射到了数据标准,但是不需要参与落标评估,也可以用无效映射关系来管理。

Dataphin 为您提供多种映射关系的查看视角。您可以通过点击数据表名称快捷跳转到数据表详情页查看资产信息,也可以通过点击数据标准或标准集名称快捷查看配置信息。

映射关系查看

  • 按资产汇总:按照数据表粒度将映射关系中涉及到的字段或指标汇总展示,可以查看每一张表种有多少字段或指标已经生成了映射关系,以及总计映射到了多少个数据标准,可以用于评估数据表的落标情况。此外,您可以点击展开每一张数据表的映射详情,查看字段或指标和其映射的数据标准之间的一一对应关系。

  • 全部展开:直接为您展示字段或指标和其映射的数据标准之间的一一对应关系,并提示每一个字段归属的数据表及每一个数据标准所属的标准集。

映射关系管理

已映射关系列表,您可以将不合理的映射关系“置为无效映射”,则已选中且有操作权限的映射关系将从当前列表删除,并增加到无效映射列表;后续该映射关系不会参与落标评估,也不会生成落标评估明细。此外,如果某些映射关系暂时无需继续使用,您也可以“解除映射关系”,根据映射关系正确与否,您可以选择“解除并加入无效映射”,或“仅解除,再次映射重新确认”,从而实现不同的控制效果。

相似的,在无效映射关系列表,如果您需要移除某些无效映射关系重新加入落标监控评估,可以执行“解除无效映射”操作。

此外,您也可以在批量导入映射关系时配置已有映射关系的更新策略,从而实现相关映射关系的管理。

三、落标映射关系配置

Dataphin 提供多种映射关系的配置方式,接下来为您一一介绍。您可以在映射关系-映射明细页面查看当前映射关系的来源。

落标映射规则

落标映射规则通过定义标准属性值资产对象元数据字段值的匹配关系,实现标准和资产对象的映射关联,自动生成映射关系。映射规则配置共分为 5 步,下图为您展示映射生效逻辑及映射结果:

1)基本信息配置

包括规则名称、负责人、描述;负责人可以编辑规则的配置信息,也可以停用、删除映射规则。

2)圈选资产对象

即圈选需要基于当前映射规则进行映射匹配的资产对象范围。为了减少无用的系统扫描造成资源浪费,甚至影响资产目录等功能的正常使用,建议您配置对象过滤条件。Dataphin 支持根据对象属性配置过滤条件,不同对象类型可选择的属性不同,如“Dataphin 指标”类型的资产,可以根据指标名称、所属数据板块、所属项目、所属汇总表、所属环境等属性圈定资产对象范围,支持等于(不等于)、属于(不属于)、包含(不包含)等多种筛选条件,以便更精准的进行匹配,避免产生错误映射关系。为了减少配置成本,Dataphin 在新建规则环节为您内置了常用的圈选规则,如您不需要,可以手动删除。

此外,您还需要配置每次规则执行的扫描范围,当前支持每次执行都评估全量资产,后续,我们将继续拓展根据资产元数据变更时间来判断是否需要纳入扫描范围。

3)圈选数据标准

同样的,您也需要圈选基于当前映射规则进行映射匹配的数据标准范围,由于不同标准集下的数据标准属性可能不同,当前支持按照标准集粒度来圈选数据标准,可以通过标准集所属目录快速筛选查询。

4)映射配置

圈选出来的数据标准和资产对象按照什么逻辑进行匹配呢?答案就是“映射配置”。通过配置标准属性和资产对象属性的匹配关系,可以将数据标准和资产对象一一关联起来,生成映射关系。同样的,为了减少配置成本,Dataphin 为每种资产类型内置了多条常用的映射逻辑表达式,以“Dataphin 指标“为例,内置的映射逻辑包括:“标准名称”=“指标名称”、“标准英文名”=“对象名称”、“标准名称”=“指标描述”;多条表达式之间支持用“且、或”关系连接。特别提醒您,每一条映射逻辑中配置的标准属性和对象属性的数据类型需要保持一致,否则可能影响映射正确性。

5)执行配置

规则配置完成后需要按照一定的频率来执行生成对应的结果,因此我们需要进行执行条件配置。Dataphin 支持两种执行方式,一种是“手动执行”,即只在需要的时候手动点击“运行”规则生成匹配结果;另一种是“定时执行”,即按照配置的执行周期和时间点,在对应时刻自动运行生成结果。此外,针对定时执行,还支持配置每次执行的最长时间,超出最长时间会自动置为执行失败,并且可以配置重试次数和重试间隔,从而降低网络异常等场景下的人工干预成本,同时也能保证规则执行的稳定性。

手动批量导入

除了通过落标映射规则实现自动映射匹配, Dataphin 也支持导入 Excel 文件的方式实现手动批量导入映射关系。以导入已确认映射关系为例:

  • 首先需要下载配置模板,根据配置说明提示填写配置文件并上传;
  • 配置更新策略:如果本次导入的映射关系已经存在于“已映射”或“无效映射”关系列表,您可以按照业务需求选择冲突处理策略,并点击“开始导入”;
  • 导入过程中您可以实时查看导入日志,导入完成后,根据系统校验规则,您可以查看导入异常的记录及失败原因,以及根据配置的更新策略跳过不处理的记录;您可以一键下载异常或跳过记录,修改后重新导入,完成映射关系的批量配置。

研发过程手动关联

V3.11 版本起,Dataphin 支持在新建/编辑逻辑表及物理表的过程中,手动给字段关联数据标准,并基于数据标准和词根定义自动填充相关信息,将贯标流程前置。具体功能如下:

  • 命名规范:输入字段描述后,系统将基于已配置的词根将描述自动转换为词根对应的缩写拼接,作为智能推荐的字段名称,实现字段命名标准化。
  • 关联标准推荐:根据设置的字段名称和说明智能推荐相关的数据标准;如果标准定义了“数据类型”和“数据分类”系统属性,还将自动设置当前字段的数据类型和数据分类,从而更好的保障数据开发的规范性和标准化定义。

四、结语

后续,Dataphin 数据标准将继续拓展待确认映射关系管理、智能推荐映射关系等功能,敬请期待哦!

相关文章
|
数据采集 监控 安全
数据标准应用(三):数据标准落标监控-下篇
数据标准创建完成后,需要指定其关联的资产对象才能发挥应用价值。数据标准和资产对象的映射关系通过落标映射规则来管理,对象是否遵循了映射到的标准定义则通过落标监控规则来判断。本文为您介绍落标监控评估的基本概念和监控逻辑。Dataphin 支持通过定义标准属性和资产对象元数据字段之间的匹配关系,自动生成数据标准和资产对象的映射关联;针对已确定的映射关系,可结合数据标准的定义对关联的资产对象进行落标监控,包括元数据监控和内容质量监控。上篇,我们为大家介绍了数据标准监控的分类和配置方式,本期我们将为您介绍配置好的落标监控如何生效以及如何查看监控结果。
714 0
|
SQL 存储 数据采集
【技术分享】元数据与数据血缘实现思路
【技术分享】元数据与数据血缘实现思路
6134 0
|
12月前
|
数据采集 存储 数据处理
数据治理:如何制定数据标准与规范
在当今这个数据驱动的时代,数据已成为企业最宝贵的资产之一。然而,随着数据量的爆炸性增长和数据来源的多样化,如何有效地管理和利用这些数据成为了企业面临的重大挑战。数据治理作为确保数据质量、安全性、合规性和可访问性的关键过程,其核心在于制定并执行一套科学、合理的数据标准与规范。本文将探讨如何制定数据标准与规范,以推动企业的数据治理实践。
1911 3
|
9月前
|
数据采集 SQL 人工智能
瓴羊Dataphin:AI驱动的数据治理——千里之行,始于标准 |【瓴羊数据荟】数据MeetUp第三期
数据标准是数据治理的核心抓手,通过梳理数据标准可以有效提升数据质量。瓴羊Dataphin平台利用AI技术简化数据治理流程,实现自动化的数据标准建立、质量规则构建和特征识别,助力企业在大模型时代高效治理数据,推动数据真正为业务服务。
769 28
瓴羊Dataphin:AI驱动的数据治理——千里之行,始于标准 |【瓴羊数据荟】数据MeetUp第三期
|
数据处理 数据安全/隐私保护
智能推荐映射关系,加速数据标准落地进程
在V4.0版本中,Dataphin推出了智能推荐映射关系功能,用户可以基于内置特征或创建自定义特征,对数据内容进行表示,并将其与数据标准关联,进而智能映射映射关系,尤其在字段分布广泛和命名多变的情况下,可以提高映射的准确性和效率,加速了数据标准实施。
452 0
再见手动编码,标准自动化编码规则来帮忙!
标准管理员小S面临数据标准编码管理的挑战:编码格式不统一、编码值不可读活相关性差,手动管理耗时易出错。Dataphin新推出“标准编码规则”功能,可以实现一次配置批量生成编码,并通过自增序列、固定字符串和所属标准集编码的组合,保证编码相关性和灵活性,同时提供了编码规则变更后的批量订正功能,大大简化管理工作。小S对此表示高度满意。
347 0
|
数据采集 存储 监控
数据标准应用(二):数据标准落标监控-上篇
数据标准创建完成后,需要指定其关联的资产对象才能发挥应用价值。数据标准和资产对象的映射关系通过落标映射规则来管理,对象是否遵循了映射到的标准定义则通过落标监控规则来判断。本文为您介绍落标监控评估的基本概念和监控逻辑。Dataphin 支持通过定义标准属性和资产对象元数据字段之间的匹配关系,自动生成数据标准和资产对象的映射关联了;针对已确定的映射关系,可结合数据标准的定义对关联的资产对象进行落标监控,包括元数据监控和内容质量监控。
1585 0
|
监控 供应链
Dataphin资产专题助力您打造精品数据
随着数据量的不断增长以及消费场景的多样化,当前单一的数据目录已经很难满足数据管理者和消费者对于资产管理和查找的需求。 种种困难和吐槽的背后,核心原因是缺少一套有效的资产管理及运营体系,数据难以与业务形成有效连接,数据资产价值无法发挥放大。基于此背景,Dataphin 全新推出资产专题功能,希望打造面向主题的精品数据资产建设和运营生态,提升数据生产者和消费者的工作效率。 通过专题,您可以灵活高效地组织、管理并运营精品数据资产,交流并沉淀业务知识,形成数据与业务更多更强的连接,让数据更好地驱动业务。
971 1
|
数据采集 SQL 数据可视化
Dataphin数据探查助力快速了解数据概貌,更早识别潜在风险
在日常数据加工处理工作中,不同角色(运营、开发、数据分析师、业务人员等)尝尝会面临一个共同问题:数据是否可用?在数据量大、数据可信度不高的情况下,常常需要花费大量时间精力对数据进行校验,了解数据概貌并评估数据是否可用,也就是需要进行所谓的“数据探查”工作。因此,Dataphin 特别推出“数据探查”功能,只需要进行简单的配置,就可以周期性地执行探查任务并产出内容丰富、结果准确的可视化探查报告。此外,也可以保留历史的数据探查结果,便于结合历史数据进行对比分析,不仅降低了操作门槛,也能解放人力,提升工作效率。
817 0