数据标准应用(一):落标映射关系

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: 数据标准创建完成后,需要指定其关联的资产对象才能发挥应用价值。数据标准和资产对象的映射关系当前可以通过落标映射规则来管理;生成映射关系后,对象是否遵循了映射到的标准定义则通过落标监控评估来判断。本文为您介绍落标映射关系的分类和管理方式。

一、概述

数据标准创建完成后,需要指定其关联的资产对象才能发挥应用价值。数据标准和资产对象的映射关系当前可以通过落标映射规则来管理;生成映射关系后,对象是否遵循了映射到的标准定义则通过落标监控评估来判断。本文为您介绍落标映射关系的分类和管理方式。

二、落标映射关系管理

落标映射关系是指资产对象和数据标准之间的关联关系,根据关联关系是否生效,可以分为:已映射关系、无效映射关系。

映射关系分类

已映射关系为您展示基于已配置的落标映射规则运行生成的数据标准和资产对象之间的已确认的映射关系,可查看每个资产对象应该遵循哪些数据标准,或每个数据标准当前被哪些资产对象所关联应用。如,“客户类型”标准和客户维度表的“customer_type”字段存在已确认映射关系,那么后续的落标监控评估环节,会校验“customer_type”字段是否遵循了“客户类型”标准的定义。

无效映射关系可以用于管理根据落标映射规则执行结果生成的预期外的映射关系,不会参与落标监控评估环节,因此也不会生成落标评估明细。某些场景下,根据映射规则配置,无法准确识别到应该遵循的数据标准,会生成错误的映射关系,产生监控不通过的评估结果从而对研发产生干扰。另外,也存在某些非核心字段或指标,虽然映射到了数据标准,但是不需要参与落标评估,也可以用无效映射关系来管理。

Dataphin 为您提供多种映射关系的查看视角。您可以通过点击数据表名称快捷跳转到数据表详情页查看资产信息,也可以通过点击数据标准或标准集名称快捷查看配置信息。

映射关系查看

  • 按资产汇总:按照数据表粒度将映射关系中涉及到的字段或指标汇总展示,可以查看每一张表种有多少字段或指标已经生成了映射关系,以及总计映射到了多少个数据标准,可以用于评估数据表的落标情况。此外,您可以点击展开每一张数据表的映射详情,查看字段或指标和其映射的数据标准之间的一一对应关系。

  • 全部展开:直接为您展示字段或指标和其映射的数据标准之间的一一对应关系,并提示每一个字段归属的数据表及每一个数据标准所属的标准集。

映射关系管理

已映射关系列表,您可以将不合理的映射关系“置为无效映射”,则已选中且有操作权限的映射关系将从当前列表删除,并增加到无效映射列表;后续该映射关系不会参与落标评估,也不会生成落标评估明细。此外,如果某些映射关系暂时无需继续使用,您也可以“解除映射关系”,根据映射关系正确与否,您可以选择“解除并加入无效映射”,或“仅解除,再次映射重新确认”,从而实现不同的控制效果。

相似的,在无效映射关系列表,如果您需要移除某些无效映射关系重新加入落标监控评估,可以执行“解除无效映射”操作。

此外,您也可以在批量导入映射关系时配置已有映射关系的更新策略,从而实现相关映射关系的管理。

三、落标映射关系配置

Dataphin 提供多种映射关系的配置方式,接下来为您一一介绍。您可以在映射关系-映射明细页面查看当前映射关系的来源。

落标映射规则

落标映射规则通过定义标准属性值资产对象元数据字段值的匹配关系,实现标准和资产对象的映射关联,自动生成映射关系。映射规则配置共分为 5 步,下图为您展示映射生效逻辑及映射结果:

1)基本信息配置

包括规则名称、负责人、描述;负责人可以编辑规则的配置信息,也可以停用、删除映射规则。

2)圈选资产对象

即圈选需要基于当前映射规则进行映射匹配的资产对象范围。为了减少无用的系统扫描造成资源浪费,甚至影响资产目录等功能的正常使用,建议您配置对象过滤条件。Dataphin 支持根据对象属性配置过滤条件,不同对象类型可选择的属性不同,如“Dataphin 指标”类型的资产,可以根据指标名称、所属数据板块、所属项目、所属汇总表、所属环境等属性圈定资产对象范围,支持等于(不等于)、属于(不属于)、包含(不包含)等多种筛选条件,以便更精准的进行匹配,避免产生错误映射关系。为了减少配置成本,Dataphin 在新建规则环节为您内置了常用的圈选规则,如您不需要,可以手动删除。

此外,您还需要配置每次规则执行的扫描范围,当前支持每次执行都评估全量资产,后续,我们将继续拓展根据资产元数据变更时间来判断是否需要纳入扫描范围。

3)圈选数据标准

同样的,您也需要圈选基于当前映射规则进行映射匹配的数据标准范围,由于不同标准集下的数据标准属性可能不同,当前支持按照标准集粒度来圈选数据标准,可以通过标准集所属目录快速筛选查询。

4)映射配置

圈选出来的数据标准和资产对象按照什么逻辑进行匹配呢?答案就是“映射配置”。通过配置标准属性和资产对象属性的匹配关系,可以将数据标准和资产对象一一关联起来,生成映射关系。同样的,为了减少配置成本,Dataphin 为每种资产类型内置了多条常用的映射逻辑表达式,以“Dataphin 指标“为例,内置的映射逻辑包括:“标准名称”=“指标名称”、“标准英文名”=“对象名称”、“标准名称”=“指标描述”;多条表达式之间支持用“且、或”关系连接。特别提醒您,每一条映射逻辑中配置的标准属性和对象属性的数据类型需要保持一致,否则可能影响映射正确性。

5)执行配置

规则配置完成后需要按照一定的频率来执行生成对应的结果,因此我们需要进行执行条件配置。Dataphin 支持两种执行方式,一种是“手动执行”,即只在需要的时候手动点击“运行”规则生成匹配结果;另一种是“定时执行”,即按照配置的执行周期和时间点,在对应时刻自动运行生成结果。此外,针对定时执行,还支持配置每次执行的最长时间,超出最长时间会自动置为执行失败,并且可以配置重试次数和重试间隔,从而降低网络异常等场景下的人工干预成本,同时也能保证规则执行的稳定性。

手动批量导入

除了通过落标映射规则实现自动映射匹配, Dataphin 也支持导入 Excel 文件的方式实现手动批量导入映射关系。以导入已确认映射关系为例:

  • 首先需要下载配置模板,根据配置说明提示填写配置文件并上传;
  • 配置更新策略:如果本次导入的映射关系已经存在于“已映射”或“无效映射”关系列表,您可以按照业务需求选择冲突处理策略,并点击“开始导入”;
  • 导入过程中您可以实时查看导入日志,导入完成后,根据系统校验规则,您可以查看导入异常的记录及失败原因,以及根据配置的更新策略跳过不处理的记录;您可以一键下载异常或跳过记录,修改后重新导入,完成映射关系的批量配置。

研发过程手动关联

V3.11 版本起,Dataphin 支持在新建/编辑逻辑表及物理表的过程中,手动给字段关联数据标准,并基于数据标准和词根定义自动填充相关信息,将贯标流程前置。具体功能如下:

  • 命名规范:输入字段描述后,系统将基于已配置的词根将描述自动转换为词根对应的缩写拼接,作为智能推荐的字段名称,实现字段命名标准化。
  • 关联标准推荐:根据设置的字段名称和说明智能推荐相关的数据标准;如果标准定义了“数据类型”和“数据分类”系统属性,还将自动设置当前字段的数据类型和数据分类,从而更好的保障数据开发的规范性和标准化定义。

四、结语

后续,Dataphin 数据标准将继续拓展待确认映射关系管理、智能推荐映射关系等功能,敬请期待哦!

相关文章
|
6月前
|
存储 SQL 分布式计算
Onetable:统一的表格式元数据表示
Onetable:统一的表格式元数据表示
61 2
|
29天前
|
自动驾驶 物联网 5G
|
3月前
|
Java 应用服务中间件 HSF
Java应用结构规范问题之dal层中的mapper数据源类型进行组织的问题如何解决
Java应用结构规范问题之dal层中的mapper数据源类型进行组织的问题如何解决
|
4月前
|
Java API 数据库
使用JPA实现复杂数据模型映射
使用JPA实现复杂数据模型映射
|
自然语言处理 数据管理
数据标准和数据规范到底有什么区别???
数据标准和数据规范到底有什么区别???
|
存储 SQL BI
数据字典标准与统一的重要性(码表&枚举值)
关于“公共代码、编码、码表、枚举值”的含义,以及在软件开发中的应用场景。
436 0
数据字典标准与统一的重要性(码表&枚举值)
|
存储 前端开发 Java
使用mybatisplus的通用枚举实现存储显示相分离
使用mybatisplus的通用枚举实现存储显示相分离
244 0
使用mybatisplus的通用枚举实现存储显示相分离
【TP5项目统一规范】修改之前的获取数据信息
【TP5项目统一规范】修改之前的获取数据信息
204 0
【TP5项目统一规范】修改之前的获取数据信息
|
数据库
利用字符串相似可能性进行建立映射关系
利用字符串相似可能性进行建立映射关系
115 0
|
Kubernetes NoSQL 数据库
K8S 最佳实践-映射外部服务
大多数 Kubernetes 用户都有可能用到集群外部的服务。例如,您可能使用 Twillio API 发送短信,或使用 Google Cloud Vision API 进行图像分析。 如果位于不同环境中的应用连接相同的外部端点,并且您不打算将外部服务引入 Kubernetes 集群,那么在代码中直接使用外部服务端点是完全可以的。
3744 0