Dataphin功能Tips系列(96)Dataphin 构建外部数据系统血缘统一管理解决方案(2)

简介: Dataphin通过OpenAPI支持外部系统血缘纳管,可基于Catalog/Schema/Env等属性组合注册表级与字段级血缘,补全全链路数据地图,实现跨系统血缘可视化与影响分析。

👉🏻场景

在构建全链路数据地图时,如果上游来源系统或下游消费系统的血缘缺失,可能导致链路断裂。例如:某张表在被采集至Dataphin前已通过外部ETL从上游库同步而来,若这段血缘缺失,进入Dataphin后就难以回溯源头并评估变更对下游的影响。那Dataphin 是否支持对外部系统血缘进行统一纳管与可视化展示呢?

👉🏻 解决方案及功能

Dataphin 提供 OpenAPI 注册表血缘能力,补全全链路血缘。血缘注册时需指明以下三个核心部分:

  • Source:来源表。
  • Target:目标表。
  • DetailedLineages:表的字段血缘集合。

可通过id(guid)或属性组合来唯一定位血缘关系中的对象。本次介绍属性组合的方式,尤其适用于血缘关系中包含非Dataphin资产的情况。

  • 表级资产血缘请求参数配置(Source/Target):

字段名称

字段描述

填写示例

ReferenceType

资产引用类型:通过guid还是属性定位资产,此处选择填写BY_PROPERTY

BY_PROPERTY

MetadataType

资产类型:TABLE

TABLE

MetadataSubType

资产子类型,包括:PHYSICAL_TABLE, PHYSICAL_VIEW, PHYSICAL_MATERIALIZED_VIEW, DATASOURCE_TABLE, DATASOURCE_VIEW, DATASOURCE_MATERIALIZED_VIEW, DIM_NORMAL, DIM_LEVEL, DIM_ENUM, DIM_VIRTUAL, FACT_EVENT, FACT_PROCESS, FACT_SNAPSHOT, SUM_BIZ_UNIT

DATASOURCE_TABLE

Catalog

系统根据 catalog+schema+env 确定对应资产:

若资产为dataphin表,catalog 统一为 dataphin;数据源表,填写数据源名称。

dataphin

Schema

若资产为dataphin物理表,填写项目名;dataphin逻辑表,填写板块名;数据源表,填写所属数据源database/schema。

project_a_name

Env

资产所属环境,可填dev,prod

prod

Name

资产名称

table_a_name

  • 字段级血缘请求参数配置(Source/Target),可以为空:

字段名称

字段解释

填写示例

ReferenceType

资产引用类型:通过guid还是属性定位资产,此处选择填写BY_PROPERTY

BY_PROPERTY

MetadataType

资产类型COLUMN

COLUMN

Catalog

系统根据 catalog+schema+env 确定对应资产:

若字段所属表为dataphin表,catalog 统一为 dataphin;数据源表,填写数据源名称。

dataphin

Schema

若字段所属表为dataphin物理表,填写项目名;dataphin逻辑表,填写板块名;数据源表,填写所属数据源database/schema。

project_a_name

Env

资产所属环境,可填dev,prod

prod

Name

字段名称

column_a_name

👉🏻 操作验证:

  1. 当我们明确上游和下游资产的Catalog、Schema等信息时,在公共云环境进行参数填写并调用测试,可以看到返回数据成功

  2. 随后,我们便可以在资产目录看到注册成功的数据血缘。

相关文章
|
存储 缓存 文件存储
如何保证分布式文件系统的数据一致性
分布式文件系统需要向上层应用提供透明的客户端缓存,从而缓解网络延时现象,更好地支持客户端性能水平扩展,同时也降低对文件服务器的访问压力。当考虑客户端缓存的时候,由于在客户端上引入了多个本地数据副本(Replica),就相应地需要提供客户端对数据访问的全局数据一致性。
33077 80
如何保证分布式文件系统的数据一致性
|
前端开发 容器
HTML5+CSS3前端入门教程---从0开始通过一个商城实例手把手教你学习PC端和移动端页面开发第8章FlexBox布局(上)
HTML5+CSS3前端入门教程---从0开始通过一个商城实例手把手教你学习PC端和移动端页面开发第8章FlexBox布局
17818 24
|
设计模式 存储 监控
设计模式(C++版)
看懂UML类图和时序图30分钟学会UML类图设计原则单一职责原则定义:单一职责原则,所谓职责是指类变化的原因。如果一个类有多于一个的动机被改变,那么这个类就具有多于一个的职责。而单一职责原则就是指一个类或者模块应该有且只有一个改变的原因。bad case:IPhone类承担了协议管理(Dial、HangUp)、数据传送(Chat)。good case:里式替换原则定义:里氏代换原则(Liskov 
36801 22
设计模式(C++版)
|
存储 编译器 C语言
抽丝剥茧C语言(初阶 下)(下)
抽丝剥茧C语言(初阶 下)
|
机器学习/深度学习 人工智能 自然语言处理
带你简单了解Chatgpt背后的秘密:大语言模型所需要条件(数据算法算力)以及其当前阶段的缺点局限性
带你简单了解Chatgpt背后的秘密:大语言模型所需要条件(数据算法算力)以及其当前阶段的缺点局限性
24873 15
|
机器学习/深度学习 弹性计算 监控
重生之---我测阿里云U1实例(通用算力型)
阿里云产品全线降价的一力作,2023年4月阿里云推出新款通用算力型ECS云服务器Universal实例,该款服务器的真实表现如何?让我先测为敬!
36786 15
重生之---我测阿里云U1实例(通用算力型)
|
SQL 存储 弹性计算
Redis性能高30%,阿里云倚天ECS性能摸底和迁移实践
Redis在倚天ECS环境下与同规格的基于 x86 的 ECS 实例相比,Redis 部署在基于 Yitian 710 的 ECS 上可获得高达 30% 的吞吐量优势。成本方面基于倚天710的G8y实例售价比G7实例低23%,总性价比提高50%;按照相同算法,相对G8a,性价比为1.4倍左右。
|
存储 算法 Java
【分布式技术专题】「分布式技术架构」手把手教你如何开发一个属于自己的限流器RateLimiter功能服务
随着互联网的快速发展,越来越多的应用程序需要处理大量的请求。如果没有限制,这些请求可能会导致应用程序崩溃或变得不可用。因此,限流器是一种非常重要的技术,可以帮助应用程序控制请求的数量和速率,以保持稳定和可靠的运行。
29925 52

热门文章

最新文章