Dataphin功能Tips系列(94)Dataphin 构建外部数据系统血缘统一管理解决方案(1)

简介: Dataphin支持通过OpenAPI注册外部系统血缘,补全全链路数据地图断点。提供BY_GUID/BY_PROPERTY两种方式,支持表级与字段级血缘纳管及可视化展示,助力血缘追溯与影响分析。

👉🏻场景

在构建全链路数据地图时,如果上游来源系统或下游消费系统的血缘缺失,可能导致链路断裂。例如:某张表在被采集至Dataphin前已通过外部ETL从上游库同步而来,若这段血缘缺失,进入Dataphin后就难以回溯源头并评估变更对下游的影响。那Dataphin 是否支持对外部系统血缘进行统一纳管与可视化展示呢?

👉🏻 解决方案及功能

Dataphin 提供 OpenAPI 注册表血缘能力,支持补全全链路血缘信息。血缘注册时需指明以下三个核心部分:

  • Source:来源表血缘。
  • Target:目标表血缘。
  • DetailedLineages:隶属于表的字段级(Column)血缘。

Dataphin 支持两种血缘注册方式:BY_GUID BY_PROPERTY。本文介绍 BY_GUID 的配置方法,适用于来源或下游血缘已在 Dataphin 元数据中存在的场景(例如计算源表、逻辑表或已采集的数据源表等),核心配置字段如下:

  • 表级资产血缘配置(Source/Target):

字段名称

字段描述

填写示例

ReferenceType

资产引用类型:即通过哪种方式识别并注册资产,此处填写为 BY_GUID

BY_GUID

Guid

Guid:资产唯一标识,此处通过 Guid 确认资产。

odps.3001011.ld_dummy.dim_ods_order

MetadataType

资产类型TABLE

TABLE

  • 字段级血缘配置(Source/Target),可以为空:

字段名称

字段解释

填写示例

ReferenceType

资产引用类型:即通过哪种方式识别并注册资产,此处填写为 BY_GUID

BY_GUID

Guid

资产Guid:资产唯一标识,此处为表字段Guid

odps.3001011.ld_dummy.dim_ods_order.order_id

ParentGuid

父资产标识:仅在注册字段血缘时必填,指向该字段所属表的 GUID。

odps.3001011.ld_dummy.dim_ods_order

MetadataType

资产类型COLUMN

COLUMN

👉🏻 操作验证:

  1. 当我们明确上游和下游资产的GUID等信息时,在公共云环境进行参数填写并调用测试,可以看到返回数据成功

  2. 随后,我们便可以在资产目录看到注册成功的数据血缘。


如何获取表/字段的 Guid:

  1. 页面导出:通过Dataphin目录管理中导出资产的Table/Column表 获取。
  2. OpenAPI 调用:ListTables获取表GUID,GetTablesColumns 获取字段 GUID。
  3. 手动拼接:通过各信息组合拼接,不同的表类型有不同的拼接格式。如 逻辑表的GUID为:dp_table.{租户ID}.{project_name}.{table_name},逻辑表字段GUID则在表后增加{column}
相关文章
|
6月前
|
SQL 数据可视化 大数据
Dataphin数据血缘:实现全面追溯,保障流转透明
数据血缘揭示数据从源头到应用的全链路流转关系,助力企业厘清数据来源、影响范围与质量问题根源。Dataphin通过自动采集、手动配置和OpenAPI注册三类方式构建全面的数据血缘,支持可视化展示与用于质量问题溯源,实现数据可查、可信、可管,推动高质量数据治理。
755 1
|
2月前
|
数据可视化 定位技术
Dataphin功能Tips系列(96)Dataphin 构建外部数据系统血缘统一管理解决方案(2)
Dataphin通过OpenAPI支持外部系统血缘纳管,可基于Catalog/Schema/Env等属性组合注册表级与字段级血缘,补全全链路数据地图,实现跨系统血缘可视化与影响分析。
146 1
|
2月前
|
Kubernetes 调度 流计算
Flink on Kubernetes 自定义镜像能力:让企业存量实时任务零成本迁移,实现统一平台管控
Dataphin推出Flink on Kubernetes自定义镜像能力,支持企业直接复用存量业务镜像与K8s配置,零代码改造、零环境风险完成实时任务迁移,实现“业务不动、管控升级”,兼顾稳定性与平台化治理。
129 0
|
2月前
Dataphin登录系统重磅升级:界面化SSO配置、多账号登录功能上线
Dataphin V6.0推出界面化SSO配置与多账号体系登录功能,支持CAS、OAuth2.0、SAML、飞书等多种协议,解决旧版配置复杂、不支持多源登录等痛点,提升企业单点登录体验与管理效率。
207 0
|
5月前
|
数据采集 人工智能 运维
Dataphin功能Tips系列(85)告别“人肉排障”:AI驱动数据质量根因诊断,让治理效率跃升
传统数据治理中,数据质量问题依赖人工排查,效率低且难定位根因。Dataphin 5.4推出X-数据质量根因诊断功能,基于AI大模型分析数据血缘与采样,智能定位问题源头,自动生成整改建议与影响评估,实现从发现问题到闭环治理的自动化,大幅提升治理效率与准确性。
272 0
|
6月前
|
数据采集 人工智能
Dataphin X-数据质量,智能分析质量问题并推荐整改建议
针对数据治理中质量问题难发现、根因定位难、整改效率低等痛点,推出AI驱动的数据质量问题智能分析功能。通过智能分析异常、追溯根因、构建数据证据链,自动生成含改进建议与影响评估的质量报告,提升治理效率与决策可靠性。
309 3
|
6月前
|
Prometheus 运维 Cloud Native
采集“注册调度集群”核心指标,资源消耗尽在掌握
Dataphin新增支持采集“注册调度集群”的资源指标,助力企业高效管理资源分配。
129 2
|
8月前
|
SQL 分布式计算 关系型数据库
Dataphin x Paimon 开箱即用的数据湖治理解决方案
Dataphin深度集成Apache Paimon,通过全链路功能适配和性能优化,为企业提供开箱即用的数据湖治理解决方案。
460 2
|
6月前
|
SQL 关系型数据库 MySQL
释放数据潜能,加速业务创新 —— Dataphin 5.4 新增删改API功能
Dataphin 5.4推出数据增删改API功能,支持通过配置SQL快速生成安全、可管理的CRUD接口,覆盖AI编程、数据集成、低代码等场景,降低开发成本,提升数据治理与安全性,助力企业高效释放数据价值。
403 0
|
10月前
|
数据可视化 Java 数据库连接
Dataphin JDBC:助您实现数据权限的集中管理
Dataphin JDBC提供了统一访问Dataphin中数据的功能,助您实现数据权限的集中式管理。
435 3