前瞻|Amundsen的数据血缘功能

简介: 目前,Amundsen并不支持表级别和列级别的数据血缘功能,也没有办法展示数据的来龙去脉。作为Amundsen一项非常核心的功能,Lineage功能早已经提上日程,并进入设计与研发阶段。本位将展示此功能的一些基本设计。

概述


初步设计是通过表详情页,进入到相关页面,来展示表的来源与输出。

微信图片_20220528150656.png

作为这项新的功能,就涉及到了几个新的概念。

新的概念

Lineage:这是一个术语,代表了数据流的传递过程,从一个实体到另一个实体。特别是ETL的过程,重点关注表到表,列到列的数据流转过程。

Upstream:数据从上游流向下游,Upstream就代表着当前的数据来源。

Downstream:代表了使用了当前数据的相关实体。


表级别


页面分为Upstream以及Downstream两个选项卡。

每个选项卡将包含从中继承或使用数据的表的列表。这允许用户以非常简单的方式查看。

微信图片_20220528150658.png


列级别


和表级别相似,可通过扩展列的元数据来查看。

微信图片_20220528150702.png

当然这还只是初步的设计,未来可能会有更多的变化,我们会持续关注~

附一张Apache Atlas此功能的实现图

微信图片_20220528150704.jpg

相关文章
|
SQL 数据挖掘 BI
建设自己的取数平台:背景
数据从业者,无论是数仓同学、还是数分同学,都对“数据为什么对不上”这类问题深恶痛绝。
812 0
建设自己的取数平台:背景
|
1月前
|
数据采集 人工智能 自然语言处理
【企业实践】雅戈尔: 3 亿行数据表构成的“孤岛”,如何真正为决策提效?
雅戈尔通过 Dataphin 进行数据建设与治理,在业务应用过程中为决策提供依据,提升效率。
163 3
【企业实践】雅戈尔: 3 亿行数据表构成的“孤岛”,如何真正为决策提效?
|
SQL 弹性计算 分布式计算
基于星轨-数据中台工具的数据探查
使用DataWorks对MaxCompute进行数据探查,通过星轨-数据中台工具进行对MaxCompute的数据探查
|
数据采集 存储 数据库
2、电商数仓(业务数据采集平台)电商业务流程、电商常识、电商系统表结构、业务数据模拟、业务数据采集模块(一)
2、电商数仓(业务数据采集平台)电商业务流程、电商常识、电商系统表结构、业务数据模拟、业务数据采集模块(一)
|
6月前
|
SQL 监控 安全
Dataphin V3.11焕新升级丨2大全新模块上线,让数据分析更敏捷、让数据流通更安全
Dataphin V3.11焕新升级丨2大全新模块上线,让数据分析更敏捷、让数据流通更安全
199 0
|
监控 BI 定位技术
直播程序源码开发建设:洞察全局,数据统计与分析功能
数据统计与分析功能不管是对直播程序源码平台的主播或运营者都会有极大的帮助,是了解观众需求、优化用户体验成为直播平台发展的关键功能,这也是开发搭建直播程序源码平台的必备功能之一。
直播程序源码开发建设:洞察全局,数据统计与分析功能
|
数据采集 消息中间件 数据可视化
2、电商数仓(业务数据采集平台)电商业务流程、电商常识、电商系统表结构、业务数据模拟、业务数据采集模块(二)
2、电商数仓(业务数据采集平台)电商业务流程、电商常识、电商系统表结构、业务数据模拟、业务数据采集模块(二)
带你读《全链路数据治理-全域数据集成》之8:5. 附表:实时同步支持的数据源与对应的能力
带你读《全链路数据治理-全域数据集成》之8:5. 附表:实时同步支持的数据源与对应的能力
126 0
带你读《全链路数据治理-全域数据集成》之14:11. 附表:离线同步支持的数据源与对应的能力
带你读《全链路数据治理-全域数据集成》之14:11. 附表:离线同步支持的数据源与对应的能力
134 0
|
分布式计算 DataWorks 关系型数据库
带你读《全链路数据治理-全域数据集成》之22:1. 背景信息
带你读《全链路数据治理-全域数据集成》之22:1. 背景信息
191 0
下一篇
无影云桌面