前瞻|Amundsen的数据血缘功能

简介: 目前,Amundsen并不支持表级别和列级别的数据血缘功能,也没有办法展示数据的来龙去脉。作为Amundsen一项非常核心的功能,Lineage功能早已经提上日程,并进入设计与研发阶段。本位将展示此功能的一些基本设计。

概述


初步设计是通过表详情页,进入到相关页面,来展示表的来源与输出。

微信图片_20220528150656.png

作为这项新的功能,就涉及到了几个新的概念。

新的概念

Lineage:这是一个术语,代表了数据流的传递过程,从一个实体到另一个实体。特别是ETL的过程,重点关注表到表,列到列的数据流转过程。

Upstream:数据从上游流向下游,Upstream就代表着当前的数据来源。

Downstream:代表了使用了当前数据的相关实体。


表级别


页面分为Upstream以及Downstream两个选项卡。

每个选项卡将包含从中继承或使用数据的表的列表。这允许用户以非常简单的方式查看。

微信图片_20220528150658.png


列级别


和表级别相似,可通过扩展列的元数据来查看。

微信图片_20220528150702.png

当然这还只是初步的设计,未来可能会有更多的变化,我们会持续关注~

附一张Apache Atlas此功能的实现图

微信图片_20220528150704.jpg

相关文章
|
3月前
|
存储 大数据 数据处理
洞察未来:数据治理中的数据架构新思维
数据治理中的数据架构新思维对于应对未来挑战、提高数据处理效率、加强数据安全与隐私保护以及促进数据驱动的业务创新具有重要意义。企业需要紧跟时代步伐,不断探索和实践新型数据架构,以洞察未来发展趋势,为企业的长远发展奠定坚实基础。
|
8月前
|
SQL 监控 安全
Dataphin V3.11焕新升级丨2大全新模块上线,让数据分析更敏捷、让数据流通更安全
Dataphin V3.11焕新升级丨2大全新模块上线,让数据分析更敏捷、让数据流通更安全
216 0
|
数据采集 数据建模 BI
数据中台实战(05)-如何统一管理纷繁杂乱的数据指标?
数据中台实战(05)-如何统一管理纷繁杂乱的数据指标?
505 1
|
存储 架构师 搜索推荐
《全链路数据治理-智能数据建模 》——数仓建模理论与规范(2)
《全链路数据治理-智能数据建模 》——数仓建模理论与规范(2)
550 0
|
数据建模 BI
《全链路数据治理-智能数据建模 》——数仓建模理论与规范(4)
《全链路数据治理-智能数据建模 》——数仓建模理论与规范(4)
376 0
|
数据建模
《全链路数据治理-智能数据建模 》——数仓建模理论与规范(5)
《全链路数据治理-智能数据建模 》——数仓建模理论与规范(5)
357 0
《全链路数据治理-智能数据建模 》——数仓建模理论与规范(5)
|
存储 运维 DataWorks
《全链路数据治理-智能数据建模 》——大白话数据建模(6)
《全链路数据治理-智能数据建模 》——大白话数据建模(6)
156 0
|
数据建模
《全链路数据治理-智能数据建模 》——大白话数据建模(4)
《全链路数据治理-智能数据建模 》——大白话数据建模(4)
203 0
|
DataWorks 数据建模 数据处理
《全链路数据治理-智能数据建模 》——大白话数据建模(1)
《全链路数据治理-智能数据建模 》——大白话数据建模(1)
341 0
|
数据建模
《全链路数据治理-智能数据建模 》——大白话数据建模(5)
《全链路数据治理-智能数据建模 》——大白话数据建模(5)
157 0