什么是数据地图、血缘分析和数据资产?

简介: 什么是数据地图、血缘分析和数据资产?

这是我的第85篇原创

取名字是一门学问,理科生取名字的确让人难以捉摸。比如这个数据地图、血缘分析和数据资产。如果不是干数据这行的,根本不会想到这仨词居然有关系!


数据地图

数据地图是数据治理的重要功能之一。咱顾名思义一下,是不是就是数据的地图?是的!就是所有已经被管理好的数据的地图。这个地图主要解决以下几个问题:

1、平台有多少数据资源?

2、每个数据源有多少表、字段等?

3、这些表、字段里面都是啥情况?

4、我怎么能找到这些数据?

5、我怎么理解这些数据?


所以一般来说,数据地图里都应该有以下功能来解答上面的几个问题:

1、数据概览

2、元数据查看

3、数据预览

4、数据目录

5、数据检索

6、数据注释(元数据管理中)

7、血缘关系分析


以上功能名称可能不一样,但是解决的问题都是一样的。其核心就是为了告诉你,平台现在管理着那些数据呢。类似于公司的物资目录、台账。

这是阿里数据地图的概览页面,很模糊,看一个大概意思就行了。


血缘分析

血缘分析,又叫血统分析、血缘关系等,是数据治理的重要功能之一,一般都放在数据地图/数据管理模块下。

同样再顾名思义一下,那就是数据的儿子、爸爸、爷爷这个血缘的分析?对了!就是对数据的上下游进行来龙去脉的分析!血缘分析主要解答以下问题:

1、这个数据的数据源是哪儿?

2、这个数据的上游是哪个表?哪个字段?

3、这个数据的下游到那个表?那个字段?

4、这个数据的上下游任务是什么?有哪些任务依赖?

5、这个数据改动后可能造成的的影响有哪些?


所有血缘分析一般会有以下功能:

1、数据来源跟踪;

2、数据影响分析;

3、任务依赖分析;

4、报表影响分析;


同样,名称可能不一样,但是该解决的问题还是得解决的。其核心就是想知道这个数据/任务/报表的上下游关系,一旦想改这个数据结构/任务/指标/报表,会对上下游有哪些影响。类似于公司的流程图,可以看到这个事情上上下下都是哪个角色在负责,一旦调整,会有哪些角色/人会受到影响。同样,这是阿里的血缘关系的功能页面:




数据资产

这个词应该见的最多了。咱同样也顾名思义一下,就是公司的一种“数据”形态的资产。这个数据资产主要解答以下几个问题:

1、平台有多少可用的有价值的数据?

2、这些可用的有价值的数据都是啥?

3、用什么方式可以使用这些可用的有价值的数据?

4、怎么控制这些可用的有价值的数据的权限?


所以数据资产一般会有以下功能:

1、数据资产目录

2、数据资产查询、预览

3、数据资产权限申请

4、数据资产使用(API、订阅等)


数据资产好像跟数据地图很类似,但是都是看数据哈。但是你细品一下,区分还是很明显的,数据地图目的是了解数据的来龙去脉,数据资产关注的是有价值的数据是怎么用的,一个是面向生产过程,一个是面向结果使用,一个解决上下游依赖和影响,一个解决数据怎么产生价值。上面我把数据地图类比为公司的物资目录/台账,那数据资产就是当前可用物资列表。


当然啊,现在有些数据中台的产品为了支持庞大的数据资产管理,也会弄一个数据资产地图 ,方便资源的查找。

另外,现在越来越多的数据产品,把数据资产概念扩大化,囊括了数据地图,这个需要注意一下。这个还是阿里的产品,数据资产的功能页面:

相关文章
|
SQL 存储 数据采集
【技术分享】元数据与数据血缘实现思路
【技术分享】元数据与数据血缘实现思路
7591 0
|
存储 安全 数据管理
数据安全之认识数据资产管理平台
随着企业数字化转型的深入,数据已经成为企业的重要资产。企业需要更加有效地管理和利用数据,以支持业务决策、优化运营和提高竞争力。本文让我们一起来认识数据资产及数据资产管理平台。
1552 1
|
存储 设计模式 分布式计算
全量、增量、流水、拉链、快照、代理键、缓慢变化维...
全量、增量、流水、拉链、快照、代理键、缓慢变化维...
|
SQL 消息中间件 分布式计算
12中方法,彻底搞定数据倾斜!
12中方法,彻底搞定数据倾斜!
|
数据采集 存储 分布式计算
一篇文章搞懂数据仓库:数据治理(目的、方法、流程)
一篇文章搞懂数据仓库:数据治理(目的、方法、流程)
28663 2
一篇文章搞懂数据仓库:数据治理(目的、方法、流程)
|
7月前
|
数据采集 存储 安全
一文带你讲透数据仓库分层!
在数据处理中,常遇到数据混乱、指标不一致、开发排期长等问题,根源往往在于数据分层设计不合理。本文详解数据仓库分层(ODS、DWD、DWS、DM、APP等),阐述其在数据清洗、整合、管理及应用中的关键作用,帮助提升数据质量、减少重复开发、增强系统扩展性,从而高效支撑业务决策。
一文带你讲透数据仓库分层!
|
存储 监控 druid
Druid、ClickHouse、Doris、StarRocks 的区别与分析
本文对比了 Druid、ClickHouse、Doris 和 StarRocks 四款大数据分析引擎。它们均为 OLAP 引擎,采用列式存储和分布式架构,适用于海量数据分析。Druid 擅长实时分析与高并发查询;ClickHouse 以超高性能著称,适合复杂查询;Doris 提供易用的 SQL 接口,性能均衡;StarRocks 则以其极速查询和实时更新能力脱颖而出。各引擎在数据模型、查询性能、数据更新和存储方面存在差异,适用于不同的业务场景。选择时需根据具体需求综合考虑。
7216 20
|
存储 数据采集 运维
带你读《基于数据资产全生命周期估值与实践报告》——数据资产价值评估应用场景(1)
带你读《基于数据资产全生命周期估值与实践报告》——数据资产价值评估应用场景(1)
754 0
|
存储 监控 安全
大数据架构设计原则:构建高效、可扩展与安全的数据生态系统
【8月更文挑战第23天】大数据架构设计是一个复杂而系统的工程,需要综合考虑业务需求、技术选型、安全合规等多个方面。遵循上述设计原则,可以帮助企业构建出既高效又安全的大数据生态系统,为业务创新和决策支持提供强有力的支撑。随着技术的不断发展和业务需求的不断变化,持续优化和调整大数据架构也将成为一项持续的工作。
|
存储 分布式计算 OLAP
Apache Paimon统一大数据湖存储底座
Apache Paimon,始于Flink Table Store,发展为独立的Apache顶级项目,专注流式数据湖存储。它提供统一存储底座,支持流、批、OLAP,优化了CDC入湖、流式链路构建和极速OLAP查询。Paimon社区快速增长,集成Flink、Spark等计算引擎,阿里巴巴在内部广泛应用,旨在打造统一湖存储,打通Serverless Flink、MaxCompute等,欢迎大家扫码参与体验阿里云上的 Flink+Paimon 的流批一体服务。
21116 8
Apache Paimon统一大数据湖存储底座

热门文章

最新文章