数据地图?地图数据?傻傻分不清楚!

简介: 数据地图?地图数据?傻傻分不清楚!

前言

上周,产品架构群里一位老哥“郭同学”突然在群里发了一张这个图:

然后问:我在研究中台里说的数据地图到底长什么样子的,结果找来找去,就只能找到这个。是不是只有这种才叫数据地图?

这下可炸了锅了,一群数据产品经理纷纷过来,要给他上一课

为此,我特意开了一个数据产品的研讨会,专门给大家聊聊,什么叫“数据地图”。文末还有非常干的资料哦~~

数据地图在中台的位置

既然郭同学问的是数据中台中的数据地图,那就先得看看数据地图在数据中台处于什么位置。这里借用一下数澜的数据中台全景图:

注意看上图中间标红的位置,在数澜的数据中台架构中,数据地图处于数据资产治理部分。

资产管理具体负责什么呢?我们再看看数澜的这张图:数据资产化的具体内容是:数据规范定义、可视化数据建模、数据质量保障、全链路血缘分析、掌握资产现状和数据安全合规。

其中全链路血缘分析的作用是:“支持通过血缘分析、影响性分析,找出上下游表及若一张表更改之后对下游表的影响。通过数据链路图,用户能够清晰查看数据从哪里来,被用到哪里去。

那能不能再具体一些?

数据地图是干啥的?

我们再看看京东的数据平台门户,其中也有数据地图,其位置是在元数据应用层,同级别的应用有:元数据体检、关联分析、影响分析、数据浏览、血缘分析和数据检索。

很明显,数据地图是给使用数据的同学使用的,甚至是只给数据开发的同学使用的。

其核心功能是用来找数据的。

我们再翻到亚信科技的数据事业部总经理高伟写的《数据资产管理》一书中,第三章“治理管控:数据资产管理的基础所在”,第六节“建立数据地图,盘活数据资产”,里面写的很清楚:

数据地图是一种图形化的数据资产管理工具,它提供了多层次的图形化展示,并具备各种力度控制能力,满足业务使用、数据管理、开发运维不同应用场景的图形查询和辅助分析需求。

主要解答几个问题:

数据是什么?数据在哪里?数据如何取?数据怎么用?

还能做好各种数据管理工作:

数据体检、运维监控、安全评估。

提供的数据服务主要有:

  • 支付快速搜索定位,找到企业各种数据资产,形成有效的数据交汇;
  • 提供各种数据资产快速展现的个性化形式,方便使用者获取所需要的关键信息;
  • 积累过去所有进行过的数据加工知识,在相似场景下可以更好的推送或复用数据;
  • 在数据搜寻结果之上,直接配备方便的分析工具,使得数据使用更加得心应手;
  • 建立数据资产分布及综合评估的入口,更好地了解数据资产使用的各方面信息。

为什么要有数据地图?

我们大致已经知道了数据地图到底是个什么玩意,但是为什么要有数据地图呢?

其实,如果公司的数据库里只有百十来张表,那基本上不需要啥数据地图,因为靠脑子就能全记住了。

但是,如果有好几个系统、几百张表,而且在数仓里还分了好多层,之间的关系错综复杂,谁能全部记得住啊?

比如这位小姐姐的烦恼,相必你也能体会的到:

不仅是个人有这个烦恼,作为一个组织,保障知识的传承、减少沟通成本也是非常必要的。

既然有需求,有问题,人脑又不能完全记住,那肯定得借助系统的力量,做个产品啊。

至于为啥叫“数据地图”,其实就是借用了地图“找信息”的功能,意思是在“数据地图”功能中,能找到所有的数据。

数据地图长啥样?

数据地图不是跟百度地图、高德地图一样,而是跟ETL流程DAG一样的,或者直接是表格展示。这是atlas的例子:

更简单的表格基本上就是库名、表名、元数据代码、字段名、数仓位置、上游 、下游、管辖单位、负责人等。

血缘分析和影响分析

数据地图其实还能衍生出三个非常重要的应用:全链路分析、血缘分析和影响分析。

这是某数据治理公司的产品,全链路分析。

中间黄色的块就是查询对象,整张图就是查询对象上下所有数据链路的关系,所以叫“全链路”数据分析,看数据是怎么来的,再往哪里去。

全链路理解了,血缘分析和影响分析就很容易理解了。

血缘分析就是做亲子鉴定一样,不断找“爸爸”。

我们看到一张报表,想找到数据根源在哪里,就得一层一层的向上追溯,直到找到ODS甚至业务库。

这就是“血缘分析”:

那么对应的,影响分析就是不断的找儿子了。

业务库想改一张基础表,怕对下游的数据报表造成影响,那就得向下找到这张表涉及的所有下游表。

这就是“影响分析”:

技术架构

早期的数据地图都是直接存在数据库中,也不太智能,大多数时候都得靠人工录入信息,非常不好用。

现在基本都存在图数据库中,而且还能自动读取和更新元数据,非常人性。

这是Atlas架构图,所有数据都存在JanusGraph图数据库中,用图数据库的天然“关系”处理能力,做各种血缘、影响分析再合适不过了。


相关实践学习
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
4月前
|
存储 SQL 搜索推荐
货拉拉用户画像基于 Apache Doris 的数据模型设计与实践
货拉拉基于Apache Doris构建高效用户画像系统,实现标签管理、人群圈选与行为分析的统一计算引擎,支持秒级响应与大规模数据导入,显著提升查询效率与系统稳定性,助力实时化、智能化运营升级。
380 14
货拉拉用户画像基于 Apache Doris 的数据模型设计与实践
|
2月前
|
数据管理 BI 定位技术
元数据、数据元、元模型:三个你似懂非懂,但必须弄清的概念
本文通俗解析数据治理中易混淆的三大概念:元数据、数据元与元模型。通过实际工作场景,厘清三者关系——元数据是数据的“说明书”,数据元是语义一致的“标准单元”,元模型则是构建数据体系的“顶层设计”。助你从混乱中建立清晰认知,提升数据理解与管理效率。
|
3月前
|
DataWorks 监控 数据可视化
数据可视化大屏项目
数据可视化大屏是数据价值具象化的核心工具,广泛应用于企业实时监控、运营分析与大型活动指挥。本文系统解析从多源数据整合、DataWorks加工、DataV可视化设计,到WebSocket实时推送、权限控制与性能优化的全链路实践,并结合双11实战案例,揭示高并发、高实时场景下的技术落地逻辑,助力企业构建高效、安全、流畅的决策中枢。(238字)
188 0
|
8月前
|
数据采集 数据管理 数据挖掘
企业数据治理怎么落地?从主数据、标准化到组织协同,一文讲透!
数据治理并非IT专属,而是确保企业数据统一、可信、可用的关键。本文解析数据混乱根源,拆解治理三大核心:标准化、主数据管理与组织协同,并提供落地路径,助力企业真正用好数据,驱动业务决策。
企业数据治理怎么落地?从主数据、标准化到组织协同,一文讲透!
|
搜索推荐 大数据 定位技术
数仓治理:数据地图长什么样?
最近在做数据治理相关的工作,说下数据治理里面很重要的一块,同时也可以作为数据治理的一个成果—数据地图。
1091 0
|
数据管理 BI 定位技术
什么是数据地图、血缘分析和数据资产?
什么是数据地图、血缘分析和数据资产?
|
人工智能 算法 安全
人工智能伦理与监管:构建负责任的AI未来
【10月更文挑战第3天】随着人工智能(AI)技术的快速发展,其在社会各领域的应用日益广泛。然而,AI的广泛应用也带来了一系列伦理和监管挑战。本文旨在探讨AI的伦理问题,分析现有的监管框架,并提出构建负责任AI未来的建议。同时,本文将提供代码示例,展示如何在实践中应用这些原则。
2094 1
|
存储 SQL 分布式计算
数据湖架构及概念简介
本文整理自阿里云开源大数据技术专家陈鑫伟在7月17日阿里云数据湖技术专场交流会的分享。
4634 0
数据湖架构及概念简介
|
关系型数据库 MySQL 数据库
深入浅出MySQL索引优化:提升数据库性能的关键
在这个数据驱动的时代,数据库性能的优劣直接关系到应用的响应速度和用户体验。MySQL作为广泛使用的数据库之一,其索引优化是提升查询性能的关键。本文将带你一探MySQL索引的内部机制,分析索引的类型及其适用场景,并通过实际案例演示如何诊断和优化索引,以实现数据库性能的飞跃。
|
前端开发 搜索推荐 JavaScript
"揭秘!Python高手如何用Sphinx玩转个人博客?从零搭建,美到犯规,技术干货一网打尽,让你的博客秒变网红级存在!"
【8月更文挑战第14天】Sphinx是Python社区中用于编写和技术分享的强大工具,以其易用性和美观的文档输出著称。本文介绍如何用Sphinx打造个性化博客。首先需安装Python、Sphinx及sphinx_rtd_theme主题。接着通过`sphinx-quickstart`命令初始化项目并配置基本选项。在`conf.py`中可自定义博客元信息和主题设置。
344 3

热门文章

最新文章