数仓治理:数据地图长什么样?

简介: 最近在做数据治理相关的工作,说下数据治理里面很重要的一块,同时也可以作为数据治理的一个成果—数据地图。

最近在做数据治理相关的工作,说下数据治理里面很重要的一块,同时也可以作为数据治理的一个成果—数据地图。

图:来自亿信

文章分为以下四个部分:

1. 背景

2. 数据地图需要解决的问题

3. 数据地图的能力

4. 数据地图长什么样

01背景

讲好什么是数据地图,还有从数据治理说起,很多公司的数据治理搞的就仅仅是看了几篇网上了理论文章,就开干,最终不了了之。为什么?其中一个很重要的原因是没有做好数据地图。开始打仗了,才发现自己连一个作战地图都没有,怎么调兵遣将?数据治理同事做了大量的数据模型和指标,但是数据使用人员却不知道如何快速找到自己想要的数据模型和指标。

02数据地图需要解决的问题

上面背景已经说了,数据地图至少应该解决两个问题:如何寻找数据如何用好数据

如何寻找数据

企业级的数据仓库会有上千个数据模型,对于分析师来说,怎么找到自己要用的模型呢?比如分析师在找销量数据时,可能会有很多销量的指标,所以数据地图需要对销量数据进行区分,以便能够指导是哪类商品的销量,同一类的销量可能还会来自不同系统,需要对不同系统的销量进行区分等等。

如何利用好数据

很多时候分析师或业务人员拿到数据后还会找数据工程师确认数据的来源,口径是否是自己想要的数据。有很多数据工程师都抱怨自己会花费很多时间“解释”指标。

只有让数据使用人员能够快速的找到数据并利用好数据,数据才能真正的发挥价值,而数据地图就是来解决这个问题的。

03 数据地图的能力

根据上面说的数据地图需要解决的问题,那么数据地图应该具备数据搜索、数据推荐、数据解析、数据画像四大关键能力。

数据搜索

通过对数据的分类、打标签等,让用户快速的搜索出自己想要的数据,类似百度搜索,输入关键字,即可查询出相关的内容。比如搜索“手机销量”,能够精准的匹配出对应名称的指标和数据模型,还会带出符合关键字搜索规则的相关其他指标和模型。

数据推荐

如果你玩短视频平台,就会发现,每次APP都会给你推荐你感兴趣的视频,比如你喜欢看美女,点个赞就好,会一直给你推高质量的美女视频,我们也称之为“大数据杀熟”。

同样数据也一样,很多人都使用的数据,那必然是业务关键的数据,数据推荐可以让用户更容易找到自己相关业务的高质量、可食用的数据模型和指标,大家都不用的模型和数据,要么是错误的指标,要么是过期的指标,后面也方便对这些模型指标进行优化和下线。

推荐是系统自动实现的,同时我们也要提供一个手动实现的推荐,比如收藏功能,收藏了下次能够更高效的访问使用。

数据解析

数据解析可以帮助业务使用人员“读懂数据”,比如可以看到数据的指标口径,数据模型的描述、字段数据来源,数据模型的血缘关系,保存周期等等。

数据画像

用户画像这次我们了解的多一些,主要描述用户的特征,喜好等,数据一样也有画像,数据所属的业务,数据本书的标签,数据画像可以提高搜索的准确性。

04数据地图长什么样

根据上面的数据地图能力总结,画了部分数据地图的功能图,大家请参考。

数据搜索

数据推荐

数据解析

数据画像

05 总结

当然数据地图在每个公司和业务场景下理解可能还会有偏差,比如还有任务血缘、数据血缘等我没有提到。但是总的来说,数据地图的目的只有一个,就是解决“取数难”和“用数难”两大问题。

你的公司有建设数据地图吗,是什么样的,欢迎大家留言讨论~

相关实践学习
数据库实验室挑战任务-初级任务
本场景介绍如何开通属于你的免费云数据库,在RDS-MySQL中完成对学生成绩的详情查询,执行指定类型SQL。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
目录
相关文章
|
7月前
|
存储 数据挖掘 BI
数据平台发展史-从数据仓库数据湖到数据湖仓 1
数据平台发展史-从数据仓库数据湖到数据湖仓
|
9天前
|
分布式计算 DataWorks MaxCompute
DataWorks产品使用合集之在DataWorks中,将数据集成功能将AnalyticDB for MySQL中的数据实时同步到MaxCompute中如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
22 0
|
2月前
|
关系型数据库 MySQL OLAP
PolarDB +AnalyticDB Zero-ETL :免费同步数据到ADB,享受数据流通新体验
Zero-ETL是阿里云瑶池数据库提供的服务,旨在简化传统ETL流程的复杂性和成本,提高数据实时性。降低数据同步成本,允许用户快速在AnalyticDB中对PolarDB数据进行分析,降低了30%的数据接入成本,提升了60%的建仓效率。 Zero-ETL特性包括免费的PolarDB MySQL联邦分析和PolarDB-X元数据自动同步,提供一体化的事务处理和数据分析,并能整合多个数据源。用户只需简单配置即可实现数据同步和实时分析。
|
2月前
|
SQL 数据采集 存储
数据仓库(12)数据治理之数仓数据管理实践心得
这边文章聊聊自己对数据治理开发实践的一些思路,就是聊聊怎么开始去做数据治理这件事情。说起数据治理,有时候虽然看了很多文章,看了很多的介绍,了解数据治理的理论,但是实际上需要我们去搞的时候,就会踩很多的坑。这里记一下自己做数据治理的一些思路,做做笔记,也分享给需要的同学。 当然,想要做数据治理,想要学习了解,一下数据治理的范围,理论等,最好可以看看别人怎么做的,了解数据治理可以参考:[数据仓库(11)什么是大数据治理,数据治理的范围是哪些](https://zhuanlan.zhihu.com/p/467433967)。
308 0
|
2月前
|
存储 大数据 数据管理
数据仓库(09)数仓缓慢变化维度数据的处理
数据仓库的重要特点之一是反映历史变化,所以如何处理维度的变化是维度设计的重要工作之一。缓慢变化维的提出是因为在现实世界中,维度的属性并不是静态的,它会随着时间的流逝发生缓慢的变化,与数据增长较为快速的事实表相比,维度变化相对缓慢。阴齿这个就叫做缓慢变化维。
228 2
数据仓库(09)数仓缓慢变化维度数据的处理
|
3月前
|
SQL 分布式计算 关系型数据库
Dataphin实现MaxCompute外表数据快速批量同步至ADB MySQL
当前大数据时代背景下,企业对数据的处理、分析和实时应用的需求日益增强。阿里云MaxCompute广泛应用于海量数据的ETL、数据分析等场景,但在将处理后的数据进一步同步至在线数据库系统,如ADB MySQL 3.0(阿里云自研的新一代云原生关系型数据库MySQL版)以支持实时查询、业务决策等需求时,可能会遇到数据迁移速度缓慢的问题。 DataphinV3.14版本支持外表导入SQL的带参调度,实现通过MaxCompute外表的方式将数据批量同步至ADB MySQL 3.0中,显著提升数据迁移的速度和效率。
292 1
|
4月前
|
SQL 分布式计算 Java
数仓学习---7、数据仓库设计、数据仓库环境准备、模拟数据生成
数仓学习---7、数据仓库设计、数据仓库环境准备
138 2
|
4月前
|
SQL 存储 分布式计算
Hologres实时湖仓能力增强,挑战5分钟加速分析OSS数据
5分钟快速使用Hologres实时湖仓能力,无需移动数据,直接加速读取存储于数据湖OSS上的Hudi、Delta、Paimon等格式类型的数据
|
5月前
|
SQL 存储 数据挖掘
带你读《Apache Doris 案例集》——05 当 Apache Doris 遇上大模型:探秘腾讯音乐如何 基于大模型+ OLAP 构建智能数据服务平台(1)
带你读《Apache Doris 案例集》——05 当 Apache Doris 遇上大模型:探秘腾讯音乐如何 基于大模型+ OLAP 构建智能数据服务平台(1)
|
5月前
|
存储 SQL OLAP
带你读《Apache Doris 案例集》——05 当 Apache Doris 遇上大模型:探秘腾讯音乐如何 基于大模型+ OLAP 构建智能数据服务平台(3)
带你读《Apache Doris 案例集》——05 当 Apache Doris 遇上大模型:探秘腾讯音乐如何 基于大模型+ OLAP 构建智能数据服务平台(3)