《全链路数据治理-智能数据建模 》——大白话数据建模(1)

简介: 《全链路数据治理-智能数据建模 》——大白话数据建模(1)

大白话数据建模


作者:苏靖鑫,DataWorks 产研团队


一、 前言


合理的数据架构关乎企业的命脉,能够协助企业数据资产长久健康发展。数据开发、数据资产、数据治理,而这一切都是围绕数据建模展开的。


数据研发同学JobModel 里也指出了这一点:不再局限于ETL 开发,会更侧重数据建模能力或者数据架构的能力。


关于建模的资料很多,或许涉及过多专业术语的缘故,可能不够清晰直白。因此我结合自己的理解,通过一个虚拟的案例,通过大白话给大家解释数据建模的专业术语,帮助大家快速理解。


二、 通过案例讲数据建模


Kimball 维度建模理论是目前在数据仓库领域中使用最为广泛的、也最得到认可和接纳的一项技术。目前集团数据团队工作规范就是基于它来开展,接下来我们来讲述维度建模理论的基础知识。



1. 度量与维度


当我们看到一个数字的时候,我们会想到什么?


很显然,单独一个2 无法让我们联想到任何事。我们加一些描述进去,再来看看?


image.png


加了描述以后,我们理解清楚了,原来2 代表的是小明同学在全家便利店购买的1瓶农夫山泉矿泉水,价格为2 元。


讲到这里,我们明白:单独一个数字无法描述任何现实,必须加上必要的上下文才

能让人理解。


image.png


在维度建模理论里,将数值记录(2 元)称之为度量,将上下文称之为维度,这个案例中,商品、商家和客户均是维度,维度建模便是通过这两个名词作为起点展开的。



2. 事实表


小明同学当天还购买了其他商品,数据如下所示:


image.png


这份记录购买记录的表格,由多行维度和度量构成的表格,称为事实表。它的每一行对应现实中的一个事实,这个事实被称为业务过程。


我们看到上述数据中,每一行的区分依据,是订单ID 和商品ID,称为事实表的粒度,粒度决定了事实表里每一行的细分程度。


事实表里除了记录商品ID,还记录了商品名称,称为维度属性。在实际数据处理中,事实表为了让其更可读、使用更便捷,往往会冗余一些维度属性。





《全链路数据治理-智能数据建模 》——大白话数据建模(2) https://developer.aliyun.com/article/1231149?groupCode=tech_library

相关文章
|
SQL 存储 缓存
Paimon与Spark
Paimon与Spark
909 1
|
分布式计算 Java 流计算
Fluss on 鲲鹏 openEuler 大数据实战
本文介绍了基于华为鲲鹏ARM架构服务器与openEuler操作系统,构建包含HDFS、ZooKeeper、Flink、Fluss及Paimon的实时大数据环境的完整实战过程。涵盖了软硬件配置、组件部署、集群规划、环境变量设置、安全认证及启停脚本编写等内容,适用于企业级实时数据平台搭建与运维场景。
1734 0
Fluss on 鲲鹏 openEuler 大数据实战
|
存储 SQL OLAP
分析性能提升40%,阿里云Hologres流量场景最佳实践
分析性能提升40%,阿里云Hologres流量场景最佳实践
|
10月前
|
数据采集 人工智能 大数据
2025年数据治理工具哪家好?国内数据治理厂商推荐
围绕当前市场需求,对多款主流数据治理工具进行详细解析,为企业IT及数据管理相关部门员工提供有价值的参考,助力企业精准选择数据治理解决方案。
|
存储 运维 Serverless
千万级数据秒级响应!碧桂园基于 EMR Serverless StarRocks 升级存算分离架构实践
碧桂园服务通过引入 EMR Serverless StarRocks 存算分离架构,解决了海量数据处理中的资源利用率低、并发能力不足等问题,显著降低了硬件和运维成本。实时查询性能提升8倍,查询出错率减少30倍,集群数据 SLA 达99.99%。此次技术升级不仅优化了用户体验,还结合AI打造了“一看”和“—问”智能场景助力精准决策与风险预测。
1481 69
|
SQL 存储 JSON
Flink+Paimon+Hologres 构建实时湖仓数据分析
本文整理自阿里云高级专家喻良,在 Flink Forward Asia 2023 主会场的分享。
72928 8
Flink+Paimon+Hologres 构建实时湖仓数据分析
|
SQL 存储 关系型数据库
离线数仓(五)【数据仓库建模】(1)
离线数仓(五)【数据仓库建模】
离线数仓(五)【数据仓库建模】(1)
|
Linux
linux/mac 下查看、修改文件权限的命令
这篇文章介绍了在Linux和Mac操作系统下如何查看和修改文件及文件夹的权限。
1691 0
|
数据建模 BI
《全链路数据治理-智能数据建模 》——数仓建模理论与规范(4)
《全链路数据治理-智能数据建模 》——数仓建模理论与规范(4)
696 0
|
SQL 数据采集 存储
SQL server 特殊字符"\u0000"处理
【9月更文挑战第12天】在 SQL Server 中,空字符 `\u0000` 可能导致数据处理问题。解决方法包括:1) 查找包含该字符的数据,使用 `LIKE '%\u0000%'` 进行查询;2) 替换该字符,使用 `REPLACE` 函数将其替换为空或其他字符;3) 在应用程序中验证和清理输入数据,防止其插入数据库;4) 注意数据类型、索引性能及数据库设计,确保数据质量和可靠性。
1123 0