《全链路数据治理-智能数据建模 》——数仓建模理论与规范(6)

本文涉及的产品
云原生数据仓库AnalyticDB MySQL版,基础版 8ACU 100GB 1个月
简介: 《全链路数据治理-智能数据建模 》——数仓建模理论与规范(6)

《全链路数据治理-智能数据建模 》——数仓建模理论与规范(5) https://developer.aliyun.com/article/1231080?groupCode=tech_library



4. 模型设计


1) 设计原则


• 高内聚,低耦合

• 规范性,一致性

• 稳定性,可扩展

• 公共逻辑下沉

• 成本性,能平衡

• 支持多次回刷


2) 维度表设计


设计流程


image.png


基本原则


• 缓慢变化维

Kimball 的三种处理方法:重写、插入新记录、插入维度列(仅限两次变更);

阿里采用极限存储的方法。


• 维度的一致性

相同维度属性在不同物理表种字段名称、数据类型、内容必须一致。


• 维度的组合和拆分

􎛏 同一维度不同属性关联性强可以整合,如会员基础属性星级等。

􎛏 同一维度不同属性差异大的可拆分,如淘宝商品与航旅商品。

􎛏 同一维度不同属性关联度不强的可拆分,如会员表拆为买卖家维度表,如淘

宝商品与CBU 商品。

􎛏 从产出时效、易用性、稳定性角度考虑是否需要拆分,如商品维度表和扩展

表。



命名规则


dim_{业务BU/pub}_{数据域}_{维度定义}[_{自定义命名标签}]


最佳实践


以淘系事实表、交易订单表和其中冗余的商品、买卖家相关维度表为例来介绍。

下图是淘系商品维度表:dim_tb_itm


image.png


􎛏 维度:商品

􎛏 维度属性:商品标题、商品金额、商品颜色、主图等

􎛏 冗余属性:类目维度属性等

下图是淘系商品属性扩展维度表:dim_tb_itm_extend


image.png



扩展维度表从主维度表中拆分出来主要是有三个方面考虑:稳定性、产出时效、变

化频次角度。


主维度表VS 扩展维度表:



主维度表

• 稳定

• 产出时间早

• 热度高



扩展维度表

• 变化较快

• 产出时间晚

• 热度低



《全链路数据治理-智能数据建模 》——数仓建模理论与规范(7) https://developer.aliyun.com/article/1231078?groupCode=tech_library

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
5月前
|
存储 数据采集 JavaScript
深入理解数仓开发(一)数据技术篇之日志采集
深入理解数仓开发(一)数据技术篇之日志采集
|
19天前
|
1月前
|
SQL
数仓规范之sql编写规范
编写SQL时,应遵循以下规范:所有关键字小写,表别名按a, b, c...顺序使用,复杂逻辑多行书写,提高可读性。SELECT字段需逐行列出,避免使用*,GROUP BY字段同样处理。WHERE条件多于一个时,每条件一行。JOIN子表推荐使用嵌套查询方式1,明确关联条件,避免笛卡尔积。关键逻辑需注释,INSERT SELECT后最外层字段加注释说明用途。示例中展示了推荐的JOIN替代子查询的写法,以提高代码的可读性和维护性。
45 1
|
5月前
|
消息中间件 关系型数据库 Kafka
深入理解数仓开发(二)数据技术篇之数据同步
深入理解数仓开发(二)数据技术篇之数据同步
|
3月前
|
SQL DataWorks 数据库连接
实时数仓 Hologres操作报错合集之如何将物理表数据写入临时表
实时数仓Hologres是阿里云推出的一款高性能、实时分析的数据库服务,专为大数据分析和复杂查询场景设计。使用Hologres,企业能够打破传统数据仓库的延迟瓶颈,实现数据到决策的无缝衔接,加速业务创新和响应速度。以下是Hologres产品的一些典型使用场景合集。
|
3月前
|
DataWorks 负载均衡 Serverless
实时数仓 Hologres产品使用合集之如何导入大量数据
实时数仓Hologres是阿里云推出的一款高性能、实时分析的数据库服务,专为大数据分析和复杂查询场景设计。使用Hologres,企业能够打破传统数据仓库的延迟瓶颈,实现数据到决策的无缝衔接,加速业务创新和响应速度。以下是Hologres产品的一些典型使用场景合集。
|
3月前
|
SQL 消息中间件 OLAP
OneSQL OLAP实践问题之实时数仓中数据的分层如何解决
OneSQL OLAP实践问题之实时数仓中数据的分层如何解决
56 1
|
3月前
|
SQL 分布式计算 关系型数据库
实时数仓 Hologres操作报错合集之指定主键更新模式报错主键数据重复,该如何处理
实时数仓Hologres是阿里云推出的一款高性能、实时分析的数据库服务,专为大数据分析和复杂查询场景设计。使用Hologres,企业能够打破传统数据仓库的延迟瓶颈,实现数据到决策的无缝衔接,加速业务创新和响应速度。以下是Hologres产品的一些典型使用场景合集。
|
3月前
|
SQL 分布式计算 MaxCompute
实时数仓 Hologres产品使用合集之如何在插入数据后获取自增的id值
实时数仓Hologres是阿里云推出的一款高性能、实时分析的数据库服务,专为大数据分析和复杂查询场景设计。使用Hologres,企业能够打破传统数据仓库的延迟瓶颈,实现数据到决策的无缝衔接,加速业务创新和响应速度。以下是Hologres产品的一些典型使用场景合集。
实时数仓 Hologres产品使用合集之如何在插入数据后获取自增的id值
|
4月前
|
Cloud Native 关系型数据库 新能源
下一篇
无影云桌面