《全链路数据治理-智能数据建模 》——数仓建模理论与规范(6)

本文涉及的产品
云原生数据仓库AnalyticDB MySQL版,基础版 8ACU 100GB 1个月
简介: 《全链路数据治理-智能数据建模 》——数仓建模理论与规范(6)

《全链路数据治理-智能数据建模 》——数仓建模理论与规范(5) https://developer.aliyun.com/article/1231080?groupCode=tech_library



4. 模型设计


1) 设计原则


• 高内聚,低耦合

• 规范性,一致性

• 稳定性,可扩展

• 公共逻辑下沉

• 成本性,能平衡

• 支持多次回刷


2) 维度表设计


设计流程


image.png


基本原则


• 缓慢变化维

Kimball 的三种处理方法:重写、插入新记录、插入维度列(仅限两次变更);

阿里采用极限存储的方法。


• 维度的一致性

相同维度属性在不同物理表种字段名称、数据类型、内容必须一致。


• 维度的组合和拆分

􎛏 同一维度不同属性关联性强可以整合,如会员基础属性星级等。

􎛏 同一维度不同属性差异大的可拆分,如淘宝商品与航旅商品。

􎛏 同一维度不同属性关联度不强的可拆分,如会员表拆为买卖家维度表,如淘

宝商品与CBU 商品。

􎛏 从产出时效、易用性、稳定性角度考虑是否需要拆分,如商品维度表和扩展

表。



命名规则


dim_{业务BU/pub}_{数据域}_{维度定义}[_{自定义命名标签}]


最佳实践


以淘系事实表、交易订单表和其中冗余的商品、买卖家相关维度表为例来介绍。

下图是淘系商品维度表:dim_tb_itm


image.png


􎛏 维度:商品

􎛏 维度属性:商品标题、商品金额、商品颜色、主图等

􎛏 冗余属性:类目维度属性等

下图是淘系商品属性扩展维度表:dim_tb_itm_extend


image.png



扩展维度表从主维度表中拆分出来主要是有三个方面考虑:稳定性、产出时效、变

化频次角度。


主维度表VS 扩展维度表:



主维度表

• 稳定

• 产出时间早

• 热度高



扩展维度表

• 变化较快

• 产出时间晚

• 热度低



《全链路数据治理-智能数据建模 》——数仓建模理论与规范(7) https://developer.aliyun.com/article/1231078?groupCode=tech_library

相关实践学习
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
4月前
|
运维 算法 机器人
阿里云AnalyticDB具身智能方案:破解机器人仿真数据、算力与运维之困
本文将介绍阿里云瑶池旗下的云原生数据仓库AnalyticDB MySQL推出的全托管云上仿真解决方案,方案采用云原生架构,为开发者提供从开发环境、仿真计算到数据管理的全链路支持。
|
9月前
|
存储 SQL 数据挖掘
数据无界、湖仓无界, Apache Doris 湖仓一体解决方案全面解读(上篇)
湖仓一体架构融合了数据湖的低成本、高扩展性,以及数据仓库的高性能、强数据治理能力,高效应对大数据时代的挑战。为助力企业实现湖仓一体的建设,Apache Doris 提出了数据无界和湖仓无界核心理念,并结合自身特性,助力企业加速从 0 到 1 构建湖仓体系,降低转型过程中的风险和成本。本文将对湖仓一体演进及 Apache Doris 湖仓一体方案进行介绍。
858 1
数据无界、湖仓无界, Apache Doris 湖仓一体解决方案全面解读(上篇)
|
9月前
|
人工智能 自然语言处理 关系型数据库
DMS+AnalyticDB助力钉钉AI助理,轻松玩转智能问数
DMS+AnalyticDB助力钉钉AI助理,轻松玩转智能问数
366 3
|
人工智能 数据挖掘 数据库
拥抱Data+AI|破解电商7大挑战,DMS+AnalyticDB助力企业智能决策
本文为数据库「拥抱Data+AI」系列连载第1篇,该系列是阿里云瑶池数据库面向各行业Data+AI应用场景,基于真实客户案例&最佳实践,展示Data+AI行业解决方案的连载文章。本篇内容针对电商行业痛点,将深入探讨如何利用数据与AI技术以及数据分析方法论,为电商行业注入新的活力与效能。
拥抱Data+AI|破解电商7大挑战,DMS+AnalyticDB助力企业智能决策
|
11月前
|
人工智能 数据库 自然语言处理
拥抱Data+AI|DMS+AnalyticDB助力钉钉AI助理,轻松玩转智能问数
「拥抱Data+AI」系列文章由阿里云瑶池数据库推出,基于真实客户案例,展示Data+AI行业解决方案。本文通过钉钉AI助理的实际应用,探讨如何利用阿里云Data+AI解决方案实现智能问数服务,使每个人都能拥有专属数据分析师,显著提升数据查询和分析效率。点击阅读详情。
拥抱Data+AI|DMS+AnalyticDB助力钉钉AI助理,轻松玩转智能问数
|
10月前
|
人工智能 分布式计算 Cloud Native
云原生数据仓库AnalyticDB:深度智能化的数据分析洞察
云原生数据仓库AnalyticDB(ADB)是一款深度智能化的数据分析工具,支持大规模数据处理与实时分析。其架构演进包括存算分离、弹性伸缩及性能优化,提供zero-ETL和APS等数据融合功能。ADB通过多层隔离保障负载安全,托管Spark性能提升7倍,并引入AI预测能力。案例中,易点天下借助ADB优化广告营销业务,实现了30%的任务耗时降低和20%的成本节省,展示了云原生数据库对出海企业的数字化赋能。
468 3
|
人工智能 数据库 决策智能
拥抱Data+AI|如何破解电商7大挑战?DMS+AnalyticDB助力企业智能决策
本文为阿里云瑶池数据库「拥抱Data+AI」系列连载第1篇,聚焦电商行业痛点,探讨如何利用数据与AI技术及分析方法论,为电商注入新活力与效能。文中详细介绍了阿里云Data+AI解决方案,涵盖Zero-ETL、实时在线分析、混合负载资源隔离、长周期数据归档等关键技术,帮助企业应对数据在线重刷、实时分析、成本优化等挑战,实现智能化转型。
拥抱Data+AI|如何破解电商7大挑战?DMS+AnalyticDB助力企业智能决策