Data Vault的一点思考

简介:

之前参考过很多资料,其主要的核心理念是,DV(Data Vault)是结合ER和DM的一套建模理论。其实与其说是这样,还不如说是ER这一派,想找一个中间地带,两者都能兼顾。
最近看了在维基百科看到关于DV的解释,其中提到DM的一段:
For this purpose, the hubs and related satellites on those hubs can be considered as dimensions and the links and related satellites on those links can be viewed as fact tables in a dimensional model.
简言之,维表既是Hub及Hub的卫星表,事实表是关联表及相关的卫星表。始终感觉实在是有点凑合的意思,但是不能去否认DV这个模型理念。
从阿里出的大数据之路这本书,我们看到DM已经有了演化,维表已经作为一种辅助表,事实表中已经冗余了维表信息。
换句话说,在ER里面似乎也能看到相同的演化方式,主题会变少,各主题中不再是3NF类型的表数据,而是通过冗余,形成一些常用的表字段,一些原先需要通过关系历史拉链表关联才能得到数据的,现在因为有了冗余,也变成辅助表的形式,但这里面的辅助表只是针对的该主题,在别的主题下,有可能成为关联表。
也就是说现有的数据仓库的建模形式,对于DV而言,理念是有所冲突的,因为DV还是建立在ER和DM这两个基础模型上,对于ER和DM的演化模型,DV里面定义的Hub就完全相左,但也不能完全抛弃,只要我们改一改定义就好,原先DV的框架继续采用。
那Hub怎么去定义呢?个人认为就是冗余的这部分表数据,因为我们常这些用数据,我们才会去冗余,不管是DM冗余部分,还是ER冗余
部分。这边要特别强调一下,各自冗余的部分还是保留自己的特色的,也就是还是能够看出实体与关系、维度和事实表的。
那Satellite表呢,似乎就是我们上面所说的两个模型的辅助表。
再谈谈Link,个人认为起的作用仅仅是解耦的部分,也就是针对多对多的现象。
那似乎一个新型融合DM和ER的模型就有了一个框架。那么下一次我们专门讲这个模型,欢迎大家多提问题,一起讨论。

相关实践学习
基于Hologres轻量实时的高性能OLAP分析
本教程基于GitHub Archive公开数据集,通过DataWorks将GitHub中的项⽬、行为等20多种事件类型数据实时采集至Hologres进行分析,同时使用DataV内置模板,快速搭建实时可视化数据大屏,从开发者、项⽬、编程语⾔等多个维度了解GitHub实时数据变化情况。
阿里云实时数仓实战 - 用户行为数仓搭建
课程简介 1)学习搭建一个数据仓库的过程,理解数据在整个数仓架构的从采集、存储、计算、输出、展示的整个业务流程。 2)整个数仓体系完全搭建在阿里云架构上,理解并学会运用各个服务组件,了解各个组件之间如何配合联动。 3 )前置知识要求:熟练掌握 SQL 语法熟悉 Linux 命令,对 Hadoop 大数据体系有一定的了解   课程大纲 第一章 了解数据仓库概念 初步了解数据仓库是干什么的 第二章 按照企业开发的标准去搭建一个数据仓库 数据仓库的需求是什么 架构 怎么选型怎么购买服务器 第三章 数据生成模块 用户形成数据的一个准备 按照企业的标准,准备了十一张用户行为表 方便使用 第四章 采集模块的搭建 购买阿里云服务器 安装 JDK 安装 Flume 第五章 用户行为数据仓库 严格按照企业的标准开发 第六章 搭建业务数仓理论基础和对表的分类同步 第七章 业务数仓的搭建  业务行为数仓效果图  
目录
相关文章
|
存储 SQL 大数据
一篇文章搞懂数据仓库:三种事实表(设计原则,设计方法、对比)
一篇文章搞懂数据仓库:三种事实表(设计原则,设计方法、对比)
一篇文章搞懂数据仓库:三种事实表(设计原则,设计方法、对比)
|
4月前
|
存储 人工智能 关系型数据库
湖库一体:2026年数据库架构的“终极答案”还是新瓶装旧酒?
2026年6月,OceanBase发布湖库一体AI数据库,阿里云PolarDB年初已推出AI数据湖库(Lakebase),Databricks也在6月推出了LTAP架构。“湖库一体”成为2026年数据库圈最热的概念之一。本文从湖库一体的概念定义出发,拆解其技术原理,对比“湖仓一体”与“湖库一体”的差异,分析三大厂商的落地路径,并讨论这一趋势对DBA和架构师的现实意义。
|
9月前
|
自然语言处理 安全 机器人
OpenClaw(Clawdbot)一键部署+直连苹果生态Skills教程,无需Mac Mini也能玩转iPhone/iCloud
OpenClaw的爆火让Mac Mini成了数码圈抢手货,二手市场溢价严重,而苹果生态的「围墙花园」似乎也让非Mac用户望而却步——想让OpenClaw对接iPhone、iCloud,难道必须为硬件买单?答案是否定的。只需在阿里云轻量应用服务器完成OpenClaw零基础一键部署,再安装专属苹果生态Skills,就能通过飞书控制台直接接管iPhone、操作iCloud,实现相册同步、日程管理、云盘操作、设备查找等全功能,用低成本云服务器打破苹果的硬件壁垒,真正做到「无Mac也能玩转OpenClaw+苹果生态」。
4043 9
|
5月前
|
关系型数据库 MySQL 数据库
MySQL下载安装教程 | Windows安装MySQL 8.0详解(2026最新)
MySQL是Oracle维护的开源关系型数据库,支持SQL操作,广泛用于Web应用、企业系统及数据分析。提供免费社区版和商业版,安装简便,兼容LAMP/LEMP架构,适合学习与生产环境。(239字)
5003 11
|
4月前
|
人工智能 安全 搜索推荐
QoderWork完全指南:从入门到精通,打造全能AI工作搭档+常见问题与避坑指南
QoderWork作为一款可执行的AI工作助手,凭借本地安全、自主执行、能力可扩展、持续学习的核心优势,能快速从“AI实习生”成长为适配个人与团队的全能工作搭档。从安装配置到基础功能使用,从自定义技能到MCP扩展,从高效指令到安全管理,掌握全流程操作后,可彻底解放双手,将重复工作交给AI,专注于核心创意与决策。无论是个人办公、团队协作还是企业级工作流,QoderWork都能提供灵活、安全、高效的AI辅助方案,成为提升工作效率的核心工具。持续使用并沉淀自定义技能,让AI真正融入你的工作流,实现工作效率的指数级提升。
702 0
|
JSON 安全 API
亚马逊商品列表API秘籍!轻松获取商品列表数据
亚马逊商品列表API(SP-API)提供标准化接口,支持通过关键词、分类、价格等条件搜索商品,获取ASIN、价格、销量等信息。采用OAuth 2.0认证与AWS签名,保障安全。数据以JSON格式传输,便于开发者批量获取与分析。
|
7月前
|
机器学习/深度学习 算法 机器人
逐际动力开源 FluxVLA Engine:专为具身智能打造的标准化VLA工程底座
逐际动力开源FluxVLA Engine——面向具身智能的标准化VLA工程底座。它以统一配置、标准接口、模块解耦、加速部署为核心,解决数据碎片化、代码高耦合、仿真-真机迁移难三大瓶颈,支持VLM/VLA全栈任务,开箱即用部署于UR、ALOHA、TRON2等多平台。
815 0
逐际动力开源 FluxVLA Engine:专为具身智能打造的标准化VLA工程底座
|
10月前
|
人工智能 监控 API
Anthropic 的 API 围城:第三方工具的生存指南
1月中旬,Anthropic限制Claude Pro订阅凭证仅限官方应用使用,第三方工具(如Moltbot、OpenCode)因OAuth token含`scope: "claude-code-only"`被拒。此举源于成本压力、滥用风险与生态控制。用户可选API付费、切换OpenAI/本地模型或等待传闻中的开发者订阅。行业“蜜月期”正结束。
2174 3
|
11月前
|
运维 监控 安全
可观测不等于可偷窥:运维如何在不泄露 PII 的前提下保持可追踪性?
可观测不等于可偷窥:运维如何在不泄露 PII 的前提下保持可追踪性?
424 4
|
前端开发
windows10 安装node npm 等前端环境 并配置国内源
windows10 安装node npm 等前端环境 并配置国内源
1233 3

热门文章

最新文章