【DBMS 数据库管理系统】数据仓库 数据组织 ( 数据组织级别 | 元数据 | 粒度 | 分割 | 数据组织形式 )(一)

简介: 【DBMS 数据库管理系统】数据仓库 数据组织 ( 数据组织级别 | 元数据 | 粒度 | 分割 | 数据组织形式 )(一)

一、数据仓库中的 数据组织级别


数据仓库中的数据组织 级别 : 下面 细节程度 由低到高 逐一解析 ;


早期细节级别数据 : 之前的一段时间的历史数据 ;

当前细节级别数据 : 最近阶段的历史数据 ;

轻度综合级别数据 : 以 天 , 星期 , 月 , 为时间单位综合数据 ;

高度综合级别数据 : 以 季度 , 年 , 为时间单位综合数据 ;


引入 “力度” 概念 : 上述介绍的 数据的不同的综合级别 , 称为力度 ;


力度效果 : 力度越大 , 细节成都越低 , 综合程度越高 ;

级别划分 : 数据的综合级别的划分 , 是根据力度进行划分的 ;


数据仓库中的数据组织 涉及概念 : 粒度 与 分割 , 数据仓库数据组织形式 , 数据仓库数据追加 ;






二、数据仓库中的 元数据


元数据 ( MetaData ) :


概念 : 关于 “数据” 的 数据 ;

数据库 -> 数据仓库 : 从 操作型环境 向 数据仓库环境 转换 , 建立的元数据 ; 包含 元数据项名 , 属性 , 属性在数据仓库中的转换 ;

数据仓库 -> 前端应用 映射 : 多维数据模型 与 前端工具 之间建立的映射 , 该映射相关的数据 是 元数据 ;





三、粒度 ( 根据 数据综合程度 划分粒度 )


根据 “数据综合程度” 划分粒度 : “粒度” 是对 数据仓库 中的数据 的 综合程度高低 进行的度量 ;


粒度与综合 : 粒度越小 , 数据细节程度越高 , 数据的综合程度越低 ;

多粒度查询 : 数据仓库中一般查询是多粒度查询 , 不同的粒度 , 能回答不同的查询 ;


不同粒度查询举例 : 粒度大小影响数据库查询的效率 ;


细节查询 : 如果要查询 A AA 是否在昨天下午 3 33 点给 B BB 打过电话 , 此时应该直接查询该时间点的数据 ;


以 “年” 为粒度查询 : 如果要查询 A AA 去年通话时间 , 就需要查询以 “年” 为单位的通话数据 ;


以 “十年” 为粒度查询 : 如果要预测 A AA 未来几年的通话时间 , 就需查询 A AA 所有的通话数据记录 , 然后做出预测 ;






四、粒度 ( 根据 样本采样率 划分粒度 )


根据 “采样率高低” 划分粒度 :


样本数据库 : 以 一定的采样率 从 细节数据 / 轻度综合数据 中抽取出的 数据子集 , 称为样本数据库 ;

样本数据库 “作用” : 使用该 数据子集 进行 模拟分析 ;

抽象方式 : 随机抽取 ;


"样本数据库" 优点 :


效率 : 查询分析 效率 高 ;

降低数据量 : 如果源数据的数据量很大 , 抽样数据的量可以降低 ;

准确度高 : 分析结果的误差很小 , 准确度高 ;

主要因素 : 这种分析方式 , 有助于抓住 主要因素 , 主要矛盾 ;


两种形式的 “粒度” 举例 : “商品” 主题 ;


时间段上信息综合粒度 : 销售综合表 , 采购综合表 , 是 根据 “数据综合程度” 划分的粒度 ;

不同时间点的采样粒度 : 库存信息表 , 是 根据 “采样率高低” 划分的粒度 ;




目录
相关文章
|
2月前
|
存储 机器学习/深度学习 数据采集
一文讲透数据仓库、数据湖、数据海的区别
企业常因数据架构不清导致报表延迟、数据矛盾、利用困难。核心解法是构建数据仓库(高效分析)、数据湖(灵活存储原始数据)和数据海(全局集成)。三者各有适用场景,需根据业务需求选择,常共存互补,助力数据驱动决策。
一文讲透数据仓库、数据湖、数据海的区别
|
3月前
|
存储 数据管理 数据库
数据字典是什么?和数据库、数据仓库有什么关系?
在数据处理中,你是否常困惑于字段含义、指标计算或数据来源?数据字典正是解答这些问题的关键工具,它清晰定义数据的名称、类型、来源、计算方式等,服务于开发者、分析师和数据管理者。本文详解数据字典的定义、组成及其与数据库、数据仓库的关系,助你夯实数据基础。
数据字典是什么?和数据库、数据仓库有什么关系?
|
4月前
|
存储 BI API
一文读懂数据中台和数据仓库的区别
本文深入解析了“数据中台”与“数据仓库”的区别,从定义、功能、架构设计、数据处理、应用场景等多个维度进行对比,帮助企业更清晰地理解二者的核心差异与适用场景。数据仓库重在存储与分析历史数据,服务于高层决策;数据中台则强调数据的实时处理与服务化输出,直接赋能一线业务。文章还结合企业规模、业务需求与技术能力,给出了选型建议,助力企业在数字化转型中做出更科学的选择。
1013 11
|
4月前
|
存储 数据采集 NoSQL
什么是数据仓库?数据库与数据仓库有什么关系?
数据仓库与数据库有何区别?数据仓库主要用于存储历史数据,支持企业分析决策;而数据库则负责管理实时业务数据,保障日常运作。两者在数据来源、处理方式、存储结构等方面差异显著,但又相辅相成,共同助力企业高效管理数据、提升运营与决策能力。
|
存储 机器学习/深度学习 数据管理
数据技术的进化史:从数据仓库到数据中台再到数据飞轮
数据技术的进化史:从数据仓库到数据中台再到数据飞轮
|
SQL 存储 关系型数据库
数据储存数据库管理系统(DBMS)
【10月更文挑战第11天】
652 3
|
机器学习/深度学习 消息中间件 搜索推荐
【数据飞轮】驱动业务增长的高效引擎 —从数据仓库到数据中台的技术进化与实战
在数据驱动时代,企业逐渐从数据仓库过渡到数据中台,并进一步发展为数据飞轮。本文详细介绍了这一演进路径,涵盖数据仓库的基础存储与查询、数据中台的集成与实时决策,以及数据飞轮的自动化增长机制。通过代码示例展示如何在实际业务中运用数据技术,实现数据的最大价值,推动业务持续优化与增长。
|
Java Spring 监控
Spring Boot Actuator:守护你的应用心跳,让监控变得触手可及!
【8月更文挑战第31天】Spring Boot Actuator 是 Spring Boot 框架的核心模块之一,提供了生产就绪的特性,用于监控和管理 Spring Boot 应用程序。通过 Actuator,开发者可以轻松访问应用内部状态、执行健康检查、收集度量指标等。启用 Actuator 需在 `pom.xml` 中添加 `spring-boot-starter-actuator` 依赖,并通过配置文件调整端点暴露和安全性。Actuator 还支持与外部监控工具(如 Prometheus)集成,实现全面的应用性能监控。正确配置 Actuator 可显著提升应用的稳定性和安全性。
688 1
|
存储 数据管理 大数据
从数据仓库到数据中台再到数据飞轮:社交媒体的数据技术进化史
从数据仓库到数据中台再到数据飞轮:社交媒体的数据技术进化史
322 0
|
存储 SQL NoSQL
详解数据库管理系统(DBMS)
【8月更文挑战第31天】
3484 0

热门文章

最新文章

下一篇
oss云网关配置