开发者社区> 韩曙亮> 正文

【DBMS 数据库管理系统】数据仓库 ( 数据仓库简介 | 操作型数据与分析性数据对比 | 数据仓库特征 | 特征一 : 面向主题组织数据 | 面向应用 | )(二)

简介: 【DBMS 数据库管理系统】数据仓库 ( 数据仓库简介 | 操作型数据与分析性数据对比 | 数据仓库特征 | 特征一 : 面向主题组织数据 | 面向应用 | )(二)
+关注继续查看

六、面向主题 组织数据


面向主题 组织数据 步骤 :


① 抽取主题 : 按照 OLAP 数据分析 的要求 , 确定抽取的主题 ;


② 主题内容 : 确定 该抽取的主题 , 包含的数据内容 ;



主题抽取 示例 :


主题 : 商场的商品采购 ;


OLTP 数据 : 在 OLTP 数据库中 , 存储有 订单 , 订单详情 , 供应商 , 等数据库表 , 清晰的展示了 商品采购时 所涉及业务的数据内容 , 上述 数据的组织方式 是 面向应用 数据组织方式 ;



OLAP 数据需求 :


分析对象 : 在数据仓库中 , 需求是分析供应商的详细数据 , 通过数据分析处理 , 选出优质供应商 , 供应商是主要的分析对象 ;

忽略数据 : 具体的订单情况 , 清单详情 , 是需要忽略的 , 数据分析时 , 不需要分析采购的具体细节 , 如送货周期 , 送货时间 , 交接人员 等 , 这些都是操作型数据 , 分析时不需要关心这些细节数据 ;

数据组合 : 只抽取供应商的数据是不够的 , 还需要其它数据库中的部分数据 , 有些数据需要丢弃 , 有些数据需要抽取 , 重新组合成新的数据 ;

针对与商场 , 面向主题创建 数据仓库 , 抽取出如下三个主题 : ① 商品 , ② 供应商 , ③ 顾客 ;


将 4 44 个子系统 , 转为了 3 33 个主题 ;


OLTP 子系统 : 固有信息 , 采购子系统 , 销售子系统 , 库存子系统 ;

OLAP 主题 : 商品 , 供应商 , 顾客 ;


以 “商品” 主题为例 : 商品主题包含以下数据 :


商品本身信息 : 商品号 , 商品价格 , 商品颜色 ; ( 从商品固有信息中抽取 )

商品采购信息 : 商品号 , 供货商 , 采购价格 ; ( 从采购子系统中抽取 )

商品销售信息 : 商品号 , 零售价 , 顾客信息 ; ( 从销售子系统中抽取 )

商品库存信息 : 商品号 , 库存量 , 保存时间 ; ( 从库存子系统中抽取 )





七、数据 从 面向应用 转为 面向主题


数据 从 面向应用 转为 面向主题 转换过程 :



1 . 丢弃数据 : 一些与分析对象无关的信息 , 直接丢弃 ;



2 . 组织数据 : 与分析对象有关的信息 , 可能分布与各个子系统中 , 将这些数据重新组织起来 , 形成针对该分析对象的完整描述 , 放入一个主题中 ;



3 . 内容重叠 : 主题间可能存在内容重叠 , 这些 重叠的信息 反映了主题之间的联系 ;


逻辑重叠 : 主题逻辑上的重叠 , 区别于相同的数据的物理存储重叠 ;

细节重叠 : 数据在不同的主题上综合方式不同 ;

重叠方式 : 主题间的重叠可能是多重重叠 , 如 3 33 个主题间相互重叠 , 不是两两重叠 ;





七、数据仓库中的主题实现


数据仓库中的主题实现有两种方式 :


① 基于多维数据库 : 以多维数组的形式存储 ; ( 处理数据稀疏问题 )

② 基于关系数据库 : 以表的形式存储 ;





八、基于关系数据库


"主题" 基于关系数据库 :


主题数据组成 : 用一组 关系数据库 中的关系表 中的数据 表示主题 ;

公共码键 : 每个 关系表 都有一个 公共码键 作为 主属性 , 就是 id ;

主题数据联系方式 : 主题下的 关系表 数据 , 使用公共码键 进行关联 ;


公共码键示例 :


"商品" 主题 : 以商品主题为例 ;


公共码键 : 商品号 , 在所有的商品主题下的表中 , 都带有公共码键 , 商品号 ;


商品表 : 商品号 , 商品名称 , 颜色 , 形状 , 零售价 , …


采购表 : 商品号 , 供应商 , 采购日期 , 进货价 , …


库存表 : 商品号 , 库存量 , 库存时间 , …



主题中 关系表 的存储 :


低频访问数据存储 : 不经常访问的数据 , 如历史数据 , 细节数据 等查询概率低的数据 , 放在普通磁盘中存储 ;

高频访问数据存储 : 经常访问的数据 , 放在高速访问存储设备中 , 如 固态硬盘 ;





九、面向主题的数据组织


主题域 : 主题域是 完备的分析领域 , 需要具备以下两个特征 ;


独立性 : 主题域 必须有独立的主题 , 有明确的界限 , 表示某数据属于 / 不属于 该主题 ;

完备性 : 主题中包含的 主题对象 的数据必须完整 , 分析处理所用到的数据 , 都包含在该主题中 ;


主题数据组织 是 在较高层级 对数据进行抽象 ; 主题数据组织 独立于 数据处理逻辑 ; 在该 主题数据 基础上 , 可以快速开发新的 OLAP 应用 ;


版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
基于TableStore的数据采集分析系统介绍
摘要 在互联网高度发达的今天,ipad、手机等智能终端设备随处可见,运行在其中的APP、网站也非常多,如何采集终端数据进行分析,提升软件的品质非常重要,例如PV/UV统计、用户行为数据统计与分析等。虽然场景简单,但是数据量大,对系统的吞吐量、实时性、分析能力、查询能力都有较高的要求,搭建起来并不容易。
7190 0
MODIS数据的简介和下载(一)——MODIS数据简介
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/ESA_DSQ/article/details/70080617 借最近上课实习上机内容,来介绍MODIS数据相关方面内容。
1387 0
【操作系统】3、存储管理
计算机的工作方式可以归结为两种基本能力,即存储程序和自动地执行程序,前者靠存储器实现,后者靠CPU实现。计算机的工作原理即不断地从内存 中取出一条条指令放在CPU中运行。
839 0
不同操作系统之间的软件管理理念的分析_学习笔记
时间:2017.11.30作者:李强参考:man,info,magedu讲义,神奇的internet声明:以下英文纯属个人翻译,英文B级,欢迎纠正,以下内容纯属个人理解,并没有对错,只是参考,盗版不纠,才能有限,希望不误人子弟为好。
795 0
【操作系统】2、进程管理与死锁
1、进程 所谓进程,可以认为是一个程序及其正在运行的过程。相对来说,程序是一个静态的概念,而进程是一个动态的概念,更加强调程序运行的过程和状态。一般一个进程至少要包含几个内容,即程序代码、程序处理的数据、CPU寄存器的值、堆和栈以及进程所占用的系统资源。
866 0
分布式数据仓库设计
做大做强事实表,做小做弱维表; 分布式模式-维度建模新原则  (1)以值代键:针对键值唯一的维表,除非必要,否则不引入维表,如IP地址维表,采用IP作为维表的主键,事实表中存储IP值;      (2)合理分表:传统关系型数据仓库存在多表整合的冲动,如上图Event事实表,各种Acount Ind,Finance Ind等,用来扩展表的通用性,试图把所有的数据都存储到一张表 中。
826 0
数据库与数据仓库的区别(转载)
数据库:传统的关系型数据库的主要应用,主要是基本的、日常的事务处理,例如银行交易。 数据仓库:数据仓库系统的主要应用主要是OLAP(On-Line Analytical Processing),支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。
898 0
+关注
韩曙亮
专注 Android 领域
2605
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
JS零基础入门教程(上册)
立即下载
性能优化方法论
立即下载
手把手学习日志服务SLS,云启实验室实战指南
立即下载