开发者社区> 韩曙亮> 正文

【DBMS 数据库管理系统】数据仓库中 数据追加 ( 时标方法 | DELTA 文件法 | 前后映像文件法 | 日志文件法 )

简介: 【DBMS 数据库管理系统】数据仓库中 数据追加 ( 时标方法 | DELTA 文件法 | 前后映像文件法 | 日志文件法 )
+关注继续查看

文章目录

一、数据追加 概念 和 方法

二、时标方法

三、DELTA 文件法

四、前后映像文件法

五、日志文件法





一、数据追加 概念 和 方法


数据仓库 数据追加 :


"数据追加" 概念 : 数据仓库 数据初装 完成之后 , 再向数据仓库中输入新的数据 , 称为 “数据追加” ;

"数据追加" 内容 : 在上次数据初装 / 数据追加 后 , 变化的数据 ( 不变的数据不管 , 更新变化的数据 ) ;


"数据追加" 途径 :


时标方法

DELTA 文件法

前后映像文件法

日志文件法





二、时标方法


时标方法 :


前提 : 数据含有 时标 字段 ;

操作 : 对新 插入 或 更新 的数据记录 , 加上最新的时标 ;


缺点 : 很多数据库中的属性字段中 , 没有 “时标” 字段 , 此时就无法进行数据追加 ;






三、DELTA 文件法


DELTA 文件法 : 设计应用程序 , 让 应用程序 负责 生成 DELTA 文件 , 记录数据改变的内容 ;



优点 : 效率高 , 避免扫描整个数据库 ;



缺点 :


应用问题 : 生成 DELTA 文件 需要应用程序进行 , 不是所有的应用都有该功能 ;

更改应用 : 需要更改应用程序 , 开发生成 DELTA 文件功能 ;

应用数量 : 应用数量很多 , 几万 , 十几万个 , 每个应用都添加 生成 DELTA 文件的功能 , 很难实现 ;





四、前后映像文件法


前后映像文件法 : 先对数据库做一次快照 A AA , 抽取数据库数据 到 数据仓库 中 , 在做一次快照 B BB , 对比 A B ABAB 两个快照的差异 , 确定追加的数据 ;



"前后映像文件法" 缺点 : 扫描一次数据库都很占用资源 , 这里对比 2 22 个快照 , 需要扫描 2 22 次数据库 , 这样会 占用大量的资源 , 影响系统性能 ;






五、日志文件法


日志文件法 :


数据库固有机制 : 利用 传统数据库 的固有机制 , 日志文件机制 , 数据库可以根据日志文件进行数据恢复 ;

操作数据 : 将 数据库 的日志文件取出 , 读取该日志文件 , 该日志文件中有数据的增删查改操作内容 , 日志文件中进行了哪些修改 , 数据仓库中进行对应的数据追加 ;

优点 : 只用顺序读取日志文件 , 不需要扫描整个数据库 ;

缺点 : 日志文件机制 , 是根据 OLTP 需求进行设计的 , 将数据的全部变化过程都记录下来 , 数据仓库对数据变化的过程不关心 , 只关心最终结果 ; 如 商品的采购价格 , 经过多轮谈判 , 开始 100 元 , 经过反复谈判 , 先改成 99 元 , 又改成 97 元 , 最终是 95 元 , 这里只关心最终价格 , 变化的过程的数据 , 数据仓库是不关心的 ;


版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
SQL Server中收缩、清空和删除数据库文件及日志文件
一、简单方法 –SQL Server收缩方法 1、右键数据库→属性→选项→故障还原模型→设为简单→确定; 2、右键数据库→所有任务→收缩数据库→确定; 3、右键数据库→属性→选项→故障还原模型→设为大容量日志记录→确定。
4668 0
分布式数据仓库设计
做大做强事实表,做小做弱维表; 分布式模式-维度建模新原则  (1)以值代键:针对键值唯一的维表,除非必要,否则不引入维表,如IP地址维表,采用IP作为维表的主键,事实表中存储IP值;      (2)合理分表:传统关系型数据仓库存在多表整合的冲动,如上图Event事实表,各种Acount Ind,Finance Ind等,用来扩展表的通用性,试图把所有的数据都存储到一张表 中。
826 0
数据库与数据仓库的区别(转载)
数据库:传统的关系型数据库的主要应用,主要是基本的、日常的事务处理,例如银行交易。 数据仓库:数据仓库系统的主要应用主要是OLAP(On-Line Analytical Processing),支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。
898 0
数据仓库 | 从买菜这件小事来聊聊数据仓库
数据仓库 | 从买菜这件小事来聊聊数据仓库
30 0
数据仓库建设步骤
数据仓库建设步骤Posted on 2015-03-04 10:18 xuzhengzhu 阅读(1164) 评论(0) 编辑 收藏 1.系统分析,确定主题 确定一下几个因素:    ·操作出现的频率,即业务部门每隔多长时间做一次查询分析。
1579 0
+关注
韩曙亮
专注 Android 领域
2605
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
JS零基础入门教程(上册)
立即下载
性能优化方法论
立即下载
手把手学习日志服务SLS,云启实验室实战指南
立即下载