文章目录
一、数据追加 概念 和 方法
二、时标方法
三、DELTA 文件法
四、前后映像文件法
五、日志文件法
一、数据追加 概念 和 方法
数据仓库 数据追加 :
"数据追加" 概念 : 数据仓库 数据初装 完成之后 , 再向数据仓库中输入新的数据 , 称为 “数据追加” ;
"数据追加" 内容 : 在上次数据初装 / 数据追加 后 , 变化的数据 ( 不变的数据不管 , 更新变化的数据 ) ;
"数据追加" 途径 :
时标方法
DELTA 文件法
前后映像文件法
日志文件法
二、时标方法
时标方法 :
前提 : 数据含有 时标 字段 ;
操作 : 对新 插入 或 更新 的数据记录 , 加上最新的时标 ;
缺点 : 很多数据库中的属性字段中 , 没有 “时标” 字段 , 此时就无法进行数据追加 ;
三、DELTA 文件法
DELTA 文件法 : 设计应用程序 , 让 应用程序 负责 生成 DELTA 文件 , 记录数据改变的内容 ;
优点 : 效率高 , 避免扫描整个数据库 ;
缺点 :
应用问题 : 生成 DELTA 文件 需要应用程序进行 , 不是所有的应用都有该功能 ;
更改应用 : 需要更改应用程序 , 开发生成 DELTA 文件功能 ;
应用数量 : 应用数量很多 , 几万 , 十几万个 , 每个应用都添加 生成 DELTA 文件的功能 , 很难实现 ;
四、前后映像文件法
前后映像文件法 : 先对数据库做一次快照 A AA , 抽取数据库数据 到 数据仓库 中 , 在做一次快照 B BB , 对比 A B ABAB 两个快照的差异 , 确定追加的数据 ;
"前后映像文件法" 缺点 : 扫描一次数据库都很占用资源 , 这里对比 2 22 个快照 , 需要扫描 2 22 次数据库 , 这样会 占用大量的资源 , 影响系统性能 ;
五、日志文件法
日志文件法 :
数据库固有机制 : 利用 传统数据库 的固有机制 , 日志文件机制 , 数据库可以根据日志文件进行数据恢复 ;
操作数据 : 将 数据库 的日志文件取出 , 读取该日志文件 , 该日志文件中有数据的增删查改操作内容 , 日志文件中进行了哪些修改 , 数据仓库中进行对应的数据追加 ;
优点 : 只用顺序读取日志文件 , 不需要扫描整个数据库 ;
缺点 : 日志文件机制 , 是根据 OLTP 需求进行设计的 , 将数据的全部变化过程都记录下来 , 数据仓库对数据变化的过程不关心 , 只关心最终结果 ; 如 商品的采购价格 , 经过多轮谈判 , 开始 100 元 , 经过反复谈判 , 先改成 99 元 , 又改成 97 元 , 最终是 95 元 , 这里只关心最终价格 , 变化的过程的数据 , 数据仓库是不关心的 ;
