五、分割
分割 : 将 完整的数据集 分散到 各自的物理单元 中去 , 以便能 分别独立处理 ;
分割结果 : 数据 分割后的 数据单元 , 称为 分片 ;
分割目的 : 提高效率 ;
分割作用 : 分析 相关性 数据集合 , 将 具有相关性 的数据 组织到一起分析 , 提高分析效率 ;
分割标准 :
方便进行如下操作 : 重构 , 索引 , 重组 , 恢复 , 监控 , 扫描 ;
业务领域
日期
地域
多个分割标准组合
"分割" 示例 : 对 保险行业数据 进行分割 ;
总的数据集 : 3 33 年的 车险 , 寿险 , 健康险 , 财产险 , 意外险 数据 ;
分割标准 : 按照 “时间” , 和 “险种” , 进行分割 ;
分片详情 : 分片个数为 3 × 5 = 15 3 \times 5 = 153×5=15 个数据分片 ;
时间 车险 寿险 健康险 财产险 意外险
2020 20202020 年 分片 1 11 分片 2 22 分片 3 33 分片 4 44 分片 5 55
2019 20192019 年 分片 6 66 分片 7 77 分片 8 88 分片 9 99 分片 10 1010
2018 20182018 年 分片 11 1111 分片 12 1212 分片 13 1313 分片 14 1414 分片 15 1515
数据分片使用方式 :
处理单独数据分片 : 如果只分析 2019 20192019 年的车险数据 , 只需要分析 分片 6 66 中的数据即可 , 每个分片的数据都可以独立处理 ;
合并若干数据分片 : 如果分析 2020 20202020 年的健康险 和 意外险 数据 , 那么需要 将 分片 2 22 和 分片 5 55 合并起来 , 进行分析 ;
六、数据仓库组织形式
数据仓库组织形式 :
简单堆积文件
轮转综合文件
简化直接文件
连续文件
简单堆积文件 :
概念 : 将数据库中 提取加工 的数据 , 直接积累存储 ;
操作 : 来一个存放一个 , 按照时间先后顺序存放 , 堆积 ;
轮转综合文件 :
概念 : 将 数据的存储单位 , 分成 若干级别 , 每个级别有有限个指定的数据 ;
数据形式 : 一定时间段的综合数据 , 称为 轮转记录 ;
优点 : 结构简单 , 数据量比 “简单堆积文件” 少 ;
缺点 : 综合数据 , 会损失数据细节 , 越久远的历史数据 , 数据细节损失的越多 ;
操作 : 够一个时间段 , 就将指定长度的数据综合在一起 ; 每次综合都会损失一定的数据细节 ;
示例 : 如果数据积累够 1 天 , 直接综合成一天的数据 ; 如果数据积累够 30 天 , 直接综合成一个月的数据 ; 如果数据积累够 12 个月 , 直接综合成一年的数据 , 小时的数据不超过 24 个 , 天的数据不超过 30 个 , 月的数据 不超过 12 个 ;
简化直接文件 :
概念 : 按照一定时间间隔 , 对数据库采样 ;
快照 : 每隔一定时间 , 做一个数据库快照 , 存储该快照 , 与 “简单堆积文件” 类似 ;
示例 : 周一对数据做一个快照 , 周二在做一个快照 , 每天都做一个数据库快照 , 存储下来 ;
缺点 : 浪费存储空间 ;
连续文件 : 在上述 “简化直接文件” 快照的基础之上 , 进行增量更新 , 只更新对比后的差异数据 ;
概念 : 两个连续简化的直接文件 , 对比两个文件的差异 , 生成连续文件 ;
连续文件 + 新的简单文件 = 新的连续文件
