问题分析
- 业务变化很快
业务数据表经常变化字段含义、增加各种逻辑数据等
- 业务数据源越来越多
随着品类越来越多,新部门逐步成立,数据源也就越来越多样化
- 需求越来越多,越来越复杂
所有的产品和运营都向我们要各种各样的用户行为数据、订单分析数据和竞对优势数据
- 数据的实时行要求越来越高
早晨提出个新业务数据需求,晚上就要
分析数据特点
此时的数据集合不是数据仓库 因为不符合相对稳定的和反应历史变化的两个条件 因为类似订单类数据,每天全量更新 (原因是同一个订单状态随着时间会变化,比如今天买了,明天退货了) 而是一个ODS
解决方案
优势
- ODS的数据与数据仓库的数据高度统一
- 开发成本低,开发一次并应用到ODS即可
- 可见ODS是发挥承上启下的作用
劣势
- 数据仓库需要的所有数据都需要走ODS
- 扩展、系统的灵活性差
OB-ODS
优势
- 结构简单 初创数据分析团队都是类似的结构
劣势
- 所有数据都归结到ODS
- 长期数据决策分析能力差,软硬件成本高,模块划分不清晰,通用性差
数据仓库和ODS并行
业务数据 - ODS - 数据仓库
优势
- 便于扩展,ODS和数据仓库各做各的,形成优势互补
ODS和DW区别
数据的当前性
ODS包括的是当前或接近当前的数据 ODS反映的是当前业务条件的状态 ODS的设计与用户或业务的需要是有关联的 而DW则是更多的反映业务条件的历史数据
数据的更新或加载
ODS中的数据是可以进行修改的 而DW中的数据一般是不进行更新的 ODS的更新是根据业务的需要进行操作的,而没有必要立即更新 因此它需要一种实时或近实时的更新机制 DW中的数据是按照正常的或预先指定的时间进行数据的收集和加载的
数据的汇总性
ODS主要是包括一些细节数据 但是由于性能的需要,可能还包括一些汇总数据 如果包括汇总数据,可能很难保证数据的当前性和准确性 ODS中的汇总数据生命周期比较短,所以可称作为动态汇总数据 如果细节数据经过了修改,则汇总数据同样需要修改 而DW中的数据可称为静态的汇总数据

