谈谈我的数据仓库经历

目前还是大数据的时代，传统的数据仓库早就跟不上大数据的发展。还记得初入数据仓库这行时，那时候的用的还是oracle+obiee。数据量大到上千万的时候，前端完全加载不出来。而且那时候的数仓设计，由于数据仓库用的oracle，费用比较贵，所以尽量的用时间换空间，前端会存在很多维表和事实表的关联，甚至有些计算都会放到前端计算。这样就导致用户体验非常差。后面hadoop起来了，分布式的数据仓库很好的顺应了大数据的时代要求，用空间换时间和用户体验，所以基本上计算逻辑都由后台计算了，前端只是表对表的加载而已。所以，目前市面上的各种维度建模都大同小异，无非都是ODS保留贴源数据，DW层会划分为两个细分层级，一个是明细，用来清洗数据，一个是汇总数据，用来过滤口径等，最后还有一个DM层（有些厂可能不这么叫），这一层主要是面向应用，包括可视化，大屏，移动端等等。不知道你们所在的公司，数据仓库，在数仓模型这块有什么不同呢？欢迎留言讨论！！！