我从2000年接触数据仓库,2008年进入互联网行业。不少从传统企业转来的同学都有同感:两类数据平台面向的用户群体明显不同。
非互联网数据平台的用户主要是老板和运营,依赖报表和BI分析师做分析挖掘;支撑者是ETL工程师、数据建模师、数据架构师和报表设计人员,他们同时是平台的建设方与使用方;技术框架由技术架构师、Java开发实现。数据源以结构化生产系统为主。
互联网数据平台则不同。员工更年轻、受教育程度更高,对计算机焦虑更低。平台由技术、数据产品推进建设,分析师直接参与建设的比重增加,原有数据仓库开发与模型架构师职能从建设转为服务与咨询。数据源更多样,包括日志、生产数据库数据、视频、音频等非结构化数据。
从发展历程看,非互联网时代大致经历五个阶段、四种架构:1991年前的全企业集成、1991年后的EDW时代、1994—1996年的数据集市、1996—1997年的架构之争、1998—2001年的合并年代。第一代架构以海尔BI项目为代表,ETL使用微软DTS;第二代以上海通用汽车为代表,采用准三范式建模,涉及十几种数据源,计划三年建成;此外还有银行数据集市、太平洋保险混合架构,以及2011年提出的OPDM操作型数据集市。
数据模型是平台建设的导航图,分概念、逻辑、物理三层。Inmon的EDW面向事务处理与数据管理,坚持最细粒度、保存历史;Kimball的DM面向分析过程,用星型、雪花模型提升查询性能。
互联网时代,数据平台服务方式大致经历三个阶段。2008—2011年,建设方式与非互联网相似,淘宝从2004年单节点起步,2010年引入Hadoop与Hive,模型采用退化、扁平化设计。2011—2014年,数据产品与数据产品经理兴起,平台分为面向用户的业务级产品和面向平台的工具型产品,部分ETL转换前置到业务系统。2014年后,用数据的角色直接参与数据整理与分析,平台全面开放,但也带来数据质量、重复存储、口径多样等问题,原有建设角色转向培训、咨询与落地支持。