大数据发展历程及技术选型（2）

数据采集平台&计算平台&存储平台 
可自建可使用云计算服务

公共数据区包括数据仓库(数据湖) 
主要负责公共数据模型研发
还包括统一指标（标签）平台
负责把模型组织成可以对外服务的数据，例如数据指标、数据标签

将公共数据区的数据对外包装并提供服务，包括数据接口平台、多维查询平台，数据可视化平台、数据分析平台等

包括数据开发的各类工具组合
例如：数据管道工具（比如数据接入、数据导出）、模型设计工具、脚本开发工具、数据调度工具等

包括统一元数据管理、数据质量管理、数据生命周期管理
针对数据全链路的数据管理，保证数据中台可以监控数据链路中的数据流向、数据使用效果、数据生命周期，以衡量数据的价值与成本

在数据中台的建设中一定不要忽视的是与业务的衔接
因为数据来源于业务并最终应用于业务
在数据中台的建设中需要有一系列的流程制度明确与业务的充分衔接
以保障数据源&数据产出的质量

结构化数据（关系型数据库）离线抽取

非结构化日志接入

Hadoop文件系统Hdfs
kafka作为流式数据总线

离线计算主要是hive，spark
也有部分选用tez

前些年storm，spark比较流行
最近几年大家纷纷往Flink转型

除了像Airflow Azkaban Oozie等
易观开源的Dolphin-scheduler也非常活跃

即OLAP层
这一层里的选择非常多
选择丰富主要是可以适配不同的数据应用场景
从概念上讲分为ROLAP、MOLAP以及两者混搭

提前做一些预计算
以生成Cube的方式
达到空间换取查询效率

即查即用
效率完全取决于查询引擎的性能
ROLAP的趋势会更加明显 因为没有中间的数据链路

比较主流的有Metabase、Superset、Redash
也可以选择阿里、百度的一些开源控件

基于云的数据组件可以选择
包括数据采集、处理、分析、数据可视化全过程