“阿里巴巴大数据系统体系”学习笔记-纲领篇

“你是做什么的？”

“数据产品经理”看到对方一脸懵逼之后，再补充一句“大数据相关的工作”

“哦～，高大上，不懂”

过去5年，“大数据”是最火的一个概念，被纷繁解读。在我看来，数据跟石油、煤炭一样是一种资源。这种资源其实很早之前就被发现、被应用。只不过因为互联网的发展，数据这种资源呈现出了“爆炸式”的增长，而人们也发现了它巨大的潜在价值；预计到2020年，全球数据总量将超过40ZB(相当于40万亿GB)。

所以面对如此“量大”、“价值大”的资源，我们需要建立一套从数据采集、计算到服务到应用的“大数据体系”，就跟“石油体系’一样有勘探、采集、传输、加工、应用等；由此也萌生出一批“大数据体系”相关的工种。

阿里巴巴作为距离大数据最近的公司之一，既有丰富的数据资源也有丰富的应用场景，从它建构的大数据体系了解“大数据”这条生态链的全貌，我认为是比较科学的。

“阿里巴巴大数据系统体系”设计原则：满足不断变化的业务需求，同时实现系统的高度扩展性、灵活性以及数据展现的高性能。

“阿里巴巴大数据系统体系”主要分为数据采集、数据计算、数据服务和数据应用四大层次；

1. 数据采集

   Web端日志采集技术方案：Aplus.JS

   APP端日志采集技术方案：UserTrack

   生产业务—>大数据系统传输：

   TimeTunnel(TT),既包括数据库的增量数据传输，也包括日志数据的传输；既支持实时流式计算，也支持各种时间窗口的批量计算；

   数据同步工具（DataX和同步中心）直连异构数据库来抽取各种时间窗口的数据；

2. 数据计算

   MaxCompute-离线计算平台：阿里自研的离线大数据平台，拥有强大的存储和计算能力；

   StreamCompute-实时计算平台：阿里自研的流式大数据平台，支持流式计算需求；

   OneData-数据整合及管理体系：数据整合及管理的方法体系和工具，大数据工程师在这一体系下，构建统一、规范、可共享的全域数据体系，避免数据的冗余和重复建设，规避数据烟囱和不一致性。

3. 数据服务

   OneService-统一的数据服务平台：以数据仓库整合计算好的数据作为数据源，对外通过接口的方式提供数据服务，主要提供简单数据查询服务、复杂数据查询服务和实时数据推送服务三大特色数据服务

4. 数据应用

   数据作为新能源，需要通过合适的应用提供给用户，让数据最大化地发挥价值。应用表现可以在搜索、推荐、广告、金融、物流等各个方面。