开发者社区> 瓴羊百晓生> 正文

连载5:阿里巴巴大数据实践—阿里巴巴的数据模型实践综述

简介: 阿里巴巴的数据仓库模型建设经历了多个发展阶段。
+关注继续查看

前言:
-更多关于数智化转型、数据中台内容请加入阿里云数据中台交流群—数智俱乐部 和关注官方微信公总号(文末扫描二维码或点此加入

-阿里云数据中台官网 https://dp.alibaba.com/index

来源:数智化转型俱乐部

阿里巴巴集团很早就已经把大数据作为其战略目标实施,而且其各个业务也非常依赖数据支撑运营,那么阿里巴巴究竟采取何种方法构建自己的数据仓库模型呢?阿里巴巴的数据仓库模型建设经历了多个发展阶段。

1.完全应用驱动时代

第一个阶段:完全应用驱动的时代,阿里巴巴的第一代数据仓库系统构建在Oracle上,数据完全以满足报表需求为目的,将数据以与源结构相同的方式同步到Oracle(称作ODS层),数据工程师基于ODS数据进行统计,基本没有系统化的模型方法体系,完全基于对Oracle数据库特性的利用进行数据存储和加工,部分采用一些维度建模的缓慢变化维方式进行历史数据处理。这时候的数据架构只有两层,即ODS+DSS。

2.四层模型架构时代

第二个阶段:随着阿里巴巴业务的快速发展,数据量也在飞速增长,性能成为一个较大的问题,因此引入了当时MPP架构体系的Greenplum,同时阿里巴巴的数据团队也在着手进行一定的数据架构优化,希望通过一些模型技术改变烟囱式的开发模型,消除一些冗余,提升数据的一致性。来自传统行业的数据仓库工程师开始尝试将工程领域比较流行的ER模型+维度模型方式应用到阿里巴巴集团,构建出一个四层的模型架构,即ODL(操作数据层)+BDL(基础数据层)+IDL(接口数据层)+ADL(应用数据层)。ODL和源系统保持一致;BDL希望引入ER模型,加强数据的整合,构建一致的基础数据模型;IDL基于维度模型方法构建集市层;ADL完成应用的个性化和基于展现需求的数据组装。在此期间,我们在构建ER模型时遇到了比较大的困难和挑战,互联网业务的快速发展、人员的快速变化、业务知识功底的不够全面,导致ER模型设计迟迟不能产出。至此,我们也得到了一个经验:在不太成熟、快速变化的业务面前,构建ER模型的风险非常大,不太适合去构建ER模型。

3.公共层模型数据架构体系时代

第三个阶段:阿里巴巴集团的业务和数据还在飞速发展,这时候迎来了以Hadoop为代表的分布式存储计算平台的快速发展,同时阿里巴巴集团自主研发的分布式计算平台MaxCompute也在紧锣密鼓地进行着。我们在拥抱分布式计算平台的同时,也开始建设自己的第三代模型架构,这时候需要找到既适合阿里巴巴集团业务发展,又能充分利用分布式计算平台能力的数据模型方式。我们选择了以Kimball的维度建模为核心理念的模型方法论,同时对其进行了一定的升级和扩展,构建了阿里巴巴集团的公共层模型数据架构体系。

数据公共层建设的目的是着力解决数据存储和计算的共享问题。阿里巴巴集团当下已经发展为多个BU,各个业务产生庞大的数据,并且数据每年以近2.5倍的速度在增长,数据的增长远远超过业务的增长,带来的成本开销也是非常令人担忧的。

阿里巴巴数据公共层建设的指导方法是一套统一化的集团数据整合及管理的方法体系(在内部这一体系称为“OneData”),其包括一致性的指标定义体系、模型设计方法体系以及配套工具。注:本书中出现的部分专有名词、专业术语、产品名称、软件项目名称、工具名称等,是淘宝(中国)软件有限公司内部项目的惯用词语,如与第三方名称雷同,实属巧合。

节选自《大数据之路:阿里巴巴大数据实践》已受版权保护,未经授权不得转载

**连载:阿里巴巴大数据实践—数据开发平台>>
连载:阿里巴巴大数据实践—实时技术>>
连载:阿里巴巴大数据实践—数据服务>>
连载:阿里巴巴大数据实践—数据建模综述**


数据中台是企业数智化的新基建,阿里巴巴认为数据中台是集方法论、工具、组织于一体的,“快”、“准”、“全”、“统”、“通”的智能大数据体系。目前正通过阿里云数据中台解决方案对外输出,包括零售金融互联网政务等领域,其中核心产品有:

官方站点:
数据中台官网 https://dp.alibaba.com
数据中台钉钉群二维码2.jpg

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
2022年6月9日发表的《阿里云数据中台架构实践》演讲
2022年6月9日,我在信通院组织的“聚焦数据中台|下一代数据架构沙龙中”中发表了一次《阿里云数据中台架构实践》演讲,这次演讲也包括了其他中台厂商的内容,感兴趣的可以上去看看。
141 0
大数据入门-大数据技术概述(二)
大数据入门-大数据技术概述(二)
71 0
大数据发展历程及技术选型(5)
大数据发展历程及技术选型(5)
108 0
大数据发展历程及技术选型(2)
大数据发展历程及技术选型(2)
86 0
大数据发展历程及技术选型(4)
大数据发展历程及技术选型(4)
66 0
大数据发展历程及技术选型(1)
大数据发展历程及技术选型(1)
144 0
大数据发展历程及技术选型(3)
大数据发展历程及技术选型(3)
91 0
大数据入门1:开源大数据平台
参加冬季实战营第五期:轻松入门学习大数据。参加学习一下,教程很好,做笔记记录一下。本文记录冬季实战营第五期:轻松入门学习大数据程----动手实战-基于EMR离线数据分析。
1395 0
保险大数据的实践与实战
以保险业为例,一方面大数据为保险业带来了新的商业价值,既改变了管理者的经营理念和决策支持,也促进深入有效发掘客户需求。而另一方面,大数据也变成了双刃剑,互联网公司凭借更完整的数据链条,对传统保险业形成新的压力。
193 0
连载:阿里巴巴大数据实践—数据建模综述
数据模型就是数据组织和存储方法,它强调从业务、数据存取和使用角度合理存储数据。
6829 0
+关注
瓴羊百晓生
文章
问答
视频
来源圈子
更多
+ 订阅
文章排行榜
最热
最新
相关课程
更多
相关电子书
更多
大数据工程师必读手册-像阿里巴巴一样玩转大数据
立即下载
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载