构建数据中台过程中,OneModel即统一数据及管理理论的提出背景-阿里云开发者社区

开发者社区> 伴弋> 正文

构建数据中台过程中,OneModel即统一数据及管理理论的提出背景

简介: 作者:柯根 更多内容详见数据中台官网 https://dp.alibaba.com 作为OneData体系中最为重要的成员OneModel,是“阿里巴巴数据中台团队”在遇到了实实在在的大数据痛点后,根据实战经验所沉淀出来的方法论。
+关注继续查看

作者:柯根 更多内容详见数据中台官网 https://dp.alibaba.com
作为OneData体系中最为重要的成员OneModel,是“阿里巴巴数据中台团队”在遇到了实实在在的大数据痛点后,根据实战经验所沉淀出来的方法论。
image

在2014年以前,阿里巴巴每一块业务都有对应的ETL开发团队为其提供数据支持,而每个ETL开发团队都会按照自己的思路建设自己的数据体系,但这些数据体系在实际执行的过程中得到的效果往往不尽人意。
image

由上图可见,每一个ETL团队在支持一条业务线时,都会从复制基础数据开始向上开发。在面向业务分析支持时,可复用的中间层时而有时而无,并与数据应用层混合在一起。数据分析师或业务人员在进行数据分析时,也是从底向上独立加工数据表。
这种重复建设同时带来了业务、技术和管理上的困扰,给后续的技术和数据体系的发展带来潜在问题。
(1)业务上的困扰
在定义指标阶段,存在字段命名不规范、口径不统一、算法不一致的问题。
在开发阶段,面向各业务线烟囱式的开发,造成数据重复且不可信。
在上线后维护阶段,任务难以下线,且当源业务系统或业务自身发生变化时,难以及时反映到数据中。
从支撑业务及时性和有效性上,数据部门开发周期长、效率低、服务响应速度慢;同时任务链冗长,导致计算资源紧张,数据时效性不能满足业务需求。
(2)成本上的不合理消耗
计算存储资源的浪费:
大数据作为新时代的能源和生产力,大家都认识到大数据的价值,可是一旦应用大数据,数据就会以指数级甚至更快的速度增长。如果不通过合理的数据构建方式,在数据还没来得及产生业务价值时,计算和存储资源很快会吃掉企业的绝大部分利润。
人力资源的浪费:
数据研发人员绝大部分的时间都消耗在临时取数和数据咨询上。在这种情况下,研发人员很难有时间考虑优化任务,更不用说思考如何为业务赋能。
因此如何用更合理的方式来缓冲业务变化对数据模型的冲击、有效避免数据的重复计算和存储、合理的对数据进行生命周期管理是企业急需解决的问题。
(3)数据难以管理
下图是阿里巴巴在未建设数据中台时,各个数据团队建设数据任务在云计算环境的关系图(每个圆形代表一条业务线的任务集合,圆形之间的连线代表两者之间的引用):
image

可以看出,数据处理流向是混乱的、无方向性的,导致数据管理基本处于失控状态。当需要追溯数据质量问题源头、对任务进行优化或下线时,都完全无从下手。
基于以上业务背景,阿里巴巴数据中台团队通过实战沉淀的OneModel方法论构建的数据公共层,力求让业务和技术人员都能满意,数据能更好的赋能业务。
经过阿里巴巴数据中台团队的不断探索和演进,已将OneModel方法论的精华沉淀到数据中台产品Dataphin中,让所有的企业都能绕过阿里巴巴建设数据中台所走过的坑,构建企业既“快”且“准”的“全”“统”“通”的云上数据中台。

结语:
阿里巴巴数据中台团队,致力于输出阿里云数据智能的最佳实践,助力每个企业建设自己的数据中台,进而共同实现新时代下的智能商业!
阿里巴巴数据中台解决方案,核心产品:
Dataphin,以阿里巴巴大数据核心方法论OneData为内核驱动,提供一站式数据构建与管理能力;
Quick BI,集阿里巴巴数据分析经验沉淀,提供一站式数据分析与展现能力;
Quick Audience,集阿里巴巴消费者洞察及营销经验,提供一站式人群圈选、洞察及营销投放能力,连接阿里巴巴商业,实现用户增长。
欢迎志同道合者一起成长!更多内容详见数据中台官网 https://dp.alibaba.com

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
ASP.NET Core MVC中构建Web API
在ASP.NET CORE MVC中,Web API是其中一个功能子集,可以直接使用MVC的特性及路由等功能。 在成功构建 ASP.NET CORE MVC项目之后,选中解决方案,先填加一个API的文件夹,填加后,选中API文件夹, 选择新建项,选择填加Web API控制器,要注意控制器在命名时,是以Controller结尾的,这个不能改,前面的随意,比如,此处以NoteController.cs为例 填加后,打开NoteController.cs,系统已经帮我们构建好了一些基础的功能,我们需要在其基础上进行一些个性化修改使其成为我们自己的代码。
902 0
MODIS数据的简介和下载(一)——MODIS数据简介
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/ESA_DSQ/article/details/70080617 借最近上课实习上机内容,来介绍MODIS数据相关方面内容。
1258 0
Animo.js :一款管理 CSS 动画的强大的小工具
  Animo.js 是一个功能强大的小工具,用于管理 CSS 动画。它的特色功能包括像堆栈动画,创建跨浏览器的模糊,设置动画完成的回调等等。Animo 还包括惊人的 animate.css,为您提供了近60个美丽的动画,还加入了一些辅助动画到库中。
894 0
DNN 360 Sidemenu某些Vertical Menu不显示管理菜单的解决办法
在使用http://www.dnn360.net/的Sidemenu时,有一些Vertical Menu无法显示Admin和Host下的子菜单(因为Admin和Host这两个Tab是设置为unable的。
608 0
使用 Sketch 和 Pixate 构建 Material Design 原型 - 第二部分
本文讲的是使用 Sketch 和 Pixate 构建 Material Design 原型 - 第二部分,打开 Pixate 并且点击 “ Create new prototype ” 来创建一个原型,或者从“ File ”菜单新建一个。
1128 0
使用 Kafka + Spark Streaming + Cassandra 构建数据实时处理引擎
Apache Kafka 是一个可扩展,高性能,低延迟的平台,允许我们像消息系统一样读取和写入数据。我们可以很容易地在 Java 中使用 Kafka。 Spark Streaming 是 Apache Spark 的一部分,是一个可扩展、高吞吐、容错的实时流处理引擎。
2829 0
多地iPhone用户遭盗刷 企业数据泄露的结无解?
对于企业来说,大数据在如今已经是必不可少的一项技术。不管是大型科技互联网公司,还是线下消费实体店,社会各行各业都已进入大数据时代。 然而就在大数据快速发展的这几年,国内外涉及数据安全与个人隐私的舆情事件不断发生,涉及人们衣食住行的隐私泄露案频出。
1162 0
+关注
65
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载