阿里数据中台进化史

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
云原生数据仓库AnalyticDB MySQL版,基础版 8ACU 100GB 1个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 阿里数据中台进化史

2004年,张建锋(行癫)加入阿里巴巴。


当时阿里巴巴还非常小,“我是淘宝网80号员工,负责阿里巴巴的技术平台。”


那时的他估计也没有想到,自己由此见证了整个互联网特别是电子商务从无到有、从小到大到超级大的发展历程;也见证了一个用PHP写的非常小的系统,发展到今天一个超大规模的互联网平台的整个过程。


他可能也不会想到,有一天阿里巴巴会成立专门提供技术服务的阿里云公司,并且推出了很多影响业界发展的创新理念和技术。


中台就是其中之一。


在杭州举行的2021阿里云金融数据智能峰会上,已是阿里云智能总裁的行癫,和9位高管共同回顾了阿里巴巴数据中台的演变历史。

image.png

阿里云智能总裁张建锋(行癫)





01-不一样的定位

 


行癫说,20年前,在阿里做软件开发,有两个重要的工作,“画数据流程图,另一个就是画业务流程图。”


阿里逐渐提出中台理念也与此息息相关。


提起中台,很多人可能都会想起一个段子。2015年,马老师带领一众高管访问芬兰游戏公司Supercell,看到这家公司把公共通用的素材和算法做了沉淀,汇聚成平台,所以可以很快的开发出游戏。在琢磨透这家机构的模式之后,阿里很快启动了“中台”战略。


如今,中台理念已是业内共知,但是如果听了行癫和阿里高管们对中台,尤其数据中台的介绍之后,你会很容易得出一个结论,业内对于真正中台的认知还存在很大误区。


其中首当其冲的是,对阿里中台定位的认知不对。


据行癫介绍,在阿里巴巴集团,中台不是一个重要的IT项目,也不是一个重要的应用系统。它拥有更高的定位,是整个集团数据管理、数据治理战略的落地支撑,也是整个集团创新战略的实施路径,是一个完完全全的业务战略。


因此,行癫认为,中台的价值也不仅仅提高业务效率,而是在四个方面发挥着重要价值,即数据治理、业务智能、组织提效和成本控制,是一个关乎整个集团的业务、组织、生态等发发展的、全局性的价值。


更进一步,中台是阿里巴巴数字商业操作系统的核心支撑,也是阿里云为企业提供数字化转型升级助力的重要组成部分。


所以,行癫在会上强调——阿里云推出中台,并不是卖产品卖概念,而是真正对外输出阿里10多年来发展的经验。




02-10年前的分拆

 


对此,阿里巴巴云上数据中台负责人王赛有着深切的体会。


2009年,王赛加入阿里巴巴,加盟B2B业务的数据仓库团队。“我们这个数据仓库团队做了两年,从20多号人快速增长到100多号人。“


image.png

阿里巴巴云上数据中台负责人王赛


客观上说,这是一个非常有实力的数仓团队了。放眼当时的国内,也就是几大行能有这样的规模和实力。


但是,王赛说,这个团队在2011年被拆分掉了,所有团队成员被拆分到了1688等各个业务线的技术团队之中。


为什么要拆分?是因为阿里发现,虽然数仓团队做了大量工作,构建了大量分析报表,但这些工作只是满足了业务的临时要求,没有形成可持续、可预期、可敏捷交付的工作机制。更进一步,业务方对数据服务的满意度在急剧下降。


在这个时候,业务方提出要掌控数据分析技术团队,以得到更加敏捷高效的响应,从而跟上电商行业白热化的竞争需要。


技术是为业务服务的,既然业务有要求,那就按需求执行。


但拆分对于团队的影响是非常大的。“我们到了业务部门,到底有哪些东西需要改善?面向阿里巴巴集团,面向数据的未来,我们要走到哪里?我们要做哪些事情?”


这些关键问题,王赛和整个团队都没有答案。他们走向了一个充满不可知、不确定性的未来。这对于技术人员来说,接受这些是一个巨大的挑战,也需要巨大的勇气。

image.png


不过,再痛苦的过往,成功之后都会被赋予特别的意义。王赛在其《十年磨一剑:阿里巴巴数据中台的破与立》的主题演讲中,就将这次分拆其看成是阿里数据中台建设的前奏——重新启程。


正是这个拆分,才最终促使阿里在数据治理、数据平台建设方向迈出了全新的步伐,也促进了中台的诞生。




03-从OneModel开始

 

据王赛介绍,数仓团队在与业务部门深度绑定之后,2012年,阿里技术团队在对底层和大量的数据指标进行分析的过程中,抽象了一套方法体系,也即OneData体系。


当时,这套体系建立的初心是,在整个集团实现一套数据资产管理与构建的方法与体系,包括涉及数据各方面的标准和定义,统一所有数据的对接和计算口径,并为业务提供统一的元数据、分析模型等。阿里称之为OneModel。


这是阿里巴巴整个集团统一数据平台的关键一步,也是后来建设数据中台项目的重要基础。它解决了整个集团数据口径统一的问题。这使整个集团的几十个BU有了统一的计算口径。


不仅如此,OneModel还将系统所要维护的数据指标,从之前的几万个变成了几千个指标,效率大大提高。


OneModel体系在1688事业部逐步的实践和摸索过程中,获得了非常好的效果。王赛他们在数据效率问题得到解决完之后,也开始关注数据怎么样更好地服务业务。


非常有意思的是,当时整个团队也没有清晰的业务场景,不知道这些数据可以为业务提供什么有价值的服务。“但是有一件事情我们深知,数据必须先要提供给业务去使用,并且不是仅仅给他们提供BI工具和报表分析。”


后来,他们发现,虽然不知道可以为业务提供什么服务,但有一件事情是肯定要做的,即做一个API接口平台。


阿里的系统繁多,需要有很多API和接口进行数据的交互,但过去做一个API和接口可能三四周才上线,很麻烦。“如果我们搭建一个平台和体系,让数据服务的配置变得在一个星期内就可以完成和上线,并且还能够保证质量和稳定性。这会让业务部门的创新应用变得更加容易。”


由此,2013年,阿里开始重点关注数据服务,并在这一年推出了OneService。它为业务部门提供了跨数据源的“一般查询+OLAP分析+在线服务”等统一但多样化的数据服务,还能提供各种主题式数据服务。


王赛认为,有了OneModel、OneService、OneID,他们初步构建了一套完整的数据体系——OneData,能够比较好的服务于垂直业务BU。


在此基础上,2014年,阿里巴巴提出了更深层次的技术变革——平台统一计划。其标志便是实现了统一数据平台、实现了数据服务化,并开始全面使用MaxCompute,作为数据中台的统一底座。(注:MaxCompute是阿里云自研的云原生、高效能的SaaS模式企业级数据仓库,2013年8月15日,阿里云MaxCompute历史性地突破了同一个集群内5000台服务器同时计算的局限。当时阿里云内部有云梯1、云梯2两个团队竞争研发,这个平台的进化史也很有意思。详见另外报道。)


有意思的是,随着整个数据体系的完善,阿里的数据服务也开始有了新的突破。据王赛介绍,他们研发了“生意参谋”这样的数据产品,为阿里巴巴电商平台上面的商家服务。通过“生意参谋”,可以商家们不需要做任何的技术开发,只需要开通一个帐号,就能够享受比过去数据仓库、BI分析、报表工具等更好、更快、更全的数据分析和能力。




04

确立中台战略

 

令王赛惊喜的是,此后阿里数据服务的进化突然有了更高层级的飞跃。


2015年,阿里巴巴集团宣布启动“中台战略”,并开始构建符合DT时代的、更灵活的“大中台,小前台”组织机制和业务机制。与此对应,阿里正式启动数据中台建设。


王赛回忆说,在当时启动的时候,集团对中台也没有一个明确的定义。“但是我们知道,阿里巴巴集团多样的业务,需要建起一个统一的平台,迅速支撑的业务变化与创新。”


他们意识到,不管中台怎么定义,数据统一将是其中的关键。在前面OneModel、OneService的基础上,阿里在2016年推进了全域数据体系的建设。


通过全域数据,阿里将收购的业务,如优酷、土豆、UC浏览器等,也用同样的方法和体系将数据统一起来。有了统一的数据之后,阿里同年启动了数据萃取项目,深度挖掘这些数据资产的价值,并想方设法再反馈、应用到业务之中。


随后的两三年,阿里巴巴数据中台进入攻坚和发展阶段,开始把之前形成的一套方法论和体系要应用到更大规模的业务之中。


可以说,也正是这两年,形成了阿里数据中台的雏形。


2017年之后,阿里开始了数据中台不断迭代和升级的过程。期间,他们对OneModel进行了大的升级,推出了Dataphin数据管理平台,其核心价值在于数据规范定义,完全消除数据的二义性,保证业务数据标准化、规范化生产。有了它,面向云上客户,面向内部客户,都能够更好的自动化实现数据中台的方法论和体系。


另一方面,面向业务侧,王赛又带领团队推出了策略中心、云上数据中台等新的产品和服务,丰富了阿里数据中台的体系。


现在,阿里每个运营小二都可以基于数据制定覆盖用户生命周期的数据化运营策略,支持更多的业务走向实时化、数据化。


王赛认为,到了2019年,阿里数据中台已基本成熟。




05

实践出来的中台方法论

 

但阿里的中台进化并没有结束。


过去十年的发展演化,阿里不仅对中台产品技术上的有创新进展,对于中台建设的方法论更是有值得借鉴之处。


无论是对于甲方还是乙方,这或许都比产品技术本身更有价值。


行癫说,阿里巴巴数据治理方法论有三个统一,即技术统一、数据统一、文化统一。


技术统一是指整个集团的平台建设要从分散到统一,从技术架构上要实现从烟囱式架构转向分布式架构,最终实现共享式架构;


数据统一是指数据管理要实现数据从资源到资产的转变,拉通数据标准、权限、口径,以实现全业务、全组织的共享;


文化统一是指确立中台战略,实现“大中台、小前台”,确保自上而下的战略认同,以及支撑组织架构变革。


王赛也尝试总结了阿里中台建设的方法论。这可能是迄今为止最为本质、最为重要、最为全面的中台方法论框架。


这个方法论基本包括中台建设的六大核心问题,即数据质量与安全、数据价值、产品/工具沉淀、成本管控、组织与运营、度量与考核。


数据质量与安全的核心是,如何保障几十个BU的统一计算口径,以及这些数据能够安全流通?数据价值的核心是,如何让数据成为业务环节的关键要素?产品/工具沉淀的核心是,如何收敛需求并进行规模化服务?成本管控的核心是,如何让数据成本增长低于业务增长速度?组织与运营的核心是,如何建立数据驱动的组织,以及建立上下游的信任?度量与考核的核心是,如何让中台的价值显现化表达,怎么评估团队做的绩效?


这些问题如果想清楚,中台建设就可以立项了。否则,中台项目在建设过程中就容易出现问题,会掉进各种“坑”。


当然,这六大问题需要中台建设者们根据不同的企业境况给出自己的答案。但王赛强调了数据质量与安全问题。这是数据中台的基础,也是建设中台的一个共性问题。




06

关乎数据质量的四大问题

 


王赛重点讲述了数据质量与安全的四个子问题。


首先是数据的一致性问题。例如,在阿里巴巴,之前就存在多种数据不一致的情况:商家投诉数据口径不一致,UV的计算方式不相同,双11离线和实时的计算口径不统一……这些问题不解决,无法实现数据中台。这可以通过数据指标标准化定义、指标自动化构建等方法和手段解决。


其次是数据资产深度问题。例如,如何利用优惠券拉新促活?大促活动,运营小二如何大规模招商?数据产品的价值与质量如何评估?这需要建立一套数据融通与萃取的体系。包括全渠道数据采集、精准识别、立体刻画、全方位分析、精准运营与应用,实现从垂直系统数据采集,形成公共数据,最后实现高价值的萃取数据。


第三是数据及时性问题。例如,如何保证早上8点领导要能看见关键业务KPI的进展情况?数据异动怎样能被及时发现?这需要建立一套数据运维基线管理,并且与移动办公实时协同。


最后是数据的安全流通问题。例如,隐私数据怎么全量安全标识?如何做到上万数据权限智能审批?这需要建立一套数据安全等级系统,以及相应数据智能审批系统。


这四个子问题是建设数据中台时需要重点关注的。在王赛看来,阿里的做法对想要建设中台的企业会有很好的借鉴作用。




07

“这一天我等了两年“

 

阿里中台的发展史、方法论、关键问题,是中台市场发展的关键一环。”这是因为阿里自己就是中台最重要的实践者、创新者。“


这正是阿里云智能新金融&互联网事业部总经理刘伟光的切身体会。他之所以这么强调,是因为中台市场在经历高光时刻之后,正面临一个新的变局。


image.png

阿里云智能新金融&互联网事业部总经理刘伟光


例如,有人在否认中台的价值,有人在质疑中台项目的成功率……


这位曾经是Pivotal中国、EMC大中国区、甲骨文中国公司高管,对大数据、数据分析有丰富经验和深刻洞察的企业级市场资深专业人士对此并不认同。


“作为一个在阿里工作的员工,我每天切实的感受到中台对我工作的支持。我也感受到中台在阿里的强大。所以我内心一直有一个很大的冲动,想办一场会,真正把中台讲透,真正和大家分享阿里为什么建中台,以及在建设中台所跨越的困难。“刘伟光想让大家真正认识中台的价值,以及中台到底应该如何建设。


他在会议的开场中致辞中说,“这一天我等了两年”。他特地把这次会议的主题定为“破解中台“。这都是要正面回应外界对于中台的质疑。


刘伟光认为,对于很多机构和组织,中台不是要不要建的问题,而是如何建设的问题。例如,在金融行业,用好数据已成为各级领导最为重视的战略问题。而数据中台就是金融机构在数字经济时代建立差异化竞争优势的重要武器。


行癫提出,阿里云要做厚中台,目的就是要把中台向各行各业推广,并把中台与AI等深度融合,实现智能中台。


在刘伟光看来,这些都是中台的下一步发展动向。他也相信,再过五年,中台会像信息化时代的ERP一样,成为数字化企业的核心部分。而阿里云中台,也还会随着数字化、智能化的深入而继续进化。


上世纪80年代,在财政部一机部和中国会计协会的支持下,中国人民大学和第一汽车制造厂在长春召开了“财务、会计、成本应用电子计算机专题讨论会”,在这次会上提出了“会计电算化”的概念,并以此催生了中国财务软件领域的用友、金蝶、浪潮等企业。而今天阿里提出“中台”概念,很可能也会延续同样的产业规律,在中国催生新一批以“中台”为核心解决方案的科技企业。


目前,中台市场已经显露广阔的市场前景。海比研究院最新发布的《2021中国中台市场研究报告》认为,未来五年,中台市场是我国企业数字化中的热点市场,年均复合增长率达到60%,2025年将达到944.8亿元。


一场中台浪潮已经袭来。(中智观察)

相关实践学习
阿里云百炼xAnalyticDB PostgreSQL构建AIGC应用
通过该实验体验在阿里云百炼中构建企业专属知识库构建及应用全流程。同时体验使用ADB-PG向量检索引擎提供专属安全存储,保障企业数据隐私安全。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
6月前
|
大数据 BI
阿里十年大数据专家谈“云上数据中台之道”含内部PPT
从大数据的概念被正式提出,到马云老师预言人类正从IT时代走向DT时代,大数据浪潮迭起。大数据同仁共同认知的一点是,大数据会对社会创新、产业变革、业务创新及每个人的角色定位产生近乎决定性的影响。
|
存储 数据采集 分布式计算
什么是OneData?阿里数据中台实施方法论解读
什么是OneData?阿里数据中台实施方法论解读
10939 2
什么是OneData?阿里数据中台实施方法论解读
|
存储 数据采集 人工智能
阿里数据中台底座的12年建设实践
在当下如火如荼的金融行业中台建设浪潮中,不少金融机构对于中台建设仍存诸多迷思,中台建设将走向何方?数据资产到底该如何管理?阿里巴巴的中台建设之路应该能为金融机构带来借鉴。 日前,在阿里云举办的2021阿里云金融数据智能峰会上,阿里云智能计算平台事业部研究员关涛对阿里巴巴如何构建数据中台核心三要素中的平台技术部分进行了全盘分享,其中包括数据平台发展的四个典型阶段,支持中台业务的四大技术挑战,以及数据平台的四大技术趋势等。
2234 0
阿里数据中台底座的12年建设实践
|
存储 数据采集 人工智能
阿里数据中台底座的12年建设实践
阿里数据中台底座的12年建设实践
阿里数据中台底座的12年建设实践
|
数据采集 算法 安全
蓝光地产:阿里数据中台带来巨大价值
对于更容易受政策影响的地产行业而言,只有在不同时期快速地对战略发展方向做出新定位,才有可能在大浪淘沙环境里面找到可以拼杀的地方。
1517 0
蓝光地产:阿里数据中台带来巨大价值
|
人工智能 Cloud Native 搜索推荐
直面最大挑战双11 阿里数据中台为商家带来确定性保障
2020双11将成为史上最具科技含量的一届双11,数据中台则是确定性的创新增长引擎。
7606 0
直面最大挑战双11 阿里数据中台为商家带来确定性保障
|
存储 大数据 数据挖掘
解密阿里数据中台女程序员聆一、萨若代码诗!
2018年已过,我们迎来了新的一年,在机遇与挑战同在的环境下,我们更应勤于学习。为了方便大家学习,小编为大家盘点了2018年数据技术及产品部云栖号最火的干货文章分享给大家,让我们在新的一年里共同学习和成长! 数据中台 云栖号简介: 数据中台的概念由阿里巴巴首次提出,它是一个承接技术,引领业务,构建规范定义的、全域可连接萃取的、智慧的数据处理平台,建设目标是为了高效满足前台数据分析和应用的需求。
10425 0
|
存储 数据采集 运维
我花10个小时,写出了小白也能看懂的阿里数据中台分析
数据中台被誉为大数据的下一站,由阿里兴起,核心思想是数据共享,2015年阿里提出“大中台,小前台”的策略。2018 年因为“腾讯数据中台论”,中台再度成为了人们谈论的焦点。 2019年,似乎人人都在提数据中台,但却不是所有人都清楚数据中台到底意味着什么。
第二届数字化转型论坛 阿里首度披露企业数据中台三大战略支点
6月23日,在第二届“数字化转型——数据赋能”论坛上,阿里巴巴数据技术及产品部数据中台负责人王赛首次对外诠释了阿里云企业数据中台体系将持续作为企业数据赋能的主引擎,帮助企业实现数据资产化和数据价值化,深入推进数字化进程。
1830 0