数据中台从何而来

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

DT时代,大数据成为人们谈论的焦点,2019年更被誉为数据中台元年。人人都在谈数据中台,却不是所有人都清楚,从历史逻辑来看,中台或者数据中台从何而来?

少数清楚这段历史的人中,有一位大数据老司机,人称「才院长」,他是回答这一问题的最佳人选。

他叫才言。奇点云首席战略官,9年大数据老司机,「数据交换区」专利操盘手。
1_1

9年之前,才言初次踏入阿里巴巴大门。对才言来说,揭示未来趋势是个脚踏实地的研究历程,与其研究复杂的经济结构变化,不如抓住简单而明显的趋势,阿里巴巴是一个趋势,而数据则是下一个。

数据中台从何而来?才言用其亲身经历为我们回答。

01 缘起:作为生产要素的数据

在入职阿里之前,才言是管理咨询公司的一位战略咨询顾问,努力帮其客户理解趋势的同时,也在为自己寻找趋势。他发现,商业世界最不容忽视的一个简单趋势是,企业的数据正在变得越来越多。

才言清晰的记得,「2012年,大数据之所以兴起(的背景在于),有句话反复出现:人类迄今为止生成的数据中,有90%是在近两年内产生的。」

2011年,才言在在阿里研究中心(现阿里研究院),研究电商服务业并且以研究者身份进驻淘宝商家事业部,见证了淘宝数据开放的过程(API每日调用量千万次到百亿次)。

2011-2013 海量数据如何塑造新商业?

进入阿里之后,才言一头扎进了数据的海洋。他第一份工作是利用http://alibaba.com上的数据来预测中国的进出口。他发现,互联网数据颠覆了传统的宏观经济指标的抽样采集工作,互联网数据的加工可以做出全新的宏观经济变量。

「(在阿里研究中心的)这段经历部分回答了我的疑问:海量数据对商业世界有什么影响?——如果一家公司的数据极为丰富,会发生什么?能够有什么启示?」2009年,阿里研究中心发布网商报告,提出「海量个性化」这一新概念,才言也随之找到了自己的兴趣点,也有了越来越多发现。

因为研究电商服务业,他发现,从 「数据是生产要素」这一命题展开对新兴行业探求的话,数据是有成本的,而且一定程度上成本高昂,跟大家认识到的「数据几乎零成本复制」完全不同。不仅如此,在良好的用户体验这一约束下,数据的采集也有机会成本。从这两点来看,数据是稀缺的。它具备生产要素的特点,会极大影响企业的商业模型。

因为研究电子商务生态系统,他接触到同事们把理论物理的复杂系统分析方法引入到研究中来,第一次看到淘宝数据展现出的「自然分布律」适用于淘宝女装卖家,第一次用「连通性」等理论物理语言重塑产业研究。顿时,他感觉数据极为丰富之后行业研究这个职业都要变天了。

他从品牌商品在网络渠道的实时渠道数据里,第一次观测到品牌商「渠道灰度」:随着时间的延展,商品(某类sku)的价格和数量变动的情况,实时反映了渠道结构与关系。「在线下人们只是感知到这个规律存在,而在数据极其丰富的线上,借助强大的计算平台这些都得以直观展现。」才言说。

才言对数据的认知在改变的同时,他也在思考,阿里的生态可以利用阿里的数据做些什么?

才言当时的本职工作是对淘宝生态业务的跟踪研究,需要思考淘宝开放平台(以及服务市场)的运转机制究竟是什么?应该是什么?需要解释的是,淘宝开放平台即后来为人们所知的共享服务平台(即阿里的业务中台),不光服务淘宝还服务外部,职责是把淘宝的数据开放给淘宝认可的合作方。其中,数据服务的方式是API服务方式。

在做业务的过程中亲手实践了「封装API服务ISV」,才言陆续意识到问题所在:从供给需求的角度,自2010年起经过三年多的数据开放现有的1000多个API覆盖范围极广,但平台供给给市场的数据数量和类型是有限的,导致了交易市场上的ISV的APP供给也是有限的(超过6000多个),使得市场竞争趋于同质化。然而在API封装的过程中,大量的数据、算法因为过严的安全审核无法对外开放,一定要去寻找新的数据服务方式。

2012年阿里巴巴同步「聚石塔」发布而诞生的CDO(数据平台部),极大地刺激了才言。在2013年的淘宝服务商大会上,才言提出了「在CDO的基础上构建新的电商服务业」的想法,并且随后就转岗到了CDO。

2014-2015 A如何用B的数据?

「到岗第一天的会议里,老A讲到淘宝数据还处在自给自足的原始状态。各种光怪陆离的情况层出不穷,」才言回忆起CDO,不禁哈哈大笑:「当时有个实习生刚入职3个月,表的生产总数全淘宝第一。还有个资历非常深的BI因为在公司工作很久,合法积累了很多数据使用权,于是很多团队的算法合作不得不找他,因为他有数据霸权。有了计费计量之后,有个勤奋的员工在宽表里跑一段sql,花掉上百万RMB,太可怕了。更可怕的是他的工作后来经过审计还是合理且必要的。」

这大概就是数据极为丰富之后如何治理的最初状态。

春江水暖鸭先知,阿里巴巴的状况也将预示着数据如果进入有序的提供价值的状态时,商业世界变化极大。当时,CDO团队所共识的大数据理念是「数据从业务中来,回到业务中去」,共同的愿景是解决「A如何用B的数据?」的问题。

才言在CDO做的第一件事就是担任商家数据中心(2015年迁回淘宝后改为品牌数据银行)PM。这一项目首次尝试把商家散落淘宝的所有数据大集中,解决商家在经营决策中的数据工具问题。

在梳理某知名淘品牌的商家数据时,他大吃一惊:商家想要看一份正式的BI报表,但这份BI报表的数据源分散在13个淘宝的部门,而依据阿里集团数据安全规则,谁生产数据谁对数据的使用负责。这些数据存储在不同的数据库、不同类型的数据库,甚至不同的计算集群。在技术上尽管当时CDO做出来了享誉阿里的DXP数据交换平台,但割裂的数据如何通过可信可靠的方式对内对外服务?显然还有很长的路要走。

商家数据中心应该实现什么功能?为了了解商家需求,才言找了大(年收入十亿级别)、中(年收入亿级别)、小(年收入千万级别)三家典型商家进行试验,商家数据中心第一次尝试把淘宝给商家用的数据尽量集中,方便商家加工数据,继而做分析和洞察。这也是淘宝生态里第一个BI工具(数云NewBI)的缘起。

「大数据最终会影响各行各业,要想在这个行业做出点什么,我决定两步走,一是扎实的基本功,尽可能熟悉基础的大数据技术。我花了接近两年的时间,把数据平台CDO最重要的3个引擎——BI引擎、推荐引擎、营销引擎都做了一遍。二是在工程实践的基础上尽可能掌握行业实践。了解多行业多领域就会触类旁通,只呆在其中一个环节导致视野变窄。」他说道,「很幸运,在深入电商4-5年后有机会在阿里这个大平台上从数据的角度接触几乎所有行业,明白了数据平台最重要的框架结构和主要应用场景。」

在挖掘数据的业务价值、推动数据在业务中应用方面,标志性的事件是TCIF(淘宝消费者信息库)——统一拉通阿里的消费者数据,并进行标签化,形成了3000个消费者标签。这些标签在具体的使用过程中,才言接触到了「表级别字段级别的数据开放」、接触到数据交换区在阿里各BU的推进。

「我的小伙伴把友盟等BU的数据上云,对于那些没有上云的BU比如UC,他们如何合理合法合规且安全地使用TCIF以及TCIF延伸出来的数据服务。这是我当时的工作。」对比之前在淘宝开放平台的工作,才言认为,数据安全和数据价值是相对而言的,重要的是数据技术本身在不断演进,以API形式开放的形式是数据开放方式里未来一定不是主流,这也是他从计算广告的实践中获得的认知。

以智能广告为例,整个页面从请求广告、智能推荐、调取广告素材并展现,整个过程就200ms。数据服务是一个高速运转的闭环链路,数据金矿若想被服务商更好地利用,主流不是API开放的方式。

2015-2017 如何让数据产生价值?

2014年的阿里技术论坛上,后来的奇点云创始人兼CEO行在(张金银,TCIF创立者)发表演讲《大连接》,认为大数据的本质就是大连接。「这一点我非常认可。」才言提到:「如何让数据产生价值,第一件事就是数据要连接。有些一些脏活苦活累活必须要干,这是有价值的。」

自2012年7月成立以来,阿里内部各BU在马总「one company」战略下持续推进数据大连接、大集中。

在连接的过程中,数据和业务逐渐实现双赢。以TCIF为例,一方面行在团队通过 TCIF 服务集团内部各业务方,另一方面业务方使用数据服务的过程中,也产生数据回馈CDO的ID mapping服务,使之更强大。从实践出发,行在总结了「数据共建共享」的数据交换理念。
出于对「大连接」和「共建共享」理念的认同,才言参与了行在主导的数据项目——整合阿里上市前后收购的全资子公司之间的数据,进而推动数据交换区。

作为「数据交换区」专利的落地操盘手,才言帮助UC第一个成功使用专利成果,合规地使用阿里巴巴集团的数据。经过半年多的努力,阿里巴巴前20个数据交换区多数都是才言建立,他认为数据交换区是数据平台未来的最高阶应用,「最狂妄的时候我有这样的错觉:没有数据交换区的数据平台都是扯淡」。

「我们发现在数据使用的过程中存在奇点。」才言复盘数据交换这件事的意义时谈到,「先有需求再有供给。业务方是要到知道业务可以数字孪生,业务可以数字化;知道业务提升的瓶颈,感受到痛;他知道他需要什么数据时,数据交换才会发挥价值——这个临界点就是奇点,这个临界点过后AI跑出来的效果才可能超过业务专家。」

那年一个重要变化是,阿里云内部提出了要从DBA到DA(Data Architect,数据架构师),才言转岗成为第一个DA:「真正的DA大多对各类计算平台很熟悉,懂数据架构,知道算法如何工作,且能够深入业务场景。只有这样,他们才能和机器一起在生产率上超过业务专家。」

02 转折:数据中台从何而来

不管是当时还是现在,阿里巴巴对数据的认知和应用能力都是超前的,不仅是技术超前、人才储备超前,应用场景也超前,成本收益也与众不同。2015年,行在创立了数加平台,提出了「普惠大数据」,把阿里的大数据技术和能力通过一个新的平台对外透出,让大数据普惠各行各业。

才言也参与数加平台在阿里内部的创业,在云栖小镇的平台垦荒岁月里,才言负责数加的业务板块,建立了数加23个工作室(由阿里云合作伙伴建立,形成大数据能力服务各细分行业)。
2_

(2016年数加平台在云栖大会正式发布)

找到一个合适的客户

「普惠大数据」的具体实践中,有两大问题:一是鸡同鸭讲——你跟客户讲技术客户跟你讲行业;二是大炮打蚊子——平台功能大而全要解决的问题很具体充满细节。

「第一个客户是华数,华数认同阿里的大数据技术是一回事,但是让华数明白甚至构建数据平台是另一回事。虽然阿里最终提出了「数据中台」的理念,但是服务2B客户时客户听不懂,没法落地。同时,阿里内部组织叫做数据平台事业部,需要对大数据在组织中的作用重新定义,否则无法落地。」才言回忆当时碰到了不少问题。

一家好的合适的客户,对于大数据理念的落地至关重要。

如何找到合适的客户?在经过23个工作室的实践和筛选后,才言初步得出一个结论:零售和政府会率先践行大数据的落地。「离开阿里云之后,我们创建奇点云时剑指这两个行业。行在提出了两句话:帮助政府高效治理,帮助实体零售转型升级。」才言补充,这与2019年阿里云的组织结构调整后行业分布不谋而合。

「我们(当时)接触了传统电商和传统实体零售企业。」才言回忆,「对于传统电商,数加平台能够帮助这类纯电商平台做好智能应用,常见的是广告和推荐,但纯电商平台的业务重点还是流量获取优先于流量转化。」那时,流量获取已经开始往线下走,并且有了直播、短视频等等苗头。

「而对于传统实体零售企业,数加平台能够帮助他们做好智能决策(主要是BI),但是纯实体零售企业信息化尚待完善,人货场的数字化还在未来。」才言说,在2015年的时点上,这两类零售客户显然都不是理想客户。

直到后来的奇点云联合创始人兼COO公主(刘莹,时任阿里云西南大区负责人)带来了一个客户,「我们详细访谈了(客户的)各部门后发现:他们花10年时间在各零售业态建立起品类优势,然后再花10年的时间在信息化、互联网、移动互联网、O2O时代都做成了品类第一。」才言掩饰不住兴奋,评价这个客户:「老板对组织创新想法非常大胆且敢于执行。对于战略卡位点敢于投入,比如抓住移动互联网的机遇时,内部有10多个团队各自根据消费者的场景发展业务独立开发APP,3个月拼一次生死,最后活下来的业务最终代表了公司竞争力,指明了方向。」

但即使这样,仍然经过了七轮沟通,双方才最终确定了合作关系。

客户命名了数据中台

这次合作的客户有别于传统实体零售企业:老板掌握了平台开发的特点,但迫切需要对技术平台进行微服务改造;并且借鉴阿里2015年底提出的「大中台战略」,提出了「多端卡位,相互PK」的战略部署。

「与阿里最大的不同是,阿里自2007年起就「去SAP」,后来惊天动地地提出「去IOE」。而这位老板先后把Oracle和SAP用过一遍,最后自己组织团队开发。」才言说客户的痛点很有代表性,「如果技术架构不变,他们认为SAP的Idoc接口效率太低,会拖死他们。就像大多数实体零售企业的底层管理信息系统仍在建设中,客户在SAP上做大量定制,成本高昂。」

客户提出,已经尝试搭建过数据仓库且失败了(信息化之后需要把数据合到某个地方去加工,10T左右的数据量,传统的IOE已经不能承受),需要立项一个新的数据项目。

「对于项目是否能验收,客户有两大要求:一是能够支撑业务转型,最后我们通过Datav实现了四个部门跨13个环节的作战,通过推荐实现了旗舰APP的个性化智能化等等,二是广泛应用到阿里云的产品,最后我们用了18多款产品,其中包括8款数加的大数据产品,10款阿里云的云服务。」才言说,最后团队总结客户的需求是「两云一端」,用以概括支撑业务O2O转型的系统技术架构。

「两云」指的是业务中台+数据中台,「一端」指的是AIOT终端,到目前为止,这仍然是对中台最精辟的总结,而这个客户项目也正是「两云一端」的第一次成功实践。

1、业务中台:「名称是客户取的,早在我们合作之前就有。」
业务中台当时解决两个问题:首先是业务方需要数据时,可以通过一个接口平台来调用,如果前端的业务系统太多影响应用效率;第二个问题是业务方系统数据太分散,需要把会员、商品、订单等重要的数据重新在逻辑上内聚、集中。

「后来,业务中台往门店端、营销端和供应链端不断延伸,技术上不断去中心化,业务上不断中心化支撑前台多变的需求。」才言提到客户的现状:「这是一个不断侵蚀的过程。上一轮信息化的所有成果,在新的系统架构里从功能和架构层面都再做了一遍。」

2、数据中台:客户不满意「数据平台」的提法,新的数据项目命名为数据中台。
客户发现,现有的后台业务系统(ERP、CRM、TMS等)具备深度的行业属性,跟公司内外的业务流程深度融合,必须持续投入增强竞争力,但是持续投入就产生了组织问题——如果生搬硬套用阿里的「数据平台」,这个部门在组织内部成长不起来,也成为不了最底层的业务。
在了解了微服务架构(业务中台的雏形)之后,客户认为,有了前台系统,有了后台系统,顾名思义应该有数据中台,中台面向业务应用,而平台则不具备业务特征,因此把新项目命名为数据中台,以方便内部项目推进,并且在投入产出上可以算清楚数据账(数据存储与计算的投入产出比)。

3、AIOT终端:终端智能化提升业务竞争力。
「从消费者、企业、技术服务各端的变化来看,我的垂直类目优势面临挑战。」才言回忆客户老板谈到,消费者会走向无现金,客户店铺无现金支付比例已经接近20%(2015年),刷脸支付带来了方便的同时,智能物联使得门店台面变得越来越智能。零售企业受到即时物流和近场零售的挑战,如果业务不再进行一次碎片化再重组,将经受不起任何冲击。

「技术上,你们比我们懂,阿里在推中台战略,AI在兴起,还有很多新技术层出不穷。」这位老板认为市场决胜的关键是:未来智能门店IOT逐步具备性价比,需要将业务高度集成一体化,需要将三代技术体系兼容打通,业务重构形成新零售平台。

数据中台走向成熟

第一个客户的合同落地很困难。

「特别痛苦,在当时的阿里云组织架构里,没有签过类似的合同。合同落地需要跟法务财务做大量沟通,而且在项目组织上算法、数据甚至计算等技术人员调动、协同难度极大。」才言回忆到。

「在客户的“威逼利诱”下,我们项目组饱受折磨之后,有了2016年年底这一稿,第一次从架构上定名为数据中台。后来,这个词广为人知,并且,阿里云在2018年年中第一次对外发布双中台。」才言的成就感从微笑的眉角溢出,「我们实践了业界第一个客户项目,第一次把双中台画出来做出来,一步步调整架构图,后来,这些PPT被很多人查阅,也被人反复修改。」
才言回忆往事仍然历历在目:「2016年云栖大会马总提出新零售等五新,我们当天在大数据分论坛上发布了双中台架构图。」

3_

(业界第一个双中台雏形)

客户项目获得了成功,公主告诉才言:「客户的项目负责人在组织内部连升三级,这就是项目的价值所在。」通过这个项目,才言他们还学习到了要敬畏传统行业,或者说叫做敬畏线下:电商平台虽有平台的搭建和运营的经验,但是线上场景里缺少供应链相关的内容,而传统零售企业的「端到端」供应链则是他们的立身之本。

「有必要回顾一下阿里提出业务中台和数据中台的历史,这里有无数阿里大侠们的智慧结晶。」才言回忆起这个过程时满怀敬仰。「数据平台是长期以来阿里巴巴对内部大数据团队的叫法,数据中台是阿里面向2B客户提出的理念,也是云上PASS的解决方案。」

才言回忆2014-2015年,他通过App-push 智能化推广项目获取的经验,淘宝运营团队对流量极端渴求,推动了技术的大胆应用,「淘宝就是一个强大的共享服务中台支撑了200多个团队四面八方打仗,利益优先全方位无敌国外交,开展合作不管内外。」

「阿里B2B有句老话:技术支撑业务,我入职B2B时最喜欢的一句话。」才言认为中台技术在阿里的形成历程是业务驱动技术进步:阿里是首先发展业务,再建共享中台。

  • 2009年,阿里巴巴开始建共享服务平台,不叫业务中台;
  • 2012年开始建数据平台,当时还不叫数据中台,数据平台在系统架构上处于底层;
  • 2015年大数据能力通过阿里云数据平台透出,对外提供数据服务;
  • 2015年,阿里巴巴开启了企业架构调整:业务中台化,前端业务部门可以像搭积木一样调用平台上的产品技术模块,从而快速搭建新业务场景,通过「业务数据化」实现了业务的数字孪生;数据中台化,打破了不同业务部门之间的烟囱式IT架构,打通了数据孤岛,为「一切数据业务化」打好了基础。

「2015年是标志性的一年,搜索完胜人工运营,从收购雅虎中国起,长达十年的争论结束了。这是一个精细化,业务专家不断AI化的过程。」才言兴奋的说:「一旦从投入产出上迈过了大规模数据存储和计算的高成本,将会产生持续的高效创新。我第一次看到机器把人分成两类,指挥机器的人和被机器指挥的人,淘宝这个终端会快速走向机器人化」。

数据中台替代数据平台,则从名称上标志着数据技术走向可认知可利用。才言认为,如果客户还称之为数据平台,那么说明客户还是在做数据仓库项目;如果客户叫数据中台,则说明客户决策层已经认识到数据的价值,开展数据业务。

03 认知:中台创新不只是一个技术问题

中小企业是否需要中台?

「这是伪命题,一点都不明白企业主的思考逻辑。」才言对这个业界争论的问题提出自己的观点。「信息化、渗透率、云化,老板可能不关心这些。但是正视威胁,业务竞争力的提升,以及通过机器长期吸纳业务专家的经验来优化人才结构,最终形成一个有竞争力的组织。这是战略和组织的问题,老板一定关心。」

才言认为,中台创新是一次巨大的商业技术浪潮,可比较的是1972年SAP成立后对商业的影响,中台技术的商业化,可以利用美国人的原创技术和思想帮助中国企业弯道超车。这不只是一个技术问题,还是组织和文化的问题。

「马总说阿里未来的组织像美军的大中台小前端。自从2015年开始做第一个数据中台项目,我就越来越关注军事工业。」才言再次提到美国对中台的借鉴作用,「企业的数字化转型就像二战后美国政府的转轨。」

《美国国防工业转轨》里提到:国防部战略从作战平台(舰船、飞机、坦克)为基础的,转变为以信息为基础。才言提出这段话说清楚了信息时代作战的本质,也是信息的作用,因此企业老板的战略思想和执行层的战术原则,都需要因时而变:「美国1945年就开始变,从总统、到国防部、到NASA、到军工复合体,到商务部。以史为鉴,你应该变。」

对企业老板而言,数据中台首先是一个咨询问题。在数据平台的策略从用户量优先转向营收优先之后,才言签下了第一个数据中台的咨询项目,在他看来,数据中台要想落地,首先需要咨询的帮助,因为数据中台不只是技术问题,更是一个战略选择问题、组织管理问题,是一个决策难题,甚至是文化落地问题。

1、战略选择问题(怎么选?):互联网巨头以平台的方式对各行各业产生了巨大的影响。平台经济是未来企业发展的共识,也是企业家的危机意识所在——自家企业要么平台化,要么成为平台的生态。

2、组织管理问题(怎么管?):现代企业管理理念开始从「控制」转向为「赋能」。传统的管控线对待创新是不友好的,而组织赋能的好处在于,一方面决策灵活应对多变的市场环境,另一方面全程数字化足以推进权力进一步下放。赋能式管理是对创新的尊重。

3、复杂的决策难题(怎么办?):数据中台从技术上讲是架构上的变化,项目立项对企业的影响将是全方位的。甲方不仅要决策数据中台产生的应用价值(解决具体问题的投入产出比),还需要决策大数据支撑AI来强化原有产品或者服务的竞争优势(AI构建新竞争壁垒的可能性),更需要决策数字化转型中组织结构所必需的IT投入(投入够不够的风险)。

4、文化落地的问题(怎么想?):数据中台推动了「大中台小前端」的组织变革,大中台对协同的要求之高,小前端对优胜劣汰的要求之高,是前所未有的。这是科学博弈的竞争文化。不光要求老板转过来思想,而且要渗透在组织行为的日常中。这些势必会产生文化冲突。

才言研究过企业的发展史,200年不到的实践中,所有的企业都从杜邦、福特、通用、戴尔、ebay等标杆性的美国企业身上学习过工业化技术和经营管理经验,在才言看来,中台背后的技术革新和产业实践,始作俑者都是美国人,但是用的最好的是中国人,中台就是代表。

「2016年之后,我开始跟我的咨询业前辈大量传播数据中台和业务中台,我甚至认为这是中国咨询业可以弯道超车的一个历史机遇。」不仅是咨询业,用中台帮助所有中国企业强大(这个时代的所谓「强大」是迈过奇点,真正拥抱人工智能),这也是才言心里最简单的出发点。
奇点云CEO行在在创立奇点云的一段话,可以用来代表才言的初心:「所以叫奇点云,我们一直希望这家公司,能够帮助政府能够高效治理,帮助商业企业更加智能。政府的高效治理能够服务好企业,加之企业更加智能各行各业强化了比较优势,中国经济的竞争力会更强。这些都是吸纳中台技术和经验后中国政府和企业能够做到的。」

中台,表面上是一个简单的词,有前有后,逻辑简单,概念普适,也很符合中国人「中庸」的理念,但是作为战略的卡位点和经营的着力点,中台也并不简单。在参与多个中台项目之后,通过与各行各业客户和业界前辈沟通,才言总结了三点:

1、中台为前台而生,要扛业务KPI。
从技术架构上来看,中台要负责从ERP等70多个系统里同步数据,数据计算成完后展现给前台的业务系统,前台的业务系统直接面向消费者,中台的「中」字就是这么来的。

「不是买了阿里云的云产品就可以建中台了。中台有强大的业务内涵。不过阿里云的那几十款产品还是要了解掌握的。」才言笑着指出,前台是由各类前台系统组成的前端平台;后台是由后台系统组成的后端平台;中台是真正为前台而生的平台,为了更好的服务前台规模化创新,响应用户,使企业做到自身能力与用户需求对接。

前台业务足够丰富、业态复杂,需要中台做承接,把各个平台的数据集中打通。需要中台的客户说明他们的业务正在平台化,中台的核心是中间件技术,中间件技术是为了平台使用的,客户的组织往扁平化发展,需要双中台的系统。

2、中台 for 业务,不只是 for 管理。
中台是为了让业务系统更加高效,而不是让管理系统更加万能。

抛开技术本身,大数据根本不是一个底层的问题,它是一个上层「for 业务」的问题。数据转型和应用,一定是强调从业务出发的,因为数据是业务的映射,业务上有什么需求,才相应抓取、分析、挖掘相关的数据。

比如,经常提到的问题是,中台里的会员中心和CRM系统是什么关系?从「for 业务」的视角分拆来看,CRM系统里,流程协作的功能会进入到前台终端,「for 管理」的数据分析与建模需要强大数据中台来支撑,而其他部分都分拆进入了中台里的营销中心或者会员中心。

顺便提一句,数据中台是企业业务和数据的沉淀,利用数据中台,可以提升效能、更好支持业务发展和创新,不仅减少烟囱式协作的成本,也是差异化竞争优势所在。

3、中台全部自建投入巨大,需要借助外力。
中台是企业掌握ABC(人工智能、大数据、云计算)技术的基础设施,技术冲击给商业组织带来了重要命题:如何利用这些生产工具来提升工作效率?延伸而来的是公司内部的组织关系会发生什么变化。

中台需要至少持续5-10年的技术规划,不是一两个技术项目可以覆盖的,中台是一个有技术和业务深度的企业服务领域。对企业而言,企业的CTO需要转变为CDO(首席数据官),信息部门要大变,人才结构也会大变,这都不是单靠企业自身能解决的问题。

04 落地:亲历奇点云AI驱动的数据中台

「一家公司的成功, 七分战略,三分管理。大趋势大浪潮比什么都重要。」2017年,才言加入奇点云创始团队,回忆起他在咨询公司时,老板说的这句话,他认为,数据中台就是下一个大趋势,尽管当时大数据还只是一个小圈子的玩意。

把大数据说成小圈子,才言的理由是在客户眼里,大数据尚不成熟:

1、从使用者的角度:「中国真正有PB级数仓的开发经验的人,其实很少。2014年我第一次搭建100TB级别的互联网数据传输通道,那个时候阿里云的产品还不成熟,数仓的秘钥,在线存储的安全漏洞。」才言提到伤心事:「一天到晚低声下气向人请教,周会上压力太大直接把我气哭了。我反省我是一个无知的人,后来意识到这是无人区。」

2、从搭建者的角度:大公司的场景特殊,比如阿里巴巴太特殊以至于hadoop跟不上业务创新,被迫自研。但是绝大多数企业,开源社区足以满足需求。「代码都在那里,关键是太过于复杂,开源社区更新如此之快。」产品化成为当务之急,客户可以拿来即用。

3、从业务方的视角:教科书上,数据仓库的传统应用是BI和CRM。而实际场景中业务方都在提出数据引擎的需求,这些需求超越了营销、商业智能、推荐等常态的业务范围。更重要的是,业务创新在不断拓展产品深度,「数据一旦走出了自给自足的状态。这又对数据安全产生了更高要求。开源的演进还在持续。」

工程实践在业界的稀缺性,使得奇点云这一类阿里系的创业公司有了先发优势。

「奇点云开始只是一个技术强国的初心愿景。真正化为行动,我们要坚持的是产品在云和端同时布局,拥抱2B时代。」才言说,2015年,马总提出互联网前20年就是技术产生的20年,接下来的30年是技术应用的30年,大数据、云计算、深度学习、机器学习在过去的20年产生了,接下来面临的就是应用问题,前面二十年是信息化的浪潮,应用技术的过程就是智能化的浪潮。

创业的高风险,迫使奇点云创始人行在一直在思考业务聚焦:在「智慧零售」和「数据中台」这两条赛道上,不是要左右逢源,而是集中力量打歼灭战。

在数据中台赛道上,「AI驱动的数据中台是我对市场竞争的回答,也是我认同的唯一解。」才言提到:「所有的这类公司会走向趋同。而奇点云与他们有着本质不同」。

4_AI_

(数据中台的分层:三层的技术架构)

从技术架构上看,客户对数据中台的这三层需求,边界清晰,很好地满足了市场需求,仅仅只做其中一层都有问题,他是自上而下的,也是自下而上的。是因为AI只有在具体的场景与可控的边界解决问题,数据中台是中间层,尤其对实体零售业态多、绑定具体的业务场景时,对CIO、COO、CEO来说都很好理解。

从技术到产品,是奇点云迈过的第一个鸿沟。

「产品大图,其实是客户的需求大图。奇点云相信数据红利给客户带来的价值,挖掘它赋能业务又体现出了数据平台的基础价值。」才言说:「这就是行在提的:端滋养云,云赋能端。」

「我非常认同马总提的DT时代。在我看来数据中台就做了2件事,把AI落地,把BI系统升级」,才言总结到:「在这张产品大图里,任意的云端组合都只为一个目的:在可信可靠的数据基础上做数据智能的应用,针对性地解决客户某个具体场景中降本和增效的问题,是一个范围明确、产出清晰、可量化、可立项、能落地的事,帮助客户储备大数据人才,比以前做BI的厂商采用数仓的解决方案要好的多。」市场上本来就有这种需求,数据中台出来后,正好以新的基础设施的形式结合深度学习的浪潮,原有的需求被新的基础设施满足。

「数据中台最重要的产出是要有闭环的数据服务,去服务前台的业务。对服务线下实体零售来说,线下智能在线化就是通过智能硬件,在数据反馈闭环的同时要掌握前台的端。」才言说这个大数据业界对云端的共识,将会在零售行业真正落地。

从产品到服务,则是奇点云走过的第二条路。

奇点云倡导的数据中台五维度服务体系包含数据中台咨询、数据中台产品设计、敏捷交付、数据智能应用、团队赋能,是完整的一套解决方案。

「数据中台解决方案是解决具体场景问题的,对团队有严苛的要求,一定要有数据团队、算法技术团队,而奇点云从成立第一天起就开始做算法研究,应用场景丰富。」才言提到。

从服务体系到走进行业客户,则是奇点云走向成功的关键。具备百购商超、大时尚、大快消、政府、创新孵化等多行业成功经验,实实在在为客户创造了价值。

未来,是一个数据即经济的时代。在赋能企业的道路上,才言将与奇点云一起脚踏实地,帮助企业找准大数据应用的切入点,快速推动企业数字化转型升级。

相关实践学习
阿里云百炼xAnalyticDB PostgreSQL构建AIGC应用
通过该实验体验在阿里云百炼中构建企业专属知识库构建及应用全流程。同时体验使用ADB-PG向量检索引擎提供专属安全存储,保障企业数据隐私安全。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
目录
相关文章
|
4月前
|
存储 分布式计算 关系型数据库
从零到一建设数据中台 - 功能组织与实现技术
从零到一建设数据中台 - 功能组织与实现技术
220 0
|
4月前
|
存储 SQL 分布式计算
从零到一建设数据中台 - 关键技术汇总
从零到一建设数据中台 - 关键技术汇总
96 0
|
SQL 存储 Java
数据中台为什么难搞?
数据中台为什么难搞?
62 0
|
存储 数据采集 分布式计算
我在数据中台建设和落地的一些经验总结
数据治理是数字化建设中非常重要的一环。在进行数据治理时,我们需要根据不同的业务场景和需求,选择最适合的数据治理方案,包括选择不同的组件组装和数据存储方式等。对于轻量级数据管理平台和重量级数据管理平台,我们可以针对具体情况进行选择,权衡成本与效益,以满足客户实际需求。在整个数据治理过程中,我们还需要注重客户成本的管理,确保项目的落地和实际效果,并且不断优化数据治理流程,需要积极参与业务需求分析和技术选型,确保数据治理方案符合客户需求和行业标准。
|
人工智能 数据挖掘 双11
|
数据采集 机器学习/深度学习 运维
《数据中台架构:企业数据化最佳实践》:感受数据中台建设五步法
《数据中台架构:企业数据化最佳实践》:感受数据中台建设五步法
1221 0
《数据中台架构:企业数据化最佳实践》:感受数据中台建设五步法
|
数据采集 分布式计算 安全
阿里数据中台进化史
阿里数据中台进化史
阿里数据中台进化史
|
数据采集 机器学习/深度学习 算法
个推 “数据智能五步法”,落地数据中台,实现数据 “炼造”闭环
每日互动(个推)梳理、总结了自身数据萃取和数据洞察的宝贵经验,创新性地提出“数据智能五步法”,旨在为行业客户充分挖掘、高效利用数据价值提供成熟思路和有效方案。
404 0
个推 “数据智能五步法”,落地数据中台,实现数据 “炼造”闭环
|
数据采集 SQL 存储
宜信数据中台全揭秘(一)数据中台整体介绍|分享实录
主要内容:结合目前宜信的业务,分享数据中台的主要研发逻辑和具体功能,以及解决哪几项核心问题。
|
数据采集 人工智能 供应链