数字化转型趋势下的数据中台建设之道

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

_

近日,奇点云副总裁何夕应创业邦BangTalk邀请,首次线上直播分享《数据中台建设之道》,直播间人气爆棚互动活跃。以下为演讲实录分享(文字根据现场演讲录音整理)。

数字化转型,其实并不是个新词。

根据IDC(互联网数据中心)的报告,自从数字化浪潮开启以来,企业就开始数字化进程。而据IDC预计,到2020年中国GDP的20%将来自业务数字化转型的增加值,数字化转型已上升到宏观经济层面,不仅将改变企业运营方式,还将重塑经济面貌。

我们要如何去定义人工智能的未来?

它影响到我们去怎么去理解数字化转型的本质。

过去10年中,云计算、大数据和人工智能技术的发展,不断驱动机器智能替代体力和脑力,那些高频重复的体力和脑力工作,越来越多地被机器智能所取代;而脑力赖以生存的经验公式(方法论、思维工具等),也越来越多地被算法所代替。

数字化转型主要面临的都是数据问题

站在今天的角度,我们或许可以清晰地定义数字化转型,本质上就是以算力、算法和数据为代表的信息技术,以数字化的方式驱动社会整体的改变和变革。数字化转型的未来清楚指向人工智能的发展,从而让人做人该做的事情,让机器做机器该做的事情,人类和机器脑力算力协同发展。
_

传统的数据分析其实是一种刀耕火种的状态,手工对数据进行提取,手工清洗数据、手工的透视和分析,以及在此基础上生成一些可视化图表,在这个过程中,其实只有透视和分析是人真正应该去做的事情。前面的数据提取、数据清洗,包括后来的数据可视化,其实都可以通过相关的BI工具和一些可视化工具来完成。

《富足》这本书讲到,当人类社会的生产资料从供不应求进入供过于求后,很多商业模式和商业逻辑都会发生巨大的变化。

今天我们面临着一个非常大的变局——数据量的指数级增长。2015年是人类社会数据增长的一个关键节点,因为在2015年,其一年产生的数据量是人类过去历史上产生的数据量的总和。换句话说,人类的数据量自此进入了指数级增长,2015年之后,数据量每年增长40%-50%。然后它会给我们带来巨大的数据富足的挑战。这种挑战我们称它为日益增长的数据存储费用和仍然稀缺的数据应用之间的矛盾。

这个矛盾到底会给我们公司的业务带来哪些挑战?需要如何解决?

作为一家已经跨越了数据指数级增长的公司,阿里巴巴的经历或许可以给我们启示。2007年,阿里巴巴决定未来要成为一家数据公司。2009年,阿里成立了阿里云,正式开启了去IOE的路程。

从2003年成立以来,淘宝收集了大量的数据,其中90%是非结构化的日志数据,当有了数据之后,所有人都想看见数据背后的真相:用户从哪来,他们买了什么,为什么购买,转化率如何……类似这样的分析问题,给阿里带来巨大的数据挑战。

2012年数据平台部的成立,这个被称为CDO的部门,诞生了一系列数据分析和挖掘工具,包括在云端、数据魔方、淘宝时光机、淘宝指数、TCIF等等。特别要提一下TCIF(淘宝消费者数据工厂),由现在奇点云的创始人行在创立,拉通了阿里巴巴所有的消费者数据,并且完成了3000+标签体系的建设。2012年的标志性事件,就是TCIF的存储和计算消耗量超过了BI,以TCIF为代表的人群定向成为了计算资源的消耗大户;另一个标志性的指标是,阿里巴巴有50%的服务器不再处理任何事务,而仅仅用于处理数据。

2015年也有两个标志性事件:一是阿里云数加平台的成立(行在创立),代表阿里巴巴开始把内部形成的大数据能力外化,赋能社会去建立大数据能力;二是推出千人千面算法,推荐算法一跃成为了存储和计算资源的头号消耗大户。

推荐算法不仅仅是我们看到的淘宝界面那么简单,在某种程度上,推荐算法让阿里巴巴跨越了「从人指挥机器到机器指挥人的奇点」。

数字化转型核心是建立清晰有效的数据战略

为什么今年数据中台特别火?

我们所有的企业在数字化转型走到今天,会发现业务问题背后往往可能隐藏的为数众多的数据问题,如数据不通,数据不可用,数据变现等问题。
_PPT_

拿「数据变现」打个比方,在数据进入了乘数级增长或者指数级增长的领域会特别明显,比如汽车因车联网的关系,它的整个数据增长量非常快,可能每年都有几十T的数据增长。而这些数据只是把它们存了下来,可能我有几亿行的数据,但我连一张大宽表都拉不出来,所以这个情况下它的数据是完全不可用的,所以需要解决数据变现的问题,而数据变现就是日益增长的数据存储费用和仍然稀缺的数据应用之间的矛盾。

很多的企业其实去做了很多算法、数据应用的尝试,但是因为没有解决数据采集、数据质量的问题,就会出现例如采集到的数据一半是空值,统计口径不一致所带来的数据总和之差,也有比如说我们的发票数据和销售数据的总和,它可能相差5%~10%不等,然后在不在某些行业来说,这可能就几千万到上亿的一个差距。这些业务问题背后其实都不同程度地体现为数据问题。
_

数据资产如何变成业务价值?
讲数据中台的时候,我们一定会讲,需要和数据中台一起去建立整个企业的数据资产的管理体系,那么如何去建设?这也是很多企业会碰到的问题。

数据如果仅仅是存下来,它是不能解决我们所说的主要矛盾的。那么数据资产要如何增值?如何变成业务价值?哪些业务是这个领域,哪些业务是我的数字化转型过程中最核心的业务?它是有业务痛点、业务场景的,包括它可能是一些明星需求能够带动整个公司来认知这件事情,提升对数据的认知,这些都是在这个过程中需要去解决的。

大数据咨询的核心是厘清差距

数据战略不能仅仅是把它当成一个技术问题,而是要从业务、技术、组织三个维度综合的来考量我们的整个数据的问题。那么要如何去考量这件事情?此前一年,为帮助企业推进数字化转型战略,解决数字化转型中的问题,奇点云推出了大数据咨询服务,并付诸大量案例实践。奇点云也将这些实践经验总结提炼成方法论,以白皮书的形式开放给更多商业机构。

而大数据咨询服务,它的核心的价值也就是厘清差距、明确方向。
_

我们如何去建设整个数据中台?作为我们公司的一个基础设施,一般把数据中台拆成4个部分来做建设规划。首先对于我们的数据中台来说,他一定会需要解决的是数据的来源问题,包括对我们的数据进行有效梳理,在此基础上,我们有专业的团队来构建一站式大数据智能服务平台DataSimba,通过我们的数据中台去解决整个数字资产管理问题,以及建立整个资产管理体系,整合所有的数据。我们把这个过程称为数据的工业化生产体系,在这个基础上,我们会仰赖一些专业的分析师团队去own,仰赖于算法工程师挖掘数据价值,真正去帮助我们做数据决策,然后去产生业务价值,最终一定是实现通过数据去建立数据决策能力,并面向市场进行一些应用的开拓,从而真正有效的使用,建立内部协同、外部协同,提升整体的经营水平。

具体如何基于明星需求去开展一些业务数据化的规划和实施呢?从数据的维度,首先要建立ETL数据抽取清洗处理的能力,有专门团队再进行探索性数据分析形成算法,去赋能整个沟通决策,相当于自动化分析,在此过程中构建数据产品,在现实世界中使用,完成整个闭环动作。

下面介绍我们建立的一套数据资产管理体系的方法论,我们叫它「盘理管用」。
_

从数据用起来的角度,根据业务场景,看数据是否已被收集、治理,是否已变成数据资产价值,所以叫「盘理管用」。但从我们思考的维度则相反,我们要关注怎么去盘、怎么去理、怎么去管,以及最终怎么去用。

当我们具备了这样的数据中台能力,具备了这样的数据资产管理体系,我们就会进入到如何去赋能我们的业务,然后也分享我们在实践过程中的一些经验。我们在跟一些企业做咨询的时候,其实大家慢慢对算法这件事情会产生极大的认同,因为算法代替经验公式在今天是一个不可阻挡的潮流。那么对于公司来说,未来的竞争的态势很可能会是每个公司所拥有的算法的数量和质量的竞争,公司就需要去沉淀自己的算法平台,去沉淀自己的算法模型,包括在集团管控、研发、制造、营销、服务、人才,包括共享服务上,都需要有自己的算法模型,去真正的去一方面去提升人效,降低整个成本,另一方面就去沉淀自己的一些实实在在的竞争壁垒。

目前线下的传统企业,很多时候数据问题并不仅仅是数据不通或者数据变现的问题,很多时候还是数据有无的问题。想要具备淘宝一样的数据化运营能力,那么它最大的数据来源会是哪里?从科学的角度来说,线下90%其实都是视图声的。而视图声数据大家都知道,它一定是非结构化数据,那么我们就需要去解决这些非结构化数据的采集和结构化的问题。我们如何把「数据原油」转化为企业所需要的燃料,助推商业引擎?

奇点云提出了AI+DATA「云(智能)+端(感知)」解决方案,帮助更多企业实现数字化转型,为他们赋能。
_

今天我们更多地还要去建立使用非结构化数据的能力,也就是奇点云在云端所提供的全场景智能化的企业转型服务,围绕整个数据中台建设AI算法,通过360度数据管家帮助企业更好地掌握企业的数据现状,及运用大数据咨询解决发展中的重大数据问题,帮助客户真正实现数据化企业运营,盘活企业的数据资产,创造更多商业价值。

相关实践学习
阿里云百炼xAnalyticDB PostgreSQL构建AIGC应用
通过该实验体验在阿里云百炼中构建企业专属知识库构建及应用全流程。同时体验使用ADB-PG向量检索引擎提供专属安全存储,保障企业数据隐私安全。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
目录
相关文章
|
存储 搜索推荐 数据挖掘
LinkFlow CDP科普篇05:客户数据中台,当代数字化营销的顶梁柱
客户数据中台(CDP)的出现,打破了现有的SaaS营销栈格局
196 0
|
城市大脑 达摩院 监控
阿里云交通数据中台解决方案,打造“数字化生产力”
在交通行业中,阿里云不仅具备成熟的方法论和工具,还联合高德、支付宝、阿里达摩院等,构成了一个内部协同生态,外部也积极与生态伙伴展开合作,全方位渗透交通各个领域和场景,是建设智能计算和催生智能分析的引擎。
阿里云交通数据中台解决方案,打造“数字化生产力”
|
新零售 存储 人工智能
复盘|数字化转型,鲁商集团从数据中台“下手”
从2019年确定转型方向到今天,鲁商集团真切地感受到了数据中台搭建完成后,对企业管理多层面的提升。对鲁商集团而言,数据中台的搭建,好比夯实数字化转型的基础,下一步才是转型的目标:利用数据中台释放出来的数据能力,反哺到各业务条线。
686 0
复盘|数字化转型,鲁商集团从数据中台“下手”
|
供应链 数据可视化 数据挖掘
解决方案应用实例 |搭载数据中台引擎,香飘飘实现数字化转型
香飘飘通过与阿里云数据中台合作,形成一套全域数据中台解决方案,统一运营自身的全域消费者资产,最终在拉新上实现了3.5倍的增长。
409 0
解决方案应用实例 |搭载数据中台引擎,香飘飘实现数字化转型
|
机器学习/深度学习 供应链 小程序
解决方案应用实例 |良品铺子借力数据中台,全面推进数字化战略
阿里云数据中台零售行业解决方案帮助良品铺子打通各系统数据,并且统一出标准口径,更好地向前端业务和消费者进行赋能。未来,数据中台还将改变良品铺子的组织发展重心和方向。
918 0
解决方案应用实例 |良品铺子借力数据中台,全面推进数字化战略
|
双11
解决方案应用实例 |全域数据中台,推动雅士利数字化变革
2019年双11,雅士利通过全域数据中台实现了短期快速提效的扎实效果,营销提效实现了去年同期增长92%。而旗下的新生羊奶粉品牌——朵拉小羊,更是利用品牌全域数据中台,实现了从0到1的成长突破。数据中台为雅士利提升业务带来了切实效果。
338 0
解决方案应用实例 |全域数据中台,推动雅士利数字化变革
|
供应链 搜索推荐 数据挖掘
解决方案应用实例 |基于全域数据中台,迦蓝实现数字化营销
2020年双11期间,伽蓝集团通过数据中台在全域营销和市场精准洞察上取得明显效果,其中包括天猫旗舰店粉丝数突破2000万,相比引入数据中台之前,全渠道会员数增长了1倍,达到4300万,粉丝数更是达到3.5亿,增长了10倍。
383 0
解决方案应用实例 |基于全域数据中台,迦蓝实现数字化营销
|
供应链 算法 数据管理
解决方案应用实例 |数据中台“开天眼”,波司登实现数字化新起飞
数年前,波司登遭遇了奇怪的现象:有的地方库存积压,而有的地方却无货可卖。后来接入了数据管理,全国的生产销售行为实现一盘货,波司登实现了数字化时代的新起飞。但人们并不知道,波司登背后的那个数据专家是谁?正是阿里云数据中台。
646 0
解决方案应用实例 |数据中台“开天眼”,波司登实现数字化新起飞
|
新零售 人工智能 供应链
进击的数据中台,企业数字化转型的新引擎
数据中台赋能企业数字化转型,成为降本增效新引擎。
14844 0
进击的数据中台,企业数字化转型的新引擎
|
新零售 人工智能 供应链
【解读】全域数据中台有效助力乳业数字化进程
数据清晰地勾勒出了中国乳制品行业的现状,规模大、增长停滞。这是一个成熟市场的标志,也是乳制品行业面临的第一个痛点——全行业正在进入“中年瓶颈期”。
1184 0
【解读】全域数据中台有效助力乳业数字化进程