大数据作为Tech Insight热点内容,12月19日上午北京场再一次惊爆会场,前后两个门口都挤满了用户,150人的场子,却挤了300多人,大多数用户边掂着脚认真听讲,还边录音。
一个参加完大数据场的用户在Tech Insight结束后到前台来给工作人员说到,Tech Insight特别棒,没有听过瘾,明天还有就好了。他还说到,Tech Insight论坛讲的内容都是其它企业的实际应用场景,听起来就像是我们自己公司的业务搭建中的场景再现一样,非常实用。我们来看看阿里巴巴是如何对海量数据进行整合和价值发掘的,同时这对其他企业也具有很好的借鉴意义。
阿里巴巴大数据建设经历了不断理念革新和实战、不断量变和质变的过程,其中,2014.04-2015.11的阿里集团数据公共层建设和2016.09开启的阿里巴巴大数据能力赋能社会是阿里巴巴在大数据领域的两次关键质变,第一次质变确定了阿里巴巴数据中台业务模式,第二次质变确定了阿里巴巴数据赋能社会的战略。
一、那么阿里巴巴是怎么通过数据中台业务模式来进行阿里内部数据建设的?
企业的发展,往往伴随着业务更多元化,而与此同时企业在积极推进业务数据化,因此越来越多的企业伴随着各个垂直业务的发展,形成了一个个垂直的数据中心,如何打通这些数据并且以统一的标准进行建设,以达到技术降本、应用提效、业务赋能的目标,是众多企业面临的问题。
阿里巴巴提出的数据中台模式正是为解决这些问题而生,并通过实践形成了统一全域数据体系,实现了计算存储累计过亿的成本降低、响应业务效率多倍提升、为业务快速创新提供坚实保障。
全域数据采集与引入:以需求为驱动,以数据多样性的全域思想为指导,采集与引入全业务、多终端、多形态的数据;
标准规范数据架构与研发:统一基础层、公共中间层、百花齐放应用层的数据分层架构模式,通过数据指标结构化规范化的方式实现指标口径统一;
连接与深度萃取数据价值:形成以业务核心对象为中心的连接和标签体系,深度萃取数据价值;
统一数据资产管理:构建元数据中心,通过资产分析、应用、优化、运营四方面对看清数据资产、降低数据管理成本、追踪数据价值。
统一主题式服务:通过构建服务元数据中心和数据服务查询引擎,面向业务统一数据出口与数据查询逻辑,屏蔽多数据源与多物理表;
极大的丰富和完善了阿里巴巴大数据中心,OneData、OneID、OneService渐趋成熟并成为上至CEO、下至一线员工共识的方法论体系。
二、是否在阿里生态之外,这套在阿里巴巴生态内实战过的数据中台模式可以推而广之、赋能全社会呢?
这就为大数据能力赋能阿里生态内外的社会思考开始酝酿并悄然拉起帷幕!未来,阿里巴巴还将全力以赴的分享自己的大数据观和基于阿里巴巴大数据观的数据中台业务模式。
赋能业务并闭环迭代:数据中台的建设的最终目标还是赋能业务,但在赋能业务的过程中,反馈数据和新数据需要源源不断地从业务前台回流到数据中台,形成闭环且可不端迭代。
企业建设数据中台建设有三个必要条件,战略决心、人才投入和工具保障。数据中台模式的建设不是一个运动,也不是一个一次性的项目,而是需要不断投入迭代的过程,并且可能会驱动企业的组织和流程进化,因此需要企业的决策层从战略上认同和下决心。数据中台的构建需要大数据人才,并通过一套完善的大数据工具来支撑建设。而人才方面可以通过借鉴成熟的方法论+外部服务商的引入+好的大数据工具来降低依赖。阿里的智能数据引擎Dataphin,结合数据中台实践沉淀的方法论和建模化的自动代码生成等技术能力和功能,可以高效、高质助力企业从各垂直业务的数据到统一全域数据的转变,建设自有的数据中台。
一个企业的大数据架构体系的成熟度将很大程度决定了企业大数据团队资源的长期投入是否能聚焦在业务问题,一般企业只有50%资源投入在业务问题解决,另外50%资源投入在应对源业务系统的突发变更,应对数据架构和模型体系的调整与优化。解决此问题需要从三方面着手:
第一:构建一个统一的研发工作平台,让大数据的模型设计与实现一体化协同;
第二:采用系统化的方法替代工程师设计,实现物理模型和物理运行代码的自动化生产,让架构调整与优化在系统层面自动完成;
第三:构建一个以逻辑模型为中心的数据架构体系,既可以简化数据访问的复杂度,有可以屏蔽数据源变更的影响范围。数据引擎Dataphin从这三方面解决大型企业数据架构问题,帮助企业构建全域数据构建体系,实现企业大数据资源能力要求简化,实现企业大数据资源更加聚焦在利用大数据实现业务价值问题,来帮助大型企业实现数字化转型。
如何打通这些数据并以统一的标准进行建设,以达到技术降本、应用提效、业务赋能的目标,将会成为众多企业面临的问题,而数据中台模式正是为解决该问题而生。全域数据采集与引入、标准规范数据架构与研发、连接与深度萃取数据价值、统一数据资产管理、统一主题式服务、赋能业务并闭环迭代,是数据中台建设的核心六个方面。对于数据中台建设有三个必要条件,战略决心、人才投入和工具保障,借力阿里的智能数据引擎Dataphin,通过其结合数据中台实践沉淀的方法论和自动化代码生成等技术能力,可极好地解决人才和工具两方面的问题。