终于有人把数据中台讲明白了

简介: 企业数据日益庞大,报表堆积、系统分散,决策时却常面临数据难找、难懂的问题。为此,“数据中台”应运而生。它如同数据服务工厂,将原始数据转化为可复用的智能服务,打通数据孤岛,提升业务响应速度,助力企业实现数据驱动。本文详解数据中台的本质、架构与核心价值,揭示其如何真正赋能企业未来。

公司里的数据一天比一天多,报表堆成山,系统一大堆。但​真到做决定时,却发现数据要么找不到,要么看不懂​。为了解决这些难题,​“数据中台”应运而生​!

作为国内的主要大数据玩家,阿里在2015年提出了“大中台、小前台”的战略,奠定了公司内部发展数据中台的基础。2018 年因为“腾讯数据中台论”,中台再度成为了人们谈论的焦点。

至此,​关于“数据中台”的讨论从未停歇​,大概没有什么大数据概念像数据中台一样,这般具有争议吧!

那么​数据中台究竟是包装过时的旧概念,还是真正可以赋能未来的真利器?​今天,我们就从本质、价值到架构,为你彻底讲清——​企业究竟需要什么样的数据中台​。

一、数据中台是什么

数据中台,可以把它想象成一个数据服务工厂,核心功能是​将原始数据转化为对企业有价值的、可复用的数据智能服务​。为了方便理解,我们对物理世界里工厂的概念,把数据中台的概念抽象和分解一下。

1.原材料(源数据)

数据中台的原材料包括企业内部生成的数据和外部获取的数据。这些数据是数据中台进行加工和分析的基础。

2.数据质量控制(数据湖)

数据湖是存储大量原始数据的地方,类似于原材料仓库。在这里,数据需要经过清洗、转换和质量检查,以确保其可用性和准确性。

3. 生产厂房(数据管道)

数据管道是数据流动和处理的通道,负责将数据从数据湖传输到需要它们的地方,进行进一步的加工和分析。

4.半成品/产品仓库(数据集市)

数据集市是数据产品和数据服务的存储地,类似于工厂的成品仓库。这里存放着经过加工的数据,可供企业内部不同部门或外部客户使用。

5.智能创新实验室(数据产品和服务创新)

智能创新实验室是数据中台进行新数据产品和新数据服务研发的地方,推动企业数据能力的持续创新和优化。

6.治理和办公室(数据治理和服务治理)

数据治理和服务治理确保数据中台的运作符合企业的标准和法规要求,提高数据的质量和安全性,减少浪费,提高效率。

二、企业为什么需要数据中台

从数据中台的概念可以清晰看到其作为数据服务工厂的运作逻辑,而落到企业实际应用场景中,它的价值更体现在对业务痛点的精准响应上。具体来看,可以满足企业这三方面的需求:

1.企业希望数据距离业务更近

以前的数据部门离业务部门有距离,业务部门不能直接使用数据,也不能直接地在数据当中发现价值,业务迫切希望距离数据更近,这是最大的一个需求。

2.企业希望数据中台能够提供数据服务

过去数据部门提供的都是可视化辅助决策类的服务,而企业希望数据中台能够提供高响应更实时的数据服务。借助工具可以让数据中台的开发和利用更快速,比如数据集成工具FineDataLink,在具体业务的数据分析场景中,它可以把来自ERP、CRM等不同系统的数据进行集成和治理,然后对数据进行清洗和转化。另外,利用FDL的数据治理能力还可以建立数据标准,保持数据格式的一致性。

3.企业希望数据中台能直接提供业务价值

如何能够让数据直接产生业务价值,一直是企业非常关心的问题。

还有诸如:赋能业务更智慧、构建统一数据资产、打通数据孤岛等企业方面的迫切需求。总的来说,很明显能看到企业对于数据中台这个概念承载的重大期待。

三、数据中台的使命和愿景

在Gartner的分层架构理念基础之上,我们把数据中台抽象成6大价值,在六大能力基础之上支撑的就是数据中台的使命和愿景:​构建数据驱动的智能企业​。

1. 数据资产的规划和治理

现在很多企业在做数字化转型,有的企业还不具备基本的信息化系统,是不是就意味着不需要考虑数据了?或者等数据先有了,把后台建好,再来做中台?

不是这样的。因为数据是无时无刻不在产生的。重要的是:​只要业务在生产,或者只要你的业务模式已形成,企业运转起来,你的数据就会时时产生​。而且用什么数据也很清晰,区别只是到时候是用人工去处理这些数据,还是用系统去处理这些数据?

所以我们认为数据是不依赖于你的系统是否构建的,它是客观存在的,只是你没有通过技术的手段把它存储,采集下来而已。在这样的情况下,数据要早于应用规划。

构建数据中台,首先要有清晰的数据战略、数据资产的规划。企业需要清晰的知道自己​要的是什么数据?现在需要什么数据?未来需要什么数据?可能会产生什么数据?​数据未来在哪个系统里面去产生?他们之间的关系是什么?这个很重要。

这就是你要构建的数据资产目录,这个目录是一个逻辑结构,当你清晰的知道了这些结构以后,再去建设你的系统,这样的话,脑子就会非常清晰,只有这样才能从根本上去解决数据质量的问题、数据不一致的问题。

所以我们​数据全景图、数据资产目录、数据的战略​,这才是企业现在数字化转型的非常重要的第一步。

2. 数据资产的获取和存储

数据的全景图,实际上映射的是你的业务全景图。在这个基础之上,构建你的应用,同时采集数据资产。​先采集什么数据后采集什么数据?数据之间的关系,采集数据用的工具​,这些都是数据平台需要去解决的问题。

3. 数据资产的共享和协作

数据资产获取和采集以后,就要去让数据产生新的价值,把数据用起来。

这种情况下,一个非常重要的点是:数据一定要被企业所有的员工,乃至于企业价值链上的所有的人共享、开放和协作。

要让企业的每一个员工都清晰的知道有什么数据,数据的业务含义是什么?数据存放在哪里?只有这样,才不会出现数据的重复建设。如何把业务人员的想法变成数据的产品、协作?如何提高数据创新的速度?

每个企业都需要一个数据资产的协作平台​,在这个平台上,业务需求提出人员,数据采集人员、数据开发人员,算法工程师,数据分析工程师,大家能够在一个平台自动化的协作,而不需要线下的这种协作。在同样的版本的数据基础上,用共同的沟通语言去交流协作,这样才能加快企业数据资产开发的速度。

4. 业务价值的探索和发现

业务人员提想法,然后在数据资产的这种探索平台里面去做实验,快速的在公有的数据中台的数据集、数据湖的基础之上,构建不同的数据沙箱。用不同的数据版本,去探索和挖掘业务价值。

5. 数据服务的构建和治理

当你发现一个数据集对业务很有价值,并且通过了验证以后,就要把它成开发成数据服务,让数据服务能够被更多的人使用。

6. 数据服务的度量和运营

有数据开发者,有数据消费者,这样的话就面临一个问题,哪些数据有价值?哪些数据服务有价值?

因为计算资源、存储资源都是有限的,不可能无限制的去开发和存储。所以要识别出有价值的服务,让它被更多的人所使用。让那些没有价值的数据服务,沉淀在底层,然后被销毁和释放。

这就是一个运营体系,让数据能够持续的运营产生价值。只有这6点都具备了,企业才是一个有数据驱动能力的这样的一个智能企业。

四、企业的数据中台架构

上图是阿里数据中台发展至今的一张全景图,大家应该在云栖大会等多个场合有看到过这张图。阿里数据中台的整体核心其实是位于中间的三层数据中心:垂直数据中心、公共数据中心和萃取数据中心。

1. 垂直数据中心

阿里通过将包括淘宝、天猫、聚划算、阿里妈妈广告、优酷土豆、高德等来自不同BU的数据进行采集,在清洗和结构化处理后形成垂直数据中心。

2.公共数据中心

在垂直数据中心已采集数据作为原料的基础之上,采用维度建模的方式,以业务过程作为粒度切分,处理成不因业务特别是组织架构变动而轻易推翻的数据中间层,由DWD明细层和DWS汇总层共同构成。

3.萃取数据中心

更进一步以客观业务实体(如人、货、场、企业等)为对象,围绕其建立起以统计指标、标签、关系等数据为主的数据体系,作为直接面向业务的萃取数据中心。

五、数据中台的核心竞争力

仅从这三层数据中心构成的数据资产体系来看,阿里的架构似乎并无太多先进之处,除萃取数据中心外,垂直数据中心和公共数据中心都能在数仓建模中找到其对应的架构,即便是萃取数据中心,在一些企业的商业智能或者大数据平台层面也能找到相应的雏形。所以,阿里数据中台的核心竞争力究竟是什么呢?答案就是——产品+技术+方法论。

​1.​云上数据中台

历经阿里生态内各种实战历练后,云上数据中台从业务视角而非纯技术视角出发,智能化构建数据、管理数据资产,并提供数椐调用、数据监控、数据分析与数据展现等多种服务。

承技术启业务,是建设智能数据和催生数据智能的引擎。​在OneData、OneEntity、OneService三大体系,特别是其方法论的指导下,云上数据中台本身的内核能力在不断积累和沉淀。​在阿里巴巴,几乎所有人都知道云上数据中台的三大体系。

2.云上数据中台的三大体系

OneData致力干统一数据标准,让数据成为资产而非成本​,其中包括OneModel,用于指导数据采集、数据建模、数据开发的规范性;​OneEntity致力于统一实体,让数据融通而以非孤岛存在​;​OneService致力于统一数据服务,让数据复用而非复制​,用于指导如何提供数据服务,包括质量安全、资产管理、数据交换、组织协作等流程的规范性。

这三大体系不仅有方法论,还有深刻的技术沉淀和不断优化的产品沉淀,从而形成了阿里巴巴云上数据中台内核能力框架体系。有了这套核心框架,对于阿里来讲,无论对其自身数据中台建设,还是对外输出解决方案,都提供了非常大的助力。

六、总结

除了阿里,无论是华为、OPPO为代表的高科技制造行业,还是网易、滴滴为代表的互联网行业,都纷纷在自建或者提出了数据中台的解决方案,但是我们又发现,​每一家企业似乎对数据中台都有自己不同的理解​,这点从四家企业的数据中台架构图就可以看出。

现在可以回答最初的问题了,数据中台究竟是什么,或者说企业想要的数据中台究竟是什么样子的。​数据中台不是技术体系,也不是一个具象的产品工具,它没有标准化的架构​,但是一个成功的数据中台必然有其核心要素:

  1. 数据中台不是纯粹的技术定义,应是管理+技术+业务的混合输出。
  2. 数据中台应该是数据资产的载体,提供基础的计算和存储平台,使数据可存可查可复用可共享可变现。
  3. 数据中台存储的每一笔数据都理应有业务的价值,所以需要完善的数据治理体系对其进行规范和管理。
  4. 数据中台应提供友好、自动化的工具来降低数据开发处理的门槛,让业务专注于业务。
  5. 数据中台需要指导方向的方法论,其建设和实施上不能再只是满足建设起一套IT系统,搭建起指导方向和持续演进的方法论才能事半功倍。

看清本质,把握核心,数据中台才能真正从热词落地为企业的竞争力​。这次,我们真的把它讲明白了。

相关文章
|
5月前
|
数据采集 存储 运维
什么是数据中台?看这篇就够
在数字化时代,企业数据激增却难见效?根源在于缺乏数据中台。它不仅是技术平台,更是融合数据采集、治理、服务与运营的体系,打破孤岛,提升效率,驱动业务创新。本文带你全面了解其定义、搭建步骤与核心价值,助力企业真正实现数据赋能。
什么是数据中台?看这篇就够
|
SQL 存储 数据采集
数据中台建设方法论
数据中台建设方法论
|
7月前
|
存储 数据采集 监控
什么是数据中台,一文读懂数据中台核心功能
在数字化浪潮下,数据成为企业核心资产。然而,数据分散、质量参差、使用效率低等问题困扰企业发展。数据中台应运而生,作为企业的“中枢神经”,它通过整合、治理、分析和共享数据,打破信息孤岛,提升数据价值,助力企业在营销、风控、产品创新和运营等方面实现数据驱动决策。本文深入解析数据中台的概念、功能、应用场景及建设路径,帮助企业理解如何构建高效的数据能力平台,推动业务增长。
|
存储 敏捷开发 缓存
中台架构介绍和应用价值
中台架构介绍和应用价值
1573 0
|
4月前
|
存储 监控 安全
什么是技术架构、数据架构、业务架构、应用架构、产品架构和项目架构?
为何技术设计完善,项目仍推进艰难?根源在于架构认知缺失。本文系统解析业务、数据、应用、技术、产品、项目六大核心架构,揭示数字化建设的底层逻辑,助力跨部门协作与高效交付,实现技术价值最大化。
|
定位技术
阿里研究员玄难:如何做电商业务中台
2016 ATF阿里技术论坛于4月15日在清华大学举办,主旨是阐述阿里对世界创新做出的贡献。会上阿里业务平台事业部&淘宝基础平台技术部负责人玄难阐释了淘宝经历13年的发展中,业务平台从零到有,同时又逐步演进为业务中台。
41654 0
|
5月前
|
数据采集 存储 安全
一文带你讲透数据仓库分层!
在数据处理中,常遇到数据混乱、指标不一致、开发排期长等问题,根源往往在于数据分层设计不合理。本文详解数据仓库分层(ODS、DWD、DWS、DM、APP等),阐述其在数据清洗、整合、管理及应用中的关键作用,帮助提升数据质量、减少重复开发、增强系统扩展性,从而高效支撑业务决策。
一文带你讲透数据仓库分层!
|
5月前
|
SQL 数据管理 关系型数据库
SQL 语言入门:开启数据管理的大门
在数字化时代,数据已成为核心资产,而 SQL 作为操作关系型数据库的标准语言,是数据从业者、程序员及办公人员必备技能。本文从基础概念讲起,详解 SQL 的核心用法,包括数据查询、插入、修改、删除及表结构操作,并通过实例演示帮助读者快速上手。掌握 SQL,不仅能提升数据处理效率,更为深入理解数据管理打下坚实基础。
|
6月前
|
数据采集 SQL 搜索推荐
大数据之路:阿里巴巴大数据实践——OneData数据中台体系
OneData是阿里巴巴内部实现数据整合与管理的方法体系与工具,旨在解决指标混乱、数据孤岛等问题。通过规范定义、模型设计与工具平台三层架构,实现数据标准化与高效开发,提升数据质量与应用效率。
大数据之路:阿里巴巴大数据实践——OneData数据中台体系
|
5月前
|
数据采集 监控 数据管理
速看!数据质量管理的6个要素
数据质量管理关乎数据的准确、完整、一致、及时、唯一和有效。它并非遥不可及,而是直接影响决策与效率。通过六大要素协同管理,让数据真正可靠可用。