数据中台必备的4个核心能力,你让数据创造价值了吗?

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 本文主要阐述数据中台的定义和核心能力。

作者:付登坡 江敏 任寅姿 孙少忆 等
来源:大数据DT(ID:bigdatadt)

文章链接: https://mp.weixin.qq.com/s/4BF3WWWCnJUX9ifRAgcA3Q

image.png

伴随着云计算、大数据、人工智能等技术的迅速发展,以及这些技术与传统行业的快速融合,企业数字化、智能化转型的步伐逐渐加快。IDC预测,到2021年,全球至少50%的GDP将被数字化,而每个行业的增长都会受到数字产品与服务、数据化运营的驱动。

数字化转型成功的企业,其内部和外部的交互均以数据为基础。业务的变化快速反馈在数据上,企业能够迅速感知并做出反应,而其决策与考核基于客观数据。

同时,数据是活的,是流动的,越用越多,越用越有价值。随着数据与业务场景的不断交融,业务场景将逐步实现通过数据自动运转和自动优化,进而推动企业进入数字化和智能化的阶段。

传统IT建设方式下,企业的各种信息系统大多是独立采购或者独立建设的,无法做到信息的互联互通,导致企业内部形成多个数据孤岛。

互联网、移动互联网的发展带来很多新的业务模式,很多企业尝试通过服务号、小程序、O2O平台等新模式触达客户、服务客户,新模式是通过新的平台支撑的,产生的数据与传统模式下的数据也无法互通,这进一步加剧了数据孤岛问题。分散在各个孤岛的数据无法很好地支撑企业的经营决策,也无法很好地应对快速变化的前端业务。

因此需要一套机制,通过这套机制融合新老模式,整合分散在各个孤岛上的数据,快速形成数据服务能力,为企业经营决策、精细化运营提供支撑,这套机制就是数据中台,如图2-1所示。

image.png
▲图2-1 数据中台定位

01 解码数据中台

与许多新概念诞生之初的境遇一样,数据中台目前正处于“定义混乱期”。

有人认为数据中台是云平台的一部分,同时包括业务中台和技术中台;有人认为数据中台是数据的共享、整合和深度分析;还有人认为数据中台是“计算平台+算法模型+智能硬件”,不仅有云端,还需要智能设备帮企业在终端收集线下数据……从服务方到客户方,对数据中台的理解并不相同,如同一千个观众心中就有一千个哈姆雷特。

笔者们有幸见证了数据中台在中国从0到1的全过程,并在其中实践多年,对于数据中台的定义,笔者们认为:数据中台是一套可持续“让企业的数据用起来”的机制,是一种战略选择和组织形式,是依据企业特有的业务模式和组织架构,通过有形的产品和实施方法论支撑,构建的一套持续不断把数据变成资产并服务于业务的机制。

数据来自于业务,并反哺业务,不断循环迭代,实现数据可见、可用、可运营,如图2-2所示。

通过数据中台把数据变为一种服务能力,既能提升管理、决策水平,又能直接支撑企业业务。数据中台不仅仅是技术,也不仅仅是产品,而是一套完整的让数据用起来的机制。既然是“机制”,就需要从企业战略、组织、人才等方面来全方位地规划和配合,而不能仅仅停留在工具和产品层面。

以中国某大型央企集团的数据中台为例,该集团旗下拥有横跨金融、地产、零售的多条业务线。要做数字化转型,不仅是技术问题,更是组织与业务运转模式改变的问题,需要顶层战略规划和组织架构上的改变。这也是为什么各大互联网公司在宣布中台战略时,会伴随着组织架构调整。

image.png
▲图2-2 数据中台是一套“让企业的数据用起来”的机制

每家企业的业务与数据状况各不相同,业务对数据服务的诉求不同,数据中台的建设将呈现出不同的特点,没有任何两家企业的数据中台是完全相同的。数据中台的实施不仅需要一整套技术产品,更需要针对不同业务、数据、应用场景的体系化的实施方法和经验,过程中涉及企业战略、组织、技术、人才等全面的保障和配合。

02 数据中台必备的4个核心能力

早在2015年,数字化领域的领先者已经开始从顶层战略设计入手,调整组织架构,协调内外部的利益,更新方法论和认知体系,着手构建数据中台体系。从2018年下半年开始,以数据中台战略为核心的变革潮流席卷互联网行业,然而多数企业对数据中台内涵的认识仍不够全面,导致业务落地和商业创新还是困难重重。

数据中台需要具备数据汇聚整合、数据提纯加工、数据服务可视化、数据价值变现4个核心能力,让企业员工、客户、伙伴能够方便地应用数据。

1. 汇聚整合

随着业务的多元化发展,企业内部往往有多个信息部门和数据中心,大量系统、功能和应用重复建设,存在巨大的数据资源、计算资源和人力资源的浪费,同时组织壁垒也导致数据孤岛的出现,使得内外部数据难以全局规划。

数据中台需要对数据进行整合和完善,提供适用、适配、成熟、完善的一站式大数据平台工具,在简便有效的基础上,实现数据采集、交换等任务配置以及监控管理。

数据中台必须具备数据集成与运营方面的能力,能够接入、转换、写入或缓存企业内外部多种来源的数据,协助不同部门和团队的数据使用者更好地定位数据、理解数据。同时数据安全、灵活可用也是绝大多数企业看重的,他们期望数据中台能协助企业提升数据可用性和易用性,且在系统部署上能支持多种模式(见图2-3)。

image.png
▲图2-3 企业看重的数据整合和管理能力

2. 提纯加工

数据就像石油,需要经过提纯加工才能使用,这个过程就是数据资产化

企业需要完整的数据资产体系,围绕着能给业务带来价值的数据资产进行建设,推动业务数据向数据资产的转化。

传统的数字化建设往往局限在单个业务流程,忽视了多业务的关联数据,缺乏对数据的深度理解。数据中台必须连通全域数据,通过统一的数据标准和质量体系,建设提纯加工后的标准数据资产体系,以满足企业业务对数据的需求,如图2-4所示。

image.png
▲图2-4 企业看重的数据提炼和分析加工能力

3. 服务可视化

为了尽快让数据用起来,数据中台必须提供便捷、快速的数据服务能力,让相关人员能够迅速开发数据应用,支持数据资产场景化能力的快速输出,以响应客户的动态需求。

多数企业还期待数据中台可以提供数据化运营平台,帮助企业快速实现数据资产的可视化分析,提供包括实时流数据分析、预测分析、机器学习等更为高级的服务,为企业数据化运营赋能。

此外,伴随着人工智能技术的飞速发展,AI的能力也被多数企业期待能应用到数据中台上,实现自然语言处理等方面的服务。数据洞察来源于分析,数据中台必须提供丰富的分析功能,数据资产必须服务于业务分析才能解决企业在数据洞察方面的短板,实现与业务的紧密结合(见图2-5)。

image.png
▲图2-5 企业看重的数据资产服务化能力

4. 价值变现

数据中台通过打通企业数据,提供以前单个部门或者单个业务单元无法提供的数据服务能力,以实现数据的更大价值变现。

企业期待数据中台能提升跨部门的普适性业务价值能力,更好地管理数据应用,将数据洞察变成直接驱动业务行动的核心动能,跨业务场景推进数据实践。同时,企业对于如何评估业务行动的效果也十分关注,因为没有效果评估就难以得到有效反馈,从而难以迭代更新数据应用,难以持续为客户带来价值,如图2-6所示。

如前所述,数据中台是一套持续地让企业的数据用起来的机制,要想把数据用起来,四个核心能力都需要不断迭代和提升。从战略上来看,汇聚整合、提纯加工、服务可视化和价值变现的能力是数据中台最核心的竞争力,是企业真正将数据转化为生产力、实现数字化转型和商业创新、永葆竞争力的保障,如图2-7所示。

image.png
▲图2-6 企业看重的数据价值变现能力

image.png
▲图2-7 数据中台4大核心能力不可分割

关于作者:付登坡(花名:天湛),资深大数据专家,数澜科技联合创始人&地产事业部总经理。有10余年大数据领域从业经验,擅长数据建模、海量数据产品架构设计与实现。原阿里巴巴集团大数据专家,曾在阿里巴巴集团负责消费者数据标签体系、DMP平台等大数据项目设计与实施。
江敏(花名:江敏),资深大数据专家,数澜科技联合创始人& CTO。有10年大数据平台规划、数据安全交换使用、数据应用场景建设方面的实践经验。曾任职于阿里数据平台事业部、阿里云数据事业部,负责阿里数据能力及平台的行业客户赋能,并打造行业的数据共享交换,是ID-Mapping体系能力构建及服务化的核心参与者、数据交易模式的早期探索者。
任寅姿(花名:影姿),资深数据产品专家,数澜科技创新事业部总经理。曾任阿里巴巴数据产品专家、数据创新梧桐工作室负责人等。对大数据资产设计、资产服务、资产应用在实践的基础上形成了一套完整的数据标签类目体系方法论,擅长对各种复杂业务场景进行需求拆解、数据抽象和数据应用建模,关注采用大数据方法切实解决场景痛点,提升业务效率。
孙少忆(花名:守正),资深数字化转型咨询专家,数澜科技战略副总裁。20年企业信息化工作经验,积累了丰富的信息化内部运营、解决方案销售及交付等方面的实践经验。

本文摘编自《数据中台:让数据用起来》

相关实践学习
阿里云百炼xAnalyticDB PostgreSQL构建AIGC应用
通过该实验体验在阿里云百炼中构建企业专属知识库构建及应用全流程。同时体验使用ADB-PG向量检索引擎提供专属安全存储,保障企业数据隐私安全。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
目录
相关文章
|
3月前
|
机器学习/深度学习 敏捷开发 存储
数据飞轮:激活数据中台的数据驱动引擎
数据飞轮:激活数据中台的数据驱动引擎
|
5月前
|
数据采集 存储 监控
从零到一建设数据中台 - 数据治理路径
从零到一建设数据中台 - 数据治理路径
141 6
|
4月前
|
SQL 运维 Oracle
【迁移秘籍揭晓】ADB如何助你一臂之力,轻松玩转Oracle至ADB的数据大转移?
【8月更文挑战第27天】ADB(Autonomous Database)是由甲骨文公司推出的自动化的数据库服务,它极大简化了数据库的运维工作。在从传统Oracle数据库升级至ADB的过程中,数据迁移至关重要。
81 0
|
5月前
|
存储 JSON Cloud Native
数据库ADB-PG问题之数据源处理如何解决
数据库ADB-PG问题之数据源处理如何解决
|
3月前
|
机器学习/深度学习 数据可视化 数据挖掘
唤醒数据中台潜力:加速数据飞轮转动,实现数据驱动的秘籍
本文探讨了如何通过数据飞轮激活数据中台的潜力,实现数据驱动的创新。文章分析了数据中台面临的挑战,如数据孤岛和工具复杂性,并提出了建立统一数据治理架构、引入自动化数据管道和强化数据与业务融合等策略。通过实际案例和技术示例,展示了如何利用数据飞轮实现业务增长,强调了数据可视化和文化建设的重要性。旨在帮助企业充分挖掘数据价值,提升决策效率。
100 1
唤醒数据中台潜力:加速数据飞轮转动,实现数据驱动的秘籍
|
3月前
|
存储 机器学习/深度学习 数据管理
数据技术的进化史:从数据仓库到数据中台再到数据飞轮
数据技术的进化史:从数据仓库到数据中台再到数据飞轮
|
3月前
|
机器学习/深度学习 消息中间件 搜索推荐
【数据飞轮】驱动业务增长的高效引擎 —从数据仓库到数据中台的技术进化与实战
在数据驱动时代,企业逐渐从数据仓库过渡到数据中台,并进一步发展为数据飞轮。本文详细介绍了这一演进路径,涵盖数据仓库的基础存储与查询、数据中台的集成与实时决策,以及数据飞轮的自动化增长机制。通过代码示例展示如何在实际业务中运用数据技术,实现数据的最大价值,推动业务持续优化与增长。
141 4
|
3月前
|
机器学习/深度学习 搜索推荐 算法
从数据中台到数据飞轮:企业升级的必然之路
在探讨是否需从数据中台升级至数据飞轮前,我们应先理解两者之间的关系。数据中台作为数据集成、清洗及治理的强大平台,是数据飞轮的基础;而要实现数据飞轮,则需进一步增强数据自动化处理与智能化利用能力。借助机器学习与人工智能技术,“转动”数据并创建反馈机制,使数据在循环中不断优化,如改进产品推荐系统,进而形成数据飞轮。此外,为了适应市场变化,企业还需提高数据基础设施的敏捷性和灵活性,这可通过采用微服务架构和云计算技术来达成,从而确保数据系统的快速扩展与调整,支持数据飞轮高效运转。综上所述,数据中台虽为基础,但全面升级至数据飞轮则需在数据自动化处理、反馈机制及系统敏捷性方面进行全面提升。
113 14
|
2月前
|
机器学习/深度学习 JSON JavaScript
LangChain-21 Text Splitters 内容切分器 支持多种格式 HTML JSON md Code(JS/Py/TS/etc) 进行切分并输出 方便将数据进行结构化后检索
LangChain-21 Text Splitters 内容切分器 支持多种格式 HTML JSON md Code(JS/Py/TS/etc) 进行切分并输出 方便将数据进行结构化后检索
42 0
|
2月前
|
数据管理 数据挖掘 大数据
数据飞轮崛起:数据中台真的过时了吗?
数据飞轮崛起:数据中台真的过时了吗?