数据中台最全详解,一文彻底搞懂!

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 中台是大型数据架构模式,也是大型架构的必备技能,本篇全面详解数据中台,建议收藏备用。关注【mikechen的互联网架构】,10年+BAT架构经验倾囊相授。

关注△mikechen的互联网架构△,10年+BAT架构经验倾囊相授

大家好,我是 mikechen | 陈睿

数据中台是大型数据架构模式,也是大型架构的必备技能。

本篇,我们全面详解数据中台。@mikechen

数据中台

通俗地讲,数据中台就是一个在数据层面上,为企业业务提供帮助,以及决策的一个工具。

image.png

在以前数据往往只被显示,慢慢地人们需要随时随地查找数据,存储数据的概念被普遍认知。

进入互联网时代后,数据存储有了比较明显的变化,互联网时代进入了爆发期,此时产生了大量的数据,人们通过数据挖掘,收集大量的外界数据作为决策的依据。

然后,人们渐渐产生了数据思维,发现可以通过观看数据来制定运营策略。

于是,大公司纷纷去打造自家的数据中台,将海量的数据作为自身的资产,并利用数据中台将数据进行整合,最后通过数据智能分析,以数据驱动决策,这就是数据中台。

数据中台价值

数据中台的使命是利用大数据技术,通过全局规划来治理好企业的数据资产,让数据使用者能随时随地获取到可靠的数据。

数据中台的价值,如下图所示:

image.png

数据中台,主要包含如下三大价值:

1. 帮助企业建立数据标准

数据中台的建设天然会帮助企业建设数据标准,包括数据建设规范和数据消费规范。

数据建设规范有诸如数据接入规范、数据建模规范、数据存储规范和数据安全规范等。这些标准都是建设数据中台时必须建立起来并依托数据中台去执行和落地的。

2. 促进中台组织形成

再宏伟的企业战略规划,都离不开一套科学合理的组织去落地执行,数据中台这种体系化工程将横向拉通企业数据相关方。

包括:中台建设团队、中台运维团队、以及数据产品经、数据运营团队等,从而形成企业真正的中台组织。

3. 全面赋能业务,促使降本增效

数据中台的终极价值是降本增效,无论是建设数据标准,还是形成中台组织,其核心目标都是帮助企业充分利用数据的价值

数据中台架构

数据中台屏蔽掉底层存储平台的计算技术复杂性,与上层的数据应用之间的一整套体系,通过数据中台的数据汇聚,让数据的使用成本更低。

数据中台的架构,如下图所示:

image.png

数据中台架构,主要会涉及到三层:工具平台层、数据资产层、数据应用层。

1.工具平台层

工具平台层是数据中台的载体,包含大数据处理的基础能力技术,比如:集数据采集、数据存储、数据计算、数据安全等于一体的大数据平台。

2.数据资产层

数据资产层是数据中台的核心层,它依托于工具平台层,划分为主题域模型区、标签模型区和算法模型区。

1)主题域模型

主题域模型是指面向业务分析,比如:订单、合同、营销等业务抽象的集合。

2)标签模型

标签模型的设计,与主题域模型方法大同小异,同样需要结合业务过程进行设计。

标签一般会涉及企业经营过程中的实体对象,比如:会员、商品、门店、经销商等,这些主体一般来说都穿插在各个业务流程中,比如:下订单就穿插相关流程。

3)算法模型

算法模型搭建过程包含:定场景、数据源准备、特征工程、模型设计、模型训练、正式上线、参数调整7个环节。

3.数据应用层

数据应用层严格来说不属于数据中台的范畴,但数据中台的使命就是为业务赋能,几乎所有企业在建设数据中台的同时都已规划好数据应用。

数据中台建设案例

阿A里数据中台,如下图所示:

image.png

阿A里数据中台,主要体现如下4个方面:

  • 全域数据采集与引入
    以需求为驱动,以数据多样性的全域思想为指导,采集与引入全业务。

  • 标准规范数据架构与研发
    统一基础层,通过数据指标结构化规范化的方式实现指标口径统一。

  • 连接与深度萃取数据价值
    形成以业务核心对象为中心的连接和标签体系,深度萃取数据价值。

  • 统一数据资产管理
    通过资产分析、应用、优化、运营四方面对看清数据资产,降低数据管理成本,追踪数据价值。

网易严选中台架构图

如下图所示,基于数仓里已经半加工好的数据,再通过BI 平台快速的根据业务需求进行数据可视化和数据分析。

image.png

网易云音乐数据中台架构

最底层是基础设施层:这包括资源环境和平台工具两部分。

第二层是数据层:数据层即网易云音乐的 OneData,包括标准化数仓、数据地图、数据安全中心和保障这套体系的数据质量管理中心。

第三层是服务层:服务层即网易云音乐的 OneService。它提供不同层级和粒度的数据 API,包括从最底层的任务执行调度能力,到最面向应用的人群圈定的各类服务能力。

最上层是产品层:针对一个个核心业务问题,比如:增长、营收、版权搭建了对应数据产品,实现从业务流程、信息采集、数据洞察到 ROI 评估再到业务流程的完整闭环。

image.png

某企业数据中台架构图

下面这个数据中台,根据数据资产梳理结果,并以大数据平台的“数据采集 海量存储 计算引擎”为基础搭建公司数据湖。

再基于数据湖并结合“数据资产管理服务”和“智能数据研发服务”两大支撑服务群实现中台数据的资产化管理和智能化开发。
image.png

以上,是数据中台的详细解析,欢迎评论区留言交流或拓展。

我是 mikechen | 陈睿 ,关注【mikechen的互联网架构】,10年+BAT架构技术倾囊相授。

新的架构专题内容,第一时间更新至:阿里架构师进阶全部合集

本文已同步我的技术博客 www.mikechen.cc,更新至我原创的《30W+字阿里架构技术合集》中。

相关实践学习
阿里云百炼xAnalyticDB PostgreSQL构建AIGC应用
通过该实验体验在阿里云百炼中构建企业专属知识库构建及应用全流程。同时体验使用ADB-PG向量检索引擎提供专属安全存储,保障企业数据隐私安全。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
7月前
|
SQL 存储 druid
关于数据中台的几点思考
关于数据中台的几点思考
|
SQL 存储 Java
数据中台为什么难搞?
数据中台为什么难搞?
70 0
|
存储 分布式计算 大数据
数据中台实战(00)-大数据的尽头是数据中台吗?
数据中台实战(00)-大数据的尽头是数据中台吗?
226 0
|
存储 数据采集 人工智能
谈谈数据中台建设启示
阿里巴巴的数据中台侧重对“烟囱式”应用数据的标准化和聚合,构建公共数据模型,发掘对内赋能运营和商家的数据价值。
谈谈数据中台建设启示
|
SQL 存储 分布式计算
菜鸟数据中台技术演进之路
通过中台的各技术域能力的建设,技术人员在极少的投入下,就可以支撑数倍的分析人员进行数字化运营工作。3 年时间里,菜鸟走过了从人力支撑到中台支撑的历程。
数据中台初探与应用实践(3)
数据中台初探与应用实践(3)
140 0
数据中台初探与应用实践(3)
|
存储 分布式计算 Oracle
数据中台初探与应用实践(1)
数据中台初探与应用实践(1)
327 0
数据中台初探与应用实践(1)
数据中台初探与应用实践(2)
数据中台初探与应用实践(2)
201 0
数据中台初探与应用实践(2)
|
数据采集 SQL 存储
宜信数据中台全揭秘(一)数据中台整体介绍|分享实录
主要内容:结合目前宜信的业务,分享数据中台的主要研发逻辑和具体功能,以及解决哪几项核心问题。
|
大数据 BI 决策智能
联系我们 (“数据中台”合集)
在数字经济的浪潮下,已经有一批传统企业的先行者正借助数据中台实现数智化的完美转型!关于数据中台,您可能会有不少疑问,那么这篇文章一定会帮到您!
2813 0
联系我们 (“数据中台”合集)
下一篇
DataWorks