数据中台的一些基本概念和方法论

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
简介: 疫情期间,为了响应教育部“停课不停学、停课不停教、停课不停研”的号召,给多所高校进行了线上直播分享,其中一个主题就是关于数据中台的一些基本概念和构建数据中台过程中需要用到哪些方法论。

数据中台基本概念

数据中台是指在业务前台和数据后台之间构建统一的数据平台,实现企业数据全维度的统一存储、统一管理、统一安全、统一模型和统一数据服务。从技术角度来说,数据中台是一套成熟的数据存储、数据管理和数据服务的软件包和管理机制,可以帮助企业持续不断地将数据变成资产并服务于前方业务。从管理角度来说,数据中台是企业的成本中心和创新中心,一方面构建数据中台会给企业带来更多的成本投入, 另一方面数据中台部门也会成为企业的创新源泉。
数据中台通过数据的统一存储和管理,形成了企业的数据资产层(数据将作为重要的生产资料参与企业运营),进而为客户提供高效服务。 这些服务与企业的业务之间存在比较强的关联性,很多服务都具有独特价值并可复用,是企业业务和数据的沉淀,不仅仅可以降低重复建设、减少烟囱式协作的成本,也是差异化竞争的优势所在。
数据中台建设的基础还是数据仓库和数据中心,数据仓库模型设计与原有的IOE时代变化不大,主流的依然是Kimball维度建模和Inmon关系模型两种, 在大型互联网公司数据中台构建过程中主要采用的是Kimball维度建模方法,在传统大型企业、政府事业单位多采用Inmon关系模型方法。
1) 对于大多数互联网公司来说,如何快速的响应需求变化和快速迭代是重点,很难从全局角度来精心设计Inmon关系模型(实体-关系模型,ER模型),很多场景中趋向于使用Kimball维度建模(维度-事实模型,DFM)方法快速完成任务。
2) 对于很多传统大型企业以及很多大型政府机关,从全局角度使用Inmon关系模型进行数据中台建模,根据业务需要构建一系列数据集市进行数据分析和数据挖掘,并对前方业务提供数据服务支持。
3) 数据仓库建设通常以日为粒度,通过ETL工具和数据复制工具将传统各种OLTP系统数据变化情况增量同步到数据仓库中。
4) 完善、统一的元数据管理是实现数据中台的前提之一,通过元数据管理企业可以清晰地知道自己都有哪些业务术语、规则、流程、定义、运算法则和模型等,可以可视化的、清晰的进行数据的世系分析和影响分析等。为了更好地管理整个信息供应链中各个组件的元数据和掌握各组件间数据的流动,企业需要有步骤地提升其元数据管理的成熟度,逐渐将元数据管理从局部走向全局,从分散走向集中,从孤立走向共享。
5) 数据治理是实现数据中台的关键步骤,是指将企业信息作为重要资产进行管理和控制的规程,主要用来解决信息冗余、冲突、缺失和错误等问题。完善的数据治理可以帮助企业避免各种操作违规、合规性风险和各种数据管理不善引起的决策效果不佳。
6) 为了在整个企业范围内跨业务竖井协调和重用主数据,需要进行统一的主数据管理,实现整个信息供应链内主题域和跨主题域相关主数据的一致性。主数据管理是构建企业信息单一视图的重要一环。

数据仓库建模方法论

1.png
业内主流的数据仓库方法论主要有两种:Kimball和Inmon。Kimball模式是由数据仓库和商务智能领域的权威专家Ralph Kimball博士提出的,其在《数据仓库工具箱(The Data Warehouse Toolkit)》一书中提出了Kimball维度建模模式。Kimball维度建模以来自前方分析决策需求为驱动构建数据模型,重点关注如何帮助用户快速完成分析需求,同时具有较好的大规模复杂查询的响应性能。Inmon关系模型模式是由数据仓库之父比尔·恩门(Bill Inmon)提出来的,主张构建以数据仓库为来源的数据集市。也就是说,Inmon关系模型模式中所有数据集市的数据都来自于面向主题的数据仓库数据存储。
Kimball模式是从底向上的,是从OLTP数据源到数据集市再到数据仓库的一种快速开发方法。Inmon模式是从顶向下的,会首先构建可以满足绝大多数需求的数据仓库,尝试构建满足不同业务预期的数据库表,并从各个数据源将数据进行ETL装入到数据仓库中。在面向某个业务场景需要构建数据集市时,则通过ETL将所需数据从数据仓库中装载进来。

数据中台支持新一代智慧城市建设:城市大脑

以新一代智慧城市为例, 我们来看看数据中台如何支持城市大脑各个业务落地的。如下图所示,城市大脑构建在数据中台之上,可以全方位服务整个城市交通、安全、城管、经济、园区等各种需求。
2.png

相关实践学习
阿里云百炼xAnalyticDB PostgreSQL构建AIGC应用
通过该实验体验在阿里云百炼中构建企业专属知识库构建及应用全流程。同时体验使用ADB-PG向量检索引擎提供专属安全存储,保障企业数据隐私安全。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
目录
相关文章
|
7月前
|
SQL 存储 数据采集
数据中台建设方法论
数据中台建设方法论
|
存储 分布式计算 供应链
数据中台实战(03)-构建数据中台的三要素:方法论、组织和技术
数据中台实战(03)-构建数据中台的三要素:方法论、组织和技术
535 0
数据中台实战(03)-构建数据中台的三要素:方法论、组织和技术
|
存储 数据采集 分布式计算
什么是OneData?阿里数据中台实施方法论解读
什么是OneData?阿里数据中台实施方法论解读
11305 2
什么是OneData?阿里数据中台实施方法论解读
|
数据采集 监控 供应链
数据中台不是“银弹”:云原生数据中台:架构、方法论与实践
数据中台不是“银弹”:云原生数据中台:架构、方法论与实践
549 0
数据中台不是“银弹”:云原生数据中台:架构、方法论与实践
|
机器学习/深度学习 人工智能 数据挖掘
个推CTO谈数据中台(上):从要求、方法论到应用实践
当下,数据中台概念火热,但业界对于何谓数据中台,如何进行中台建设意见不一。如何拨开中台建设背后的迷雾,开启对于企业而言意义深远的数字化战略之路?作为数据智能领域的专家,每日互动(个推)CTO叶新江开启了一场有关数据中台的深度分享,从概念定义、价值赋能、战略理论、落地实践等方面层层剖析,旨在帮助大数据、数字化领域以及相关行业从业者梳理出一个聚焦当下、增能未来的中台建设新路径。
407 0
|
新零售 搜索推荐 数据挖掘
新零售企业如何借助全域数据中台方法论进行自有用户洞察
作者:柯根 更多内容详见数据中台官网 https://dp.alibaba.com 一、前言 完善的数据分析体系,是企业数字化转型必备的基础,企业在发展过程中,无论规模、性质如何,都离不开对用户(顾客/客户)的洞察,在新零售行业更是如此。
1985 0
新零售企业如何借助全域数据中台方法论进行自有用户洞察
|
人工智能 Oracle 大数据
数据中台建设方法论实践之数据架构演变案例
最近十年,随着互联网、物联网、人工智能的新发展,大数据技术开始兴起,为了让政府机构和企业能够更加灵活高效地使用自己的数据,将数据分析和挖掘出来的结果应用在企业的决策、营销、管理等各个方面,让数据产生更多的价值,其实是需要一整套体系作支撑的,其中数据架构就是支撑的重要一环
1154 0
数据中台建设方法论实践之数据架构演变案例
|
存储 SQL jstorm
数据中台建设方法论实践之技术选型
本文主要介绍面向ETL的数据存储和计算技术,面向数据查询分析的计算技术。
1941 0
|
数据采集 存储 设计模式
数据中台建设方法论实践之数据仓库建设
大数据时代的数据仓库有了一些新的变化,最大的变化数据数据量增加,数据来源更复杂之外,还有应用不仅仅用于支持管理决策,因此大数据时代的数据仓库的定义,需要发生一些变化,我把它重新定义为:大数据时代的数据仓库是一个面向主题的、集成的、相对全面的、反映历史变化的数据集合,用于支持管理决策和业务应用。
2092 0
|
运维
数据中台核心方法论--OneModel为何需要产品化支撑?
作者:渊洛 转自:阿里巴巴数据中台官网 https://dp.alibaba.com 什么是产品化大部分创业公司都是从一个伟大的想法创意开始的,并且需要有一堆技术专家来实现。我们清楚,伟大的技术并不等同于和伟大的产品,技术可以解决问题,但如果它没有办法法规模化,那这些技术或者能力对用户便没有直接价值,只有把它们拆解,打包,设计成产品,才能真正的解决用户问题,把某些技术或者能力变成产品的过程这个过程,就是产品化。
7648 0