袋鼠云数据中台专栏2.0 | 企业数字化(数据界面)整体架构

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
简介: 文章来源阿里云 MVP 张旭。

数据中台如何定义?
企业数据化与数据中台的关系是什么?
数据中台如何支撑企业战略转型?

袋鼠云近两年来,先后为国内数十家大型龙头企业提供数据中台咨询与实施落地服务,积累了大量的实战经验,同时也在为客户服务的过程中,不断完善和升华自身的数据中台理论体系和实践方法论。希望通过后续文章的分享,与诸位读者交流,共同加快企业全面数据化进程。

企业数字化建设(数据界面)整体架构

传统数据界面的问题

当我们把企业数据化的事情提升到战略高度时,会发现当前的种种情况,不足以满足这样的定位。传统数据界面的几个最大问题包括:

一 难以形成自驱力

企业数据化是复杂工程,涉及到企业中的多种要素,企**业数据化整体规划和设计不足,各种问题相互缠绕,数据化建设难以驱动。

二 不重视数据中台的作用和价值

从各个业务部门的视角而言,多是提出数据需求,建设过程中也多是局部项目和小战役,数据价值的产生不顺畅,只能产生小部分数据,大部分需求被结构化、规范标准、数据质量、数据资源缺失等问题所困扰。
而这些问题的解决需要整体架构上的规划、设计、推动,不是单独一个部门就能够驱动的。

三 数据治理是基础难题

数据治理沉重和复杂,很多数据应用的需求最后都在数据治理上碰壁,所以数据治理是一个基础性工作,与数据中台同等重要。可幸的是,近两年很多企业都开始进行数据治理工作,甚至已经取得初步成果。

四 整体技术能力需要升级

当前数据量,数据内容都发生了很大的变化,以往规整的结构化数据只是现在数据的十分之一甚至更少,所以技术平台需要整体升级,同时开源软件的不稳定性和使用的高门槛也制约了商业化应用的需求。

企业数据化建设是一个战略工程,需要进行整体的规划和体系设计,在当前的阶段,数据中台以事实证明,是企业目前最合理和最行之有效的架构方式。
*数据中台架构不但在阿里巴巴自身有着极为成功的应用,伴随近几年袋鼠云在众多行业头部客户具体场景中的实践,也证明数据中台架构能够很好地为传统企业应用。
*

数据界面整体架构

数据应用层

数据应用层代表了所有的数据应用需求,如前所述,企业数据化建设的成果就是数据,这些数据最终被业务人员和应用系统所使用,并在使用的过程中产生业务价值。数据应用层的「原子粒度」是各种业务指标和实体标签,这些数据以报表、数据应用、画像系统、数据API系统等形式展现。

数据中台层

数据中台层是杜绝了数据应用层直接接触数据源的情况,数据中台层在「企业整体层面」将所有数据进行了完整的汇聚和统一的建模。数据中台向上支撑数据应用层的建设,向下驱动数据资源的获取和质量提升。数据中台层本身的「全域数据汇聚」功能就是一件最重要的事情,数据汇聚在一起本身就能产生很大的价值,另一方面通过这层的基础建设,数据应用的开发时间也会大大地缩短,同时数据中台可以根据汇聚的全域数据有效判断数据资源是否全面和数据资源质量是否满足后续应用需求。

前端数据规划引擎

数据规划引擎包含「数据资源盘点」「数据应用规划」两个部分。

  • 数据资源盘点工具
    辅助数据开发人员将所有应用界面的数据源盘点清楚。数据资源盘点工具主要存储数据源中的元数据,并进行最基础的数据源情况分析。数据资源盘点工具还会对盘点的内容进行必要的统计和分析工作。
  • 数据应用规划引擎
    主要包含两个部分内容:

*第一个部分是企业业务描述,这个业务描述是树形结构,从最粗粒度的企业价值链和实体(人货场)描述,逐步细分。
另一个部分是数据应用场景和所有的指标与标签。最后将业务场景和数据场景相互关联。
通过这个工具,企业可以清晰地知道当前企业有哪些数据应用的需求,并清晰知道这些数据应用支撑了哪些应用场景,然后评价业务价值。*

数据应用规划工具与数据资源盘点工具构建在一个平台之上,相互之间紧密关联,数据规划引擎中的种种指标和标签最后都将与数据资源相关联。
这样也就完成了整个数据供应链的绘制。企业数据化建设可以依靠数据规划引擎中所描述的内容依次建设。

后端数据运营引擎

传统企业中,如何使用好数据,如何让数据发挥更大的价值,数据运营团队起到了核心驱动作用。这个团队是企业数据化建设的另一个驱动引擎。
每个数据指标怎么用,每个标签怎么看,如何辅助和指导业务都需要数据运营团队和企业业务部门紧密结合,解答企业业务部门的各种问题,同时将需求和问题记录并转化为企业数据化建设中各个部分的需求。同时运营团队也对数据指标的准确性和使用价值负责,保证最后数据应用价值的产生。

数据界面的整体架构问题,恰恰针对了当前企业数据化的整体难题,一方面注重整体的数据化设计和规划,另一方面建立数据运营体系保障数据应用效果。这两个方面共同作用,就像是两个驱动的引擎不断促进企业整体数据化进行。而处于中间的数据源,数据中台,数据应用,就像一个「数据供应链体系」,以往我们只是割裂地关注某一个层面的事情,分而治之,当前我们更是要把这个流程串接起来,清晰明确地看到整个数据链条。

「数据中台」的架构,保证了数据的坚实基础,把部门级数据应用上升到企业级数据应用,集中力气办大事,该整体来解决的问题,就都交到平台层和基础层,数据应用是端的问题,丰富而复杂,但是只要台子够坚实,那么无论有多少端,开发出来也是高效的、愉快的。

数据中台是什么,当前有很多解释,但是数据中台一定不是哈姆雷特。

新兴的事物总是会有各种解读,但是当人们足够熟悉了以后,一个公允的定义才会得到广泛的认可和接受。数据中台是一种企业数字化建设的架构,而且就目前而言,这种架构对于企业数字化建设是最为有效的。目前很多人把数据中台等同于了企业数据化,把中台理解成了AI和大数据,或者是认为数据中台就是众多的数据应用等同于巨大的业务价值,甚至把企业变革(比如新零售)直接与数据中台画等号。这些都是不准确的。

文章转自:公众号袋鼠云。

相关实践学习
阿里云百炼xAnalyticDB PostgreSQL构建AIGC应用
通过该实验体验在阿里云百炼中构建企业专属知识库构建及应用全流程。同时体验使用ADB-PG向量检索引擎提供专属安全存储,保障企业数据隐私安全。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
2月前
|
存储 缓存 Cloud Native
MPP架构数据仓库使用问题之ADB PG云原生版本的扩缩容性能怎么样
MPP架构数据仓库使用问题之ADB PG云原生版本的扩缩容性能怎么样
MPP架构数据仓库使用问题之ADB PG云原生版本的扩缩容性能怎么样
|
24天前
|
机器学习/深度学习 敏捷开发 存储
数据飞轮:激活数据中台的数据驱动引擎
数据飞轮:激活数据中台的数据驱动引擎
|
2月前
|
存储 NoSQL 关系型数据库
MPP架构数据仓库使用问题之Visibility bitmap表被删除的文件信息是如何记录的
MPP架构数据仓库使用问题之Visibility bitmap表被删除的文件信息是如何记录的
|
2月前
|
SQL 运维 Oracle
【迁移秘籍揭晓】ADB如何助你一臂之力,轻松玩转Oracle至ADB的数据大转移?
【8月更文挑战第27天】ADB(Autonomous Database)是由甲骨文公司推出的自动化的数据库服务,它极大简化了数据库的运维工作。在从传统Oracle数据库升级至ADB的过程中,数据迁移至关重要。
44 0
|
2月前
|
存储 弹性计算 缓存
MPP架构数据仓库使用问题之ADB PG对于写入时的小文件问题该如何解决
MPP架构数据仓库使用问题之ADB PG对于写入时的小文件问题该如何解决
|
10天前
|
机器学习/深度学习 数据可视化 数据挖掘
唤醒数据中台潜力:加速数据飞轮转动,实现数据驱动的秘籍
本文探讨了如何通过数据飞轮激活数据中台的潜力,实现数据驱动的创新。文章分析了数据中台面临的挑战,如数据孤岛和工具复杂性,并提出了建立统一数据治理架构、引入自动化数据管道和强化数据与业务融合等策略。通过实际案例和技术示例,展示了如何利用数据飞轮实现业务增长,强调了数据可视化和文化建设的重要性。旨在帮助企业充分挖掘数据价值,提升决策效率。
20 1
唤醒数据中台潜力:加速数据飞轮转动,实现数据驱动的秘籍
|
24天前
|
存储 机器学习/深度学习 数据管理
数据技术的进化史:从数据仓库到数据中台再到数据飞轮
数据技术的进化史:从数据仓库到数据中台再到数据飞轮
|
10天前
|
机器学习/深度学习 消息中间件 搜索推荐
【数据飞轮】驱动业务增长的高效引擎 —从数据仓库到数据中台的技术进化与实战
在数据驱动时代,企业逐渐从数据仓库过渡到数据中台,并进一步发展为数据飞轮。本文详细介绍了这一演进路径,涵盖数据仓库的基础存储与查询、数据中台的集成与实时决策,以及数据飞轮的自动化增长机制。通过代码示例展示如何在实际业务中运用数据技术,实现数据的最大价值,推动业务持续优化与增长。
31 4
|
23天前
|
机器学习/深度学习 搜索推荐 算法
从数据中台到数据飞轮:企业升级的必然之路
在探讨是否需从数据中台升级至数据飞轮前,我们应先理解两者之间的关系。数据中台作为数据集成、清洗及治理的强大平台,是数据飞轮的基础;而要实现数据飞轮,则需进一步增强数据自动化处理与智能化利用能力。借助机器学习与人工智能技术,“转动”数据并创建反馈机制,使数据在循环中不断优化,如改进产品推荐系统,进而形成数据飞轮。此外,为了适应市场变化,企业还需提高数据基础设施的敏捷性和灵活性,这可通过采用微服务架构和云计算技术来达成,从而确保数据系统的快速扩展与调整,支持数据飞轮高效运转。综上所述,数据中台虽为基础,但全面升级至数据飞轮则需在数据自动化处理、反馈机制及系统敏捷性方面进行全面提升。
82 14
|
19天前
|
机器学习/深度学习 安全 网络安全
云端盾牌:云计算时代的网络安全守护在这个数字脉搏加速跳动的时代,云计算以其高效、灵活的特性,成为推动企业数字化转型的强劲引擎。然而,正如每枚硬币都有两面,云计算的广泛应用也同步放大了网络安全的风险敞口。本文旨在探讨云计算服务中网络安全的关键作用,以及如何构建一道坚不可摧的信息防线,确保数据的安全与隐私。
云计算作为信息技术领域的革新力量,正深刻改变着企业的运营模式和人们的生活。但在享受其带来的便利与效率的同时,云服务的安全问题不容忽视。从数据泄露到服务中断,每一个安全事件都可能给企业和个人带来难以估量的损失。因此,本文聚焦于云计算环境下的网络安全挑战,分析其根源,并提出有效的防护策略,旨在为云服务的安全使用提供指导和参考。