谈谈如何构建以数据驱动的企业架构模型

简介: 以数据为中心的企业架构就是企业在商业评估、战略制定、企业规划和企业转型过程中将数据放在首位。

一、为什么应该构建数据驱动的企业架构

以数据为中心的企业架构就是企业在商业评估、战略制定、企业规划和企业转型过程中将数据放在首位。企业如果要实现兼并、重组、转型,数据必须是可移动的、本地的和全球性的,可以跨越部门、合作伙伴和合资企业。如果企业要解放数据,以提高洞察力,发展颠覆性和差异化的服务,就是很重要的。要实现这一点,企业必须首先将业务数据与应用和平台架构解耦。通过解耦业务数据,组织可以获得灵活性和有价值的见解,这在数字化转型、企业合并、收购和剥离过程中非常重要

1、尾巴摇狗的例子

今天,大多数企业体系结构都遵循开放组体系结构框架(TOGAF)模型(业务/数据/技术体系结构)的变体。在这里,针对应用程序组合的战略规划和采购建议基于决策流程,例如构建前购买或构建前重用。在TOGAF层次结构中,组织旨在定义业务功能,使数据管理策略与业务保持一致,并选择支持这些策略的应用程序组合。

但是,如果您要与任何经验丰富的企业架构师交谈,他们会告诉您这并非实际情况。实际上,大多数决定是由技术方面(例如应用程序和平台)而非实际业务决定的。始终会对应用程序和平台进行改装以满足业务需求。如果我们以不同的方式来呈现,这是“尾巴摇狗”的一个著名例子。

例如,资产组合合理化通常以业务能力为驱动力进行营销。实际上,重点是购买具有某些现成的(OOTB)业务或技术能力(或两者兼有)且可以满足预定义的业务和技术要求的现成商业(COTS)产品或组件。为了在选择COTS产品时最大程度地减少定制,大多数组织将积极寻求满足其需求的将近85%的OOTB功能,并提供供应商支持的配置更改。

如果OOTB功能存在差距,则COTS解决方案将进行某种程度的定制,这可能会或可能不会由供应商推荐或支持。组织还可以在开始或随着时间的推移构建定制解决方案,以支持或增强COTS解决方案。根据我们的经验,架构师通常围绕业务或技术功能以优先级为准设计定制解决方案。

2、颠覆商业与技术的天平

显然,能力驱动的企业架构比技术驱动的方法更有优势。它使业务与IT保持一致,并关注于业务流程和功能。然而,它也不可避免地与特定的应用程序及其固有的遗留体系结构联系在一起。如果您还没有注意到,这里有一个讽刺的地方:平台和云优先方法通常会增强应用程序架构,而不是业务能力!这是因为业务必须采用COTS数据模型和数据存储。因此,业务功能被供应商或COTS应用程序所取代。

让我们看看为什么这令人担忧。虽然业务需求及其相关功能可能会随着时间而改变,但核心组织数据不会。当然,技术也会变化,从而影响COTS和定制解决方案的寿命,但是现在让我们忽略这一点。因此,使用COTS以及自定义能力驱动的解决方案的共同点是,在设计过程中数据架构不是最高优先级的。当数据模型绑定到供应商提供的模型时,它们就不能反映组织企业数据模型(如果存在的话)能够提供灵活的、自适应的信息功能。

3、狗摇尾巴

现在,数据是组织能够利用来实现市场差异化和成功的最有价值的资产。无论情况如何——无论是增强、修饰还是部分冗余——核心数据都是任何组织的命脉。事实上,如果组织丢失了所有的应用程序,但保留了对数据的访问权,那么他们可能仍然存在。这一推论也是危险的事实:没有数据,组织将不复存在。

因此,如果我们要改变这些企业架构范式,我们可以让“狗摇尾巴”成为可能。在这里,我们将建立数据架构作为企业架构的主要驱动因素。这种方法将使业务功能从应用程序平台和供应商锁定中解脱出来。

4、创建以数据为中心的企业架构

您可能想知道以数据为中心的企业架构的主要需求是什么。以下是一个简短的清单:

▅业务数据应该与业务功能分开。这允许我们在不影响底层数据的情况下更改/删除功能,并添加可以在需要时利用数据的新功能;

▅业务数据应该与人工耦合并可能导致不必要的膨胀的特定于应用程序的数据分开。这允许我们在不影响业务数据的情况下删除或添加应用程序;

▅业务数据应根据其域进行适当细分;

▅每个业务数据域应合并为单个真实版本;

▅业务功能应基于特定域的业务数据和相关功能要求进行设计;

▅在COTS或定制开发的应用程序中,应尽可能将业务功能实现为可重用服务;

▅可以通过使用服务来添加新功能或复合功能。

f6cbcc8ee61026f986f86b32cf5ae42b.png

最终,这样的体系结构模型将包含业务、信息、应用程序和技术的透视图。我们更喜欢将其比作洋葱的各个层:核心是业务,其次是设计来支持核心业务需求的信息,应用程序用于处理利用上述信息的业务功能,以及映射到顶部技术的业务功能。此体系结构模型的关键前提是,技术和应用程序可以自由更改,而不会影响核心业务数据和业务体系结构。

二、以数据为中心和以能力为中心的体系结构之间的区别

以能力为中心的体系结构和以数据为中心的体系结构是当今组织中最流行的两个模型。

通常,组织购买与业务能力相匹配的COTS解决方案,而与数据的存储,访问或重用方式无关。此类解决方案通常以功能为中心的体系结构进行销售。但是,实际上,COTS解决方案应该能够提取外部数据并提取内部业务数据。从历史上看,这两个过程都使用批处理。但是,在当今的服务时代,人们更加关注通过API进行运行时集成。但是,数据主要属于COTS应用程序的范围内。

1、COTS应用程序:以能力为中心与以数据为中心的方法

在以数据为中心的企业体系结构中,上述模型是相反的。COTS解决方案必须以解决方案和与供应商无关的方式跨整个企业数据领域进行集成。这种方法还使数据体系结构和企业信息体系结构脱钩,当增强特定于应用程序的数据体系结构时,它们经常崩溃。

下图和表格将阐明这两种体系结构模型之间的区别。

5e213c683f9912142d0479bdbc28f38e.png

b5fe1dd97088fb87836aef88b0c14947.png

乍一看,以数据为中心的体系结构实现似乎更加复杂,不是吗?但是,在停用应用程序或建立新功能以利用数据时,请考虑使用以数据为中心的体系结构而非以能力为中心的体系结构的优势。

2、定制应用程序:以能力为中心与以数据为中心的方法

不幸的是,COTS解决方案通过优先考虑数据体系结构和数据重用功能来扭曲组织的优先级。结果,定制解决方案遵循了COTS体系结构模型,从而在特定于应用程序的数据存储库上构建了业务功能。

860a4ba82942cb418fc1b3d176515583.png

在以数据为中心的方法中,COTS实现与定制应用程序之间的主要区别在于如何控制数据存储以及如何设计数据交互。可以将定制解决方案设计为使用外部数据存储和集成服务。

有没有想过,为什么最近这么多地强调启用微服务?这是因为越来越多的企业正在意识到数据优先方法的价值。这种方法简化了企业体系结构的设计,使其更易于执行数字战略。作为自定义应用程序,微服务可以完全控制数据以及业务功能,从而提高灵活性。

79a78e86f0e78537c0ea0d22cfc359fe.png

3、发布数据以进行AI驱动的处理

现在,让我们看一下在结合两种类型的应用程序时以能力为中心和以数据为中心的方法的目标状态。当然,两种架构之间的主要区别在于数据的合并和构建方式,这导致了业务敏捷性水平的变化。一方面,以数据为中心的体系结构可立即整合数据,从而提供市场差异化。例如,企业可以使用应用程序,用户上下文和完整的数据集实时处理商业智能(BI)或人工智能(AI)逻辑。另一方面,以能力为中心的体系结构需要数据集成以及数据整合的中介/后处理-几乎不可能利用基于BI / AI的处理能力。

261540adc3a8058ee3e32697f09b4805.png

04be63ecfbd02ef442244fe3e254bd02.png

因此,如果您需要一种复杂的,数据驱动的数字战略,那么采用以数据为中心的体系结构是前进的道路。有趣的是,许多组织都知道这一点,并且正在计划采取战略措施来纠正以能力为中心的体系结构引起的问题。但是,实际上将现有系统转换为以数据为中心的系统可能会遇到挑战。尽管有些人可能会通过将现有系统包裹在附加的“数字具体”层(例如服务和/或API)中来回避此过程,但这将不可避免地阻碍敏捷性和主动参与市场竞争的能力。

三、以数据驱动为中心的企业架构的好处

上面,我们探讨了组织通常如何基于业务功能而非数据来实现系统。这种方法总是会产生极端的数据分段,因为系统功能决定了要存储什么数据,要存储多少个副本以及如何访问它们。在当今时代,任何组织都无法获得零碎的数据,因为数据及其直接或间接的关系是组织的命脉。

1、数据仓库解决方案中的集成挑战

数据仓库解决方案在数据集成中非常流行。但是,这些解决方案涉及冗长的处理,因此很难建立关键业务数据连接,从而降低了数据价值。此外,数据仓库方法以及分配的“数据架构师”已与供应商数据模型联系在一起。这里我们不严格地使用术语数据架构师。这些架构师总是充当特定于供应商的主数据管理(MDM)或企业数据仓库(EDW)专家,而不是实际的“企业数据架构师”。毋庸置疑,这种类型的集中式和分层方法使通过间接数据关系(如人工智能(AI)和机器学习)可以实现的任何好处均告无效。

为了能够做出实时决策并在竞争激烈的市场中快速扩展,您需要将您的企业转变为一个高度连接且可组合的组织。在这样的环境下,决策延迟所带来的危险不可小觑。为了让您了解这有多重要,我们绘制了一个图表,说明了在业务事件和采取的措施之间存在延迟时,价值损失的程度。

9cfefa72afcb93a682d323d7284ef6e4.png

尽管存在这些严重的缺点,但应用程序数据体系结构通常优先于企业数据体系结构。在某些情况下,这是因为供应商提供的平台和COTS产品预先确定了数据模型和数据访问。在其他情况下,声称代表业务功能的基于功能的体系结构实际上是使业务功能崩溃的应用程序或技术体系结构。例如,考虑ERP系统如何倾向于代表财务,应付账款(AP)或人力资本能力。

这种传统方法成倍地延迟了业务洞察力和决策的交付,因为必须收集数据并将其复制到各个孤岛中才能获得可操作的信息。此外,具有不同数据架构的跨多个应用程序的点对点集成对于企业架构以及数据团队而言,成为一个费力的过程。最后,开发和维护这些脆弱而紧密耦合的体系结构会加剧决策到价值周期的延迟。

现在,让我们看看以数据为中心的体系结构如何从隐藏数据中释放价值,以实现数字生态系统中的业务即服务功能。

步骤1:在整个组织中整合数据

首先,组织必须集成数据,无论其驻留在现成的商用(COTS)产品,定制应用程序还是微服务中。在前面,我们提出了一种分层的信息体系结构方法(请参见下图)。在这里,数据体系结构不与优先考虑技术体系结构的应用程序或平台体系结构绑定。相反,它利用集线器模型为可组合体系结构奠定了基础。

d7ea9fe52a4398b88c9d3b3b82fe567a.png

步骤2:使用适合目的数据模型来获取特定于业务的见解

我们之前还说明了如何在COTS以及定制应用程序中使用以信息为中心的体系结构。以下是数据集成中心架构在这两种情况下的工作方式(参见下面的图)。数据hub提供了针对特定业务需求进行优化的数据表示。例如,基于密钥的数据用于基于密钥的实体关系,基于图的数据用于分析复杂的相互依赖关系,基于时间序列的数据用于顺序分析,基于搜索的数据用于复杂查询,等等。因此,以数据为中心的企业架构减少了决策到价值的曲线,因为数据是根据上下文分组的,而数据中心以优化价值创建的形式提供了相关的数据属性。

56aa88bf622f43b1b021063319db8c09.png

步骤3:将AI和BI应用于洞察力以实现决策即服务

 数据集成中心和上下文数据分组使企业可以设计商业智能(BI)功能和将编程的智能和AI融合在一起的机器学习系统。此外,BI功能可以使用分析所需的特定数据需求扩展基本数据。它们通过BI服务或针对特定于消费者的数据上下文执行的即服务决策公开。此设计的关键方面是可以创建,修改或删除业务智能功能和服务,而不会影响核心和上下文数据资产。

四、综述

从传统的数据仓库过渡到具有多个数据中心的通用模型,可帮助组织利用传统的BI功能以及下一代AI和机器学习;优先考虑分层的以数据为中心的企业架构,使数据和决策成为组织和架构的优先事项

简而言之,采用战略模型而不是改造模型可以使AI,更快地访问企业见解和实时决策。在数据为王的时代,这些是企业成为支持服务的关键功能

相关文章
|
4月前
|
数据采集 运维 监控
构建企业级Selenium爬虫:基于隧道代理的IP管理架构
构建企业级Selenium爬虫:基于隧道代理的IP管理架构
|
4月前
|
人工智能 监控 测试技术
告别只会写提示词:构建生产级LLM系统的完整架构图​
本文系统梳理了从提示词到生产级LLM产品的八大核心能力:提示词工程、上下文工程、微调、RAG、智能体开发、部署、优化与可观测性,助你构建可落地、可迭代的AI产品体系。
713 51
|
4月前
|
机器学习/深度学习 人工智能 搜索推荐
从零构建短视频推荐系统:双塔算法架构解析与代码实现
短视频推荐看似“读心”,实则依赖双塔推荐系统:用户塔与物品塔分别将行为与内容编码为向量,通过相似度匹配实现精准推送。本文解析其架构原理、技术实现与工程挑战,揭秘抖音等平台如何用AI抓住你的注意力。
1275 7
从零构建短视频推荐系统:双塔算法架构解析与代码实现
|
3月前
|
运维 Prometheus 监控
别再“亡羊补牢”了!——聊聊如何优化企业的IT运维监控架构
别再“亡羊补牢”了!——聊聊如何优化企业的IT运维监控架构
181 8
|
4月前
|
数据采集 机器学习/深度学习 搜索推荐
MIT新论文:数据即上限,扩散模型的关键能力来自图像统计规律,而非复杂架构
MIT与丰田研究院研究发现,扩散模型的“局部性”并非源于网络架构的精巧设计,而是自然图像统计规律的产物。通过线性模型仅学习像素相关性,即可复现U-Net般的局部敏感模式,揭示数据本身蕴含生成“魔法”。
234 3
MIT新论文:数据即上限,扩散模型的关键能力来自图像统计规律,而非复杂架构
|
4月前
|
消息中间件 缓存 监控
中间件架构设计与实践:构建高性能分布式系统的核心基石
摘要 本文系统探讨了中间件技术及其在分布式系统中的核心价值。作者首先定义了中间件作为连接系统组件的"神经网络",强调其在数据传输、系统稳定性和扩展性中的关键作用。随后详细分类了中间件体系,包括通信中间件(如RabbitMQ/Kafka)、数据中间件(如Redis/MyCAT)等类型。文章重点剖析了消息中间件的实现机制,通过Spring Boot代码示例展示了消息生产者的完整实现,涵盖消息ID生成、持久化、批量发送及重试机制等关键技术点。最后,作者指出中间件架构设计对系统性能的决定性影响,
|
4月前
|
传感器 人工智能 算法
分层架构解耦——如何构建不依赖硬件的具身智能系统
硬件与软件的彻底解耦,并通过模块化、分层的架构进行重构,是突破这一瓶颈、构建通用型具身智能系统的核心基石。这种架构将具身智能系统解耦为三个核心层级:HAL、感知决策层和任务执行层。这一模式使得企业能够利用预置的技能库和低代码工具快速配置新任务,在不更换昂贵硬件的前提下,实现从清洁机器人到物流机器人的快速功能切换。本文将通过对HAL技术原理、VLA大模型和行为树等核心技术的深度剖析,并结合Google RT-X、RobotecAI RAI和NVIDIA Isaac Sim等主流框架的案例,论证这一新范式的可行性与巨大潜力,探讨硬件解耦如何将机器人从一个“工具”升级为“软件定义”的“多面手”,从而
810 3
|
3月前
|
机器学习/深度学习 存储 缓存
115_LLM基础模型架构设计:从Transformer到稀疏注意力
大型语言模型(LLM)的架构设计是其性能的核心决定因素。从2017年Transformer架构的提出,到如今的稀疏注意力和混合专家模型,LLM架构经历了快速的演进。本文将全面探讨LLM基础架构的设计原理,深入分析Transformer的核心机制,详细介绍稀疏注意力、MoE等创新架构,并展望未来架构发展方向。通过数学推导和实践案例,为构建高效、强大的LLM提供全面指导。
|
3月前
|
机器学习/深度学习 自然语言处理 算法
48_动态架构模型:NAS在LLM中的应用
大型语言模型(LLM)在自然语言处理领域的突破性进展,很大程度上归功于其庞大的参数量和复杂的网络架构。然而,随着模型规模的不断增长,计算资源消耗、推理延迟和部署成本等问题日益凸显。如何在保持模型性能的同时,优化模型架构以提高效率,成为2025年大模型研究的核心方向之一。神经架构搜索(Neural Architecture Search, NAS)作为一种自动化的网络设计方法,正在为这一挑战提供创新性解决方案。本文将深入探讨NAS技术如何应用于LLM的架构优化,特别是在层数与维度调整方面的最新进展,并通过代码实现展示简单的NAS实验。
|
4月前
|
SQL 弹性计算 关系型数据库
如何用读写分离构建高效稳定的数据库架构?
在少写多读业务场景中,主实例读请求压力大,影响性能。通过创建只读实例并使用数据库代理实现读写分离,可有效降低主实例负载,提升系统性能与可用性。本文详解配置步骤,助你构建高效稳定的数据库架构。

热门文章

最新文章