谈谈如何构建以数据驱动的企业架构模型

简介: 以数据为中心的企业架构就是企业在商业评估、战略制定、企业规划和企业转型过程中将数据放在首位。

一、为什么应该构建数据驱动的企业架构

以数据为中心的企业架构就是企业在商业评估、战略制定、企业规划和企业转型过程中将数据放在首位。企业如果要实现兼并、重组、转型,数据必须是可移动的、本地的和全球性的,可以跨越部门、合作伙伴和合资企业。如果企业要解放数据,以提高洞察力,发展颠覆性和差异化的服务,就是很重要的。要实现这一点,企业必须首先将业务数据与应用和平台架构解耦。通过解耦业务数据,组织可以获得灵活性和有价值的见解,这在数字化转型、企业合并、收购和剥离过程中非常重要

1、尾巴摇狗的例子

今天,大多数企业体系结构都遵循开放组体系结构框架(TOGAF)模型(业务/数据/技术体系结构)的变体。在这里,针对应用程序组合的战略规划和采购建议基于决策流程,例如构建前购买或构建前重用。在TOGAF层次结构中,组织旨在定义业务功能,使数据管理策略与业务保持一致,并选择支持这些策略的应用程序组合。

但是,如果您要与任何经验丰富的企业架构师交谈,他们会告诉您这并非实际情况。实际上,大多数决定是由技术方面(例如应用程序和平台)而非实际业务决定的。始终会对应用程序和平台进行改装以满足业务需求。如果我们以不同的方式来呈现,这是“尾巴摇狗”的一个著名例子。

例如,资产组合合理化通常以业务能力为驱动力进行营销。实际上,重点是购买具有某些现成的(OOTB)业务或技术能力(或两者兼有)且可以满足预定义的业务和技术要求的现成商业(COTS)产品或组件。为了在选择COTS产品时最大程度地减少定制,大多数组织将积极寻求满足其需求的将近85%的OOTB功能,并提供供应商支持的配置更改。

如果OOTB功能存在差距,则COTS解决方案将进行某种程度的定制,这可能会或可能不会由供应商推荐或支持。组织还可以在开始或随着时间的推移构建定制解决方案,以支持或增强COTS解决方案。根据我们的经验,架构师通常围绕业务或技术功能以优先级为准设计定制解决方案。

2、颠覆商业与技术的天平

显然,能力驱动的企业架构比技术驱动的方法更有优势。它使业务与IT保持一致,并关注于业务流程和功能。然而,它也不可避免地与特定的应用程序及其固有的遗留体系结构联系在一起。如果您还没有注意到,这里有一个讽刺的地方:平台和云优先方法通常会增强应用程序架构,而不是业务能力!这是因为业务必须采用COTS数据模型和数据存储。因此,业务功能被供应商或COTS应用程序所取代。

让我们看看为什么这令人担忧。虽然业务需求及其相关功能可能会随着时间而改变,但核心组织数据不会。当然,技术也会变化,从而影响COTS和定制解决方案的寿命,但是现在让我们忽略这一点。因此,使用COTS以及自定义能力驱动的解决方案的共同点是,在设计过程中数据架构不是最高优先级的。当数据模型绑定到供应商提供的模型时,它们就不能反映组织企业数据模型(如果存在的话)能够提供灵活的、自适应的信息功能。

3、狗摇尾巴

现在,数据是组织能够利用来实现市场差异化和成功的最有价值的资产。无论情况如何——无论是增强、修饰还是部分冗余——核心数据都是任何组织的命脉。事实上,如果组织丢失了所有的应用程序,但保留了对数据的访问权,那么他们可能仍然存在。这一推论也是危险的事实:没有数据,组织将不复存在。

因此,如果我们要改变这些企业架构范式,我们可以让“狗摇尾巴”成为可能。在这里,我们将建立数据架构作为企业架构的主要驱动因素。这种方法将使业务功能从应用程序平台和供应商锁定中解脱出来。

4、创建以数据为中心的企业架构

您可能想知道以数据为中心的企业架构的主要需求是什么。以下是一个简短的清单:

▅业务数据应该与业务功能分开。这允许我们在不影响底层数据的情况下更改/删除功能,并添加可以在需要时利用数据的新功能;

▅业务数据应该与人工耦合并可能导致不必要的膨胀的特定于应用程序的数据分开。这允许我们在不影响业务数据的情况下删除或添加应用程序;

▅业务数据应根据其域进行适当细分;

▅每个业务数据域应合并为单个真实版本;

▅业务功能应基于特定域的业务数据和相关功能要求进行设计;

▅在COTS或定制开发的应用程序中,应尽可能将业务功能实现为可重用服务;

▅可以通过使用服务来添加新功能或复合功能。

f6cbcc8ee61026f986f86b32cf5ae42b.png

最终,这样的体系结构模型将包含业务、信息、应用程序和技术的透视图。我们更喜欢将其比作洋葱的各个层:核心是业务,其次是设计来支持核心业务需求的信息,应用程序用于处理利用上述信息的业务功能,以及映射到顶部技术的业务功能。此体系结构模型的关键前提是,技术和应用程序可以自由更改,而不会影响核心业务数据和业务体系结构。

二、以数据为中心和以能力为中心的体系结构之间的区别

以能力为中心的体系结构和以数据为中心的体系结构是当今组织中最流行的两个模型。

通常,组织购买与业务能力相匹配的COTS解决方案,而与数据的存储,访问或重用方式无关。此类解决方案通常以功能为中心的体系结构进行销售。但是,实际上,COTS解决方案应该能够提取外部数据并提取内部业务数据。从历史上看,这两个过程都使用批处理。但是,在当今的服务时代,人们更加关注通过API进行运行时集成。但是,数据主要属于COTS应用程序的范围内。

1、COTS应用程序:以能力为中心与以数据为中心的方法

在以数据为中心的企业体系结构中,上述模型是相反的。COTS解决方案必须以解决方案和与供应商无关的方式跨整个企业数据领域进行集成。这种方法还使数据体系结构和企业信息体系结构脱钩,当增强特定于应用程序的数据体系结构时,它们经常崩溃。

下图和表格将阐明这两种体系结构模型之间的区别。

5e213c683f9912142d0479bdbc28f38e.png

b5fe1dd97088fb87836aef88b0c14947.png

乍一看,以数据为中心的体系结构实现似乎更加复杂,不是吗?但是,在停用应用程序或建立新功能以利用数据时,请考虑使用以数据为中心的体系结构而非以能力为中心的体系结构的优势。

2、定制应用程序:以能力为中心与以数据为中心的方法

不幸的是,COTS解决方案通过优先考虑数据体系结构和数据重用功能来扭曲组织的优先级。结果,定制解决方案遵循了COTS体系结构模型,从而在特定于应用程序的数据存储库上构建了业务功能。

860a4ba82942cb418fc1b3d176515583.png

在以数据为中心的方法中,COTS实现与定制应用程序之间的主要区别在于如何控制数据存储以及如何设计数据交互。可以将定制解决方案设计为使用外部数据存储和集成服务。

有没有想过,为什么最近这么多地强调启用微服务?这是因为越来越多的企业正在意识到数据优先方法的价值。这种方法简化了企业体系结构的设计,使其更易于执行数字战略。作为自定义应用程序,微服务可以完全控制数据以及业务功能,从而提高灵活性。

79a78e86f0e78537c0ea0d22cfc359fe.png

3、发布数据以进行AI驱动的处理

现在,让我们看一下在结合两种类型的应用程序时以能力为中心和以数据为中心的方法的目标状态。当然,两种架构之间的主要区别在于数据的合并和构建方式,这导致了业务敏捷性水平的变化。一方面,以数据为中心的体系结构可立即整合数据,从而提供市场差异化。例如,企业可以使用应用程序,用户上下文和完整的数据集实时处理商业智能(BI)或人工智能(AI)逻辑。另一方面,以能力为中心的体系结构需要数据集成以及数据整合的中介/后处理-几乎不可能利用基于BI / AI的处理能力。

261540adc3a8058ee3e32697f09b4805.png

04be63ecfbd02ef442244fe3e254bd02.png

因此,如果您需要一种复杂的,数据驱动的数字战略,那么采用以数据为中心的体系结构是前进的道路。有趣的是,许多组织都知道这一点,并且正在计划采取战略措施来纠正以能力为中心的体系结构引起的问题。但是,实际上将现有系统转换为以数据为中心的系统可能会遇到挑战。尽管有些人可能会通过将现有系统包裹在附加的“数字具体”层(例如服务和/或API)中来回避此过程,但这将不可避免地阻碍敏捷性和主动参与市场竞争的能力。

三、以数据驱动为中心的企业架构的好处

上面,我们探讨了组织通常如何基于业务功能而非数据来实现系统。这种方法总是会产生极端的数据分段,因为系统功能决定了要存储什么数据,要存储多少个副本以及如何访问它们。在当今时代,任何组织都无法获得零碎的数据,因为数据及其直接或间接的关系是组织的命脉。

1、数据仓库解决方案中的集成挑战

数据仓库解决方案在数据集成中非常流行。但是,这些解决方案涉及冗长的处理,因此很难建立关键业务数据连接,从而降低了数据价值。此外,数据仓库方法以及分配的“数据架构师”已与供应商数据模型联系在一起。这里我们不严格地使用术语数据架构师。这些架构师总是充当特定于供应商的主数据管理(MDM)或企业数据仓库(EDW)专家,而不是实际的“企业数据架构师”。毋庸置疑,这种类型的集中式和分层方法使通过间接数据关系(如人工智能(AI)和机器学习)可以实现的任何好处均告无效。

为了能够做出实时决策并在竞争激烈的市场中快速扩展,您需要将您的企业转变为一个高度连接且可组合的组织。在这样的环境下,决策延迟所带来的危险不可小觑。为了让您了解这有多重要,我们绘制了一个图表,说明了在业务事件和采取的措施之间存在延迟时,价值损失的程度。

9cfefa72afcb93a682d323d7284ef6e4.png

尽管存在这些严重的缺点,但应用程序数据体系结构通常优先于企业数据体系结构。在某些情况下,这是因为供应商提供的平台和COTS产品预先确定了数据模型和数据访问。在其他情况下,声称代表业务功能的基于功能的体系结构实际上是使业务功能崩溃的应用程序或技术体系结构。例如,考虑ERP系统如何倾向于代表财务,应付账款(AP)或人力资本能力。

这种传统方法成倍地延迟了业务洞察力和决策的交付,因为必须收集数据并将其复制到各个孤岛中才能获得可操作的信息。此外,具有不同数据架构的跨多个应用程序的点对点集成对于企业架构以及数据团队而言,成为一个费力的过程。最后,开发和维护这些脆弱而紧密耦合的体系结构会加剧决策到价值周期的延迟。

现在,让我们看看以数据为中心的体系结构如何从隐藏数据中释放价值,以实现数字生态系统中的业务即服务功能。

步骤1:在整个组织中整合数据

首先,组织必须集成数据,无论其驻留在现成的商用(COTS)产品,定制应用程序还是微服务中。在前面,我们提出了一种分层的信息体系结构方法(请参见下图)。在这里,数据体系结构不与优先考虑技术体系结构的应用程序或平台体系结构绑定。相反,它利用集线器模型为可组合体系结构奠定了基础。

d7ea9fe52a4398b88c9d3b3b82fe567a.png

步骤2:使用适合目的数据模型来获取特定于业务的见解

我们之前还说明了如何在COTS以及定制应用程序中使用以信息为中心的体系结构。以下是数据集成中心架构在这两种情况下的工作方式(参见下面的图)。数据hub提供了针对特定业务需求进行优化的数据表示。例如,基于密钥的数据用于基于密钥的实体关系,基于图的数据用于分析复杂的相互依赖关系,基于时间序列的数据用于顺序分析,基于搜索的数据用于复杂查询,等等。因此,以数据为中心的企业架构减少了决策到价值的曲线,因为数据是根据上下文分组的,而数据中心以优化价值创建的形式提供了相关的数据属性。

56aa88bf622f43b1b021063319db8c09.png

步骤3:将AI和BI应用于洞察力以实现决策即服务

 数据集成中心和上下文数据分组使企业可以设计商业智能(BI)功能和将编程的智能和AI融合在一起的机器学习系统。此外,BI功能可以使用分析所需的特定数据需求扩展基本数据。它们通过BI服务或针对特定于消费者的数据上下文执行的即服务决策公开。此设计的关键方面是可以创建,修改或删除业务智能功能和服务,而不会影响核心和上下文数据资产。

四、综述

从传统的数据仓库过渡到具有多个数据中心的通用模型,可帮助组织利用传统的BI功能以及下一代AI和机器学习;优先考虑分层的以数据为中心的企业架构,使数据和决策成为组织和架构的优先事项

简而言之,采用战略模型而不是改造模型可以使AI,更快地访问企业见解和实时决策。在数据为王的时代,这些是企业成为支持服务的关键功能

相关文章
|
3天前
|
运维 Cloud Native Devops
构建未来:云原生架构在企业数字化转型中的关键作用
【4月更文挑战第30天】 随着企业加速迈向数字化转型,云原生架构成为支撑这一进程的核心技术。本文将探讨云原生技术如何促进企业敏捷性、可扩展性和资源优化,以及它如何帮助企业保持竞争优势。我们将深入分析微服务、容器化、持续集成和持续部署(CI/CD)以及DevOps文化等云原生核心概念,并讨论它们如何共同塑造现代应用开发和运维的最佳实践。
|
1天前
|
Kubernetes API 开发者
构建高效微服务架构:后端开发的新范式
【5月更文挑战第2天】 随着现代软件开发的演进,传统的单体应用已难以满足快速变化的业务需求和敏捷开发的挑战。本文探讨了如何通过构建高效的微服务架构来提升后端开发的灵活性、可维护性和扩展性。我们将深入分析微服务的核心组件,包括服务拆分、容器化、API网关和持续集成/持续部署(CI/CD)等关键技术,并讨论它们如何共同作用以支持复杂的业务场景和云原生应用的需求。
9 1
|
1天前
|
负载均衡 Java API
构建高效微服务架构:API网关与服务熔断策略
【5月更文挑战第2天】 在微服务架构中,确保系统的高可用性与灵活性是至关重要的。本文将深入探讨如何通过实施有效的API网关和设计合理的服务熔断机制来提升分布式系统的鲁棒性。我们将分析API网关的核心职责,包括请求路由、负载均衡、认证授权以及限流控制,并讨论如何利用熔断器模式防止故障传播,维护系统的整体稳定性。文章还将介绍一些实用的技术和工具,如Netflix Zuul、Spring Cloud Gateway以及Hystrix,以帮助开发者构建一个可靠且高效的微服务环境。
|
2天前
|
Cloud Native 安全 持续交付
构建未来:云原生架构在现代企业中的应用与挑战
【5月更文挑战第1天】 随着数字化转型的深入,云原生技术以其灵活性、可扩展性和敏捷性成为现代企业IT架构的核心。本文将探讨云原生架构的关键组件,包括容器化、微服务、持续集成/持续部署(CI/CD)以及DevOps实践,并分析它们如何共同塑造企业的运营模式。同时,文章还将讨论在采纳云原生过程中企业可能遇到的挑战,如安全性问题、技术复杂性以及组织文化的转变,并提出应对策略。
16 8
|
2天前
|
监控 安全 开发者
构建高效可靠的微服务架构:后端开发的新范式
【4月更文挑战第30天】随着现代软件开发的复杂性日益增加,传统的单体应用架构已难以满足快速迭代与灵活部署的需求。微服务架构作为一种新兴的设计理念,它通过将一个大型应用程序拆分成一系列小而专注的服务来提供解决方案。本文旨在探讨如何构建一个高效且可靠的微服务架构系统,涵盖从设计原则、技术选型到部署实践的全方位知识,为后端开发者提供一种全新的开发思路和实践指导。
|
2天前
|
设计模式 Cloud Native 算法
拥抱变化:我的技术适应之旅构建未来:云原生架构在企业数字化转型中的关键角色
【4月更文挑战第30天】 在技术的浪潮中,我学会了不仅仅是编码,还有如何与时俱进。本文记录了我从一名初出茅庐的开发者成长为一个能够适应不断变化技术环境的工程师的心路历程。从最初的困惑与挑战到后来的接纳与创新,我意识到,技术能力的提升和心态的转变同样重要。
|
2天前
|
Java 调度 开发者
构建高效微服务架构:后端开发的新趋势深入理解操作系统之进程调度策略
【4月更文挑战第30天】 随着企业数字化转型的不断深入,传统的单体应用逐渐不能满足快速迭代和灵活部署的需求。微服务架构以其高度模块化、独立部署和易于扩展的特性,成为现代后端开发的重要趋势。本文将探讨如何构建一个高效的微服务架构,包括关键的设计原则、技术选型以及可能面临的挑战。
|
2天前
|
Cloud Native Devops 持续交付
构建未来:云原生架构在企业数字化转型中的关键作用构建高效微服务架构:后端开发的新范式
【4月更文挑战第30天】 随着企业加速其数字化进程,云原生架构已成为支撑复杂、可伸缩和灵活应用的骨干。本文探讨了云原生技术的崛起,重点分析了其在促进业务敏捷性、提高运营效率及推动创新方面的核心价值。通过深入剖析云原生生态系统的关键技术组件,如容器化、微服务、持续集成/持续部署(CI/CD)和DevOps实践,揭示了企业如何利用这些技术来构建和维护高度可用且动态的IT环境。文章还提出了一个多维度的采纳框架,帮助企业评估和实施云原生解决方案,以实现真正的业务价值。 【4月更文挑战第30天】在现代软件开发的快速演变中,微服务架构已经成为一种领先的设计模式,用于构建可扩展、灵活且容错的应用程序。与传
|
2天前
|
消息中间件 监控 负载均衡
构建高效微服务架构:后端开发的新范式
【4月更文挑战第30天】 在现代软件开发的浪潮中,微服务架构已成为一种广泛采用的设计模式。它通过将大型应用程序拆分成一组小型、松散耦合的服务来增强系统的可维护性、可扩展性和敏捷性。本文将探讨如何构建一个高效的微服务架构,包括关键的设计原则、技术选型、以及实现过程中的最佳实践。我们将深入讨论微服务间的通信机制、数据一致性问题、服务发现与负载均衡策略,以及如何确保系统的安全性和监控。
|
3天前
|
机器学习/深度学习 安全 网络安全
数字堡垒的构筑者:网络安全与信息安全的深层剖析构建高效微服务架构:后端开发的新趋势
【4月更文挑战第30天】在信息技术高速发展的今天,构建坚不可摧的数字堡垒已成为个人、企业乃至国家安全的重要组成部分。本文深入探讨网络安全漏洞的本质、加密技术的进展以及提升安全意识的必要性,旨在为读者提供全面的网络安全与信息安全知识框架。通过对网络攻防技术的解析和案例研究,我们揭示了防御策略的关键点,并强调了持续教育在塑造安全文化中的作用。