数据模型系列:数据模型和数据建模基础

简介: 数据模型是组织加速应用程序开发和释放数据价值的关键工具。

一 什么是数据建模

数据建模是一种用于定义和组织业务流程的技术。可以通过分析、理解和明确数据需求以及它们如何支撑业务流程来创建业务的可视化描述。数据模型是企业数据元素及其之间连接的可视化表示。通过帮助定义和构造相关业务流程上下文中的数据,模型支持有效信息系统的开发。它们使业务和技术资源能够协作地决定如何在整个组织中存储、访问、共享、更新和利用数据。

373b795be38e9347a6d7c64841ded853.png

二 数据建模是数据策略的重要组成部分

要真正理解什么是数据建模,必须深入挖掘它所带来的具体好处。当然,只有有效地部署数据模型,并且当业务和IT团队和谐地工作时,才能实现这些好处。

以下是有效数据建模的四个主要好处

1. 降低成本,更快的实现数据价值

使用数据建模,业务用户可以直接定义核心业务规则,这意味着在实现时需要更少的修订。需求和开发的集成决定了总体开发时间的显著改进。这意味着将更快地向市场交付项目和新产品。我们帮助一个客户使用数据建模将他们的生产时间从9个月减少到3个月。

使用数据建模还可以节省成本,因为它可以快速捕获错误。这意味着需要更少的迭代,并且团队不太可能将充满错误的项目传递给上级或者的客户。这使数据建模将编程预算减少了75%。数据建模可能很复杂,并且会增加一些文书工作,包括IT和业务方面的文书工作。但这也是控制数据、降低成本和加快开发的最佳方法之一。

2. 理解和改进业务流程

数据建模迫使明确业务及其流程,并要求不同人员协作的方式进行。如果你不知道你的业务是如何运作的,根本无法定义数据和它在做什么。

例如,要构建客户数据库,您需要了解企业目前拥有的客户数据,以及您如何使用这些数据。因此,数据建模过程揭示了数据及其关系,这为理解业务流程以及如何改进业务流程提供了基础。

3.降低复杂性和风险

为了处理每个组织都必须面对的数据浪潮,需要确保数据是简单和低风险的。你拥有的数据越多,就越快需要考虑驯服它。而且,由于所有企业都面临着数据遵从性的挑战,您需要正确地进行操作。这意味着记录和连接一切与不断变化的数据。

数据模型提供了数据流程的直观图表,因此您可以全面了解数据体系结构。这降低了风险,因为可以深入了解所有的数据,不再是隐藏和分散的转换、元数据或过滤器,因此公司很容易获得一个版本的真相。数据建模还可以使技术水平较低的员工(如业务主管和高管)更容易访问业务中复杂的、高度技术性的元素。

4. 改进的协作

IT团队可以更容易地与非技术人员协作。通过使用数据模型,它们可以以技术无关的方式进行沟通,但在需要时仍然具有足够的细节来创建物理数据结构。数据建模可以更容易地将高级业务流程与数据规则、数据结构和物理数据的技术实现集成起来。数据模型为业务如何运作以及如何以每个人都能理解的方式使用数据提供了协同作用。

三 概念数据建模

有三种不同类型的数据模型:概念的、逻辑的和物理的。每个数据模型都有特定的用途,主要由操作细节级别定义。概念数据模型是在数据建模过程的第一阶段建立的。它们提供了一个概要级别的透视图,省略了更精细的细节,以更易于理解的格式。

219e0d5fdbc21785d0878e6f9e3bbf7f.png

1什么是概念数据模型

顾名思义,概念数据建模最适用于概念阶段,即组织起草一份粗略的计划,然后制定出更详细的细节。概念数据模型通常由数据架构师和业务相关人员创建,为相关业务人员提供有关概念或实体及其之间关系的易于理解的映射。通过以一种与那些不一定是技术和或细节导向的涉众相关的方式来沟通模型。

概念数据模型的目的是通过记录不同的业务实体如何相互关联来提供以数据为中心的组织视角。这通常是通过实体关系图(ERD)和/或对象角色模型(ORM)来实现的。与逻辑和物理数据模型不同,概念数据模型与技术和应用程序无关。这意味着它们不受当前系统和过程的现实和上下文的约束。概念数据模型展现了现有状态和未来状态,这意味着它们包含了正在进行或未来可能进行的业务更改。通过这种方式,组织可以在一定程度上对模型进行未来验证,并考虑到解决方案中可能需要内置的任何灵活性。

2概念数据模型的目标

应该使用概念数据模型来定义和沟通概念和实体之间的高级关系。换句话说,它们帮助组织在上下文中看到他们的数据以及不同类型数据之间的关系。

理想情况下,它们将是上下文中数据的可视化表示,以表示组织在特定环境中如何操作的场景。这可以帮助组织避免可能导致重大问题的疏忽。例如,当构建或获取一个新的客户关系管理系统时,区分潜在客户和客户的需要可能并不明确。但如果没有这种区别,“新”潜在客户实际上可能是拥有现有账户的公司员工。

识别潜在客户和客户之间区别的数据库还可以建模,以识别新潜在客户和现有客户之间的任何潜在关系,从而允许合并记录。这样,销售代表和支持代表就有了有效工作所需的环境。

3什么时候应该考虑概念数据模型

概念数据模型用于数据建模的早期阶段,根据用例需求组织和定义概念和规则。在这三种类型的数据模型中,它们是最不详细的,但这并不意味着它们不那么有用。事实上,概念数据模型的一个关键好处是,它们可以被快速理解并传达给“技术”之外的利益相关者。

概念性数据模型为组织提供了一个起点,在它们通过数据模型的各个阶段时,这个起点应该发展成上下文更丰富的图。通过用例分析、用例设计和数据库设计,物理数据模型的复杂性和详细程度最终将达到细化。

4为什么应该使用概念数据模型

绕过概念数据建模阶段,更有可能忽略宏观实体关系,例如上面提到的客户、潜在客户的区别。此外,概念数据模型还考虑基数。基数描述了一个实体与其他实体的关系,包括一对一、一对多或多对多。

如果没有概念数据建模,组织在开发周期中越深入,这种疏忽就越有可能发生。这是因为当团队在截止日期的压力下专注于设计细节时,大局往往会被忽略。通过首先构建概念数据模型,组织可以避免这种疏忽,因此可以提前考虑和定义实体之间的潜在关系。

四 逻辑数据建模

逻辑数据建模是数据建模的三种类型(或阶段)之一,另外还有概念数据建模和物理数据建模。有时也称为信息建模,逻辑数据建模是这些阶段的第二阶段。它帮助组织对必须处理的信息进行可视化理解,以成功地完成特定的任务或业务流程。

65ed89eada652529c0029b4857076283.png

1什么是逻辑数据模型

作为给定业务领域信息需求的图形表示,逻辑数据模型是通过采用概念数据模型中描述的数据描述,并为数据结构引入相关的元素、定义和更多的上下文来构建的。

这个阶段很重要,因为虽然更精简的概念数据模型更容易沟通,但缺乏上下文会使从建模转移到实现变得困难。需要更多细节来支持这一进程。这些细节包括定义属性、主键、外键、关系基数以及描述实体和类。在这个阶段,建立和定义数据之间关系的本质,并且对来自不同系统的数据进行规范化。

2逻辑数据模型的目标

在这个阶段,数据模型的主要功能是可视化数据元素以及它们之间的关系。逻辑数据建模还可以详细描述与数据元素相关的属性。例如,逻辑数据模型将指定数据元素的性质,即帐户名称(字符串)、帐户号码(整数)。

3什么时候应该考虑逻辑数据模型

这三种不同类型的数据模型提供了越来越多的上下文和细节,因此我们可以依次查看它们的使用情况。因此,一旦建立了概念数据模型,就应该考虑逻辑数据模型。

这个更结构化的数据建模阶段在应用程序设计过程中最为相关,在数据库分析师和设计人员工作的技术环境中,它可以作为一种沟通机制。与概念数据模型相比,它在更大程度上帮助我们理解数据的细节,但类似地,它没有提供应该如何实现的视角。

与概念数据建模一样,这意味着团队不受技术考虑的约束。这一点很重要,因为组织中的技术本质通常是动态的。

4为什么要使用逻辑数据模型

理解逻辑数据模型何时以及为何相关的一个简单方法是考虑模型的目标受众:数据库分析师、系统分析师和设计人员。逻辑数据建模的受众和在应用程序设计过程中的位置意味着为了可访问性而排除上下文和细节是不太相关的。与概念数据建模相比上下文架构师需要确保新应用程序与它们将包含的数据兼容。从本质上讲,逻辑数据模型为生产性数据库设计提供了必要的基础。

如果没有逻辑数据模型,设计人员就只能在新应用程序运行时真正了解其需求。这通常意味着使用无组织的数据元素,从而更有可能忽略这些需求。因此,为了构建物理数据模型而跳过逻辑数据建模阶段可能会导致糟糕的数据库设计和无法正常工作的应用程序。解决这些错误需要一种反应性的方法,这种方法可以放慢产品上市的时间,并增加与开发过程相关的总成本。

此外,逻辑数据模型的技术不可知特性有助于组织建立流程改进的机会。这意味着新的应用程序可以尽可能高效地构建,而不是像当前技术限制所允许的那样有效。

五 物理数据建模物理数据建模是数据建模三个顺序阶段中的第三个阶段。数据库设计人员通过详细说明在概念和逻辑数据建模阶段创建的模型来生成物理数据模型。在此阶段创建的模型支持管理规范化,并考虑部署的目标技术。它们足够全面,可以表示已实现的数据库设计或打算实现的数据库设计。

ef61827b3ec708a3adfc73087ee2a6f9.png

1什么是物理数据模型

物理数据模型引入了概念和逻辑数据模型中缺失的特定于数据库的上下文。它表示数据库中的表、列、数据类型、视图、约束、索引和过程以及/或计算机过程中通信的信息。

物理数据模型应该与特定的数据库管理系统(DBMS)以及基于数据操作的流程的特定需求相关联。这通常需要逻辑设计构造的非规范化,以维护引用的完整性。物理数据建模阶段的上下文考虑的一个例子是可以或将要处理的数据的性质,以及关于如何执行这些流程的规则。

另一个关键的考虑是,确保在DBMS中支持建模的列类型,并且遵守实体和列的命名约定,防止有问题的语义重叠。考虑技术上下文意味着物理数据模型反映技术环境的需求。

2物理数据模型的目标

作为数据模型实现的特定于数据库的表示,物理数据模型有助于在构建数据库之前可视化数据库的结构。他们的焦点和最终目标是数据库的实现,他们通过描述如何在特定的DBMS范围内创建数据库来帮助组织实现这一目标。

使用它,数据库设计者可以创建数据库的抽象并生成模式。实体类型表示为表,关系类型行表示表之间的外键。这个透视图对于确保所表示的数据对象和关系的准确性和与组织系统的兼容性是不可或缺的。

3什么时候应该考虑物理数据模型

这三种类型的数据模型可以而且应该被视为线性阶段。作为数据建模的第三阶段,物理数据建模建立在概念和逻辑阶段开发的模型的基础上。

物理模型标志着模型的转变,从最初被构建的用来表示“什么”(如将被建模的数据和信息)到“如何”(实现)。当然,这种实际的实现方法会考虑到DBMS和技术的细节,包括项目中提出的非正规化需求。

该模型描述了单个项目的数据需求,但它也可以与来自其他项目的物理数据模型集成,以说明项目、过程和技术之间的相互关系。由于考虑到特定的技术,物理数据模型更加严格,即使是很小的更改也可能需要修改整个应用程序。因此,建议只在概念和逻辑数据模型已经构建好之后才继续构建物理数据模型。4为什么要使用物理数据模型

物理数据模型是理解实现本质的重要一步。这样的理解越完整,就越有可能成功地实现满足组织需求的解决方案。

设计良好的物理数据模型可以获得更好的数据质量、更容易的实现和维护以及更可实现的可伸缩性。然而,一个设计良好的物理数据模型取决于它之前的模型是否充分。在实践中,许多组织认识到需要构造物理数据模型,但却忽略或跳过了概念和逻辑模型。这不可避免地会导致设计考虑方面的差距,以及从数据模型到物理应用程序的数据沿续性和可追溯性方面的问题。

六 小结

简而言之,数据建模有助于数据的可视化表示。数据模型是在项目的设计和分析阶段建立的,以确保这些应用程序需求得到满足。这就是数据建模为我们保留的东西。

相关文章
|
7月前
|
数据采集 存储 数据建模
终于有人把数据建模讲明白了
在企业数据系统中,常存在“同名异义”字段导致数据混乱的问题,根源在于缺乏统一的数据模型。数据建模是将业务对象、行为和规则转化为结构化模型的过程,而数据模型则是描述数据组织方式的结构。通过建模,可实现数据标准化、提升质量,并支撑业务分析与决策。常见建模方法包括强调一致性的范式建模、面向分析的维度建模和贴近业务本质的实体建模,三者协同使用,助力企业构建高效、规范的数据体系。
终于有人把数据建模讲明白了
|
算法 安全 关系型数据库
密码学系列之七:数字签名
密码学系列之七:数字签名
2286 0
|
25天前
|
机器学习/深度学习 人工智能 边缘计算
转行AI需谨慎:那些半途而废的人,都忽略了这几点。
2025年AI岗位需求暴增543%,但超六成转行者半年内放弃。本文揭示五大陷阱:盲目跟风忽视赛道适配、混淆工具使用与真实能力、碎片化学习缺实战闭环、急功近利轻视伦理、为高薪而非兴趣出发,并指出科学路径才是破局关键。(239字)
475 12
|
8月前
|
数据采集 存储 分布式计算
一文读懂数据中台架构,高效构建企业数据价值
在数字化时代,企业面临数据分散、难以统一管理的问题。数据中台架构通过整合、清洗和管理数据,打破信息孤岛,提升决策效率。本文详解其核心组成、搭建步骤及常见挑战,助力企业高效用数。
2315 24
|
人工智能 弹性计算 架构师
AIGC浪潮涌入高校,首届【弹性计算进校园】研讨会顺利举行
阿里云弹性计算团队于浙江工商大学,开展了首届【弹性计算进校园】交流活动。
|
Web App开发 存储 JavaScript
揭秘!Vue3.5响应式重构如何让内存占用减少56%
【11月更文挑战第9天】本文揭秘了 Vue3.5 响应式系统的优化,通过精细化的依赖收集、优化数据劫持方式和自动的观察者清理,使得内存占用减少了 56%。文章详细介绍了响应式系统的工作原理和传统内存占用因素,并通过性能测试和实际案例展示了优化效果。
594 3
|
存储 监控 安全
Elasticsearch 8.X 集群 SSL 证书到期了,怎么更换?
Elasticsearch 8.X 集群 SSL 证书到期了,怎么更换?
|
网络协议 程序员 API
网络原理(2)——TCP协议(传输层)
网络原理(2)——TCP协议(传输层)
664 0
|
存储 SQL 缓存
聊聊数据湖的11个参考架构
数据湖是传统数据仓库概念在源类型、处理类型和用于业务分析解决方案的结构方面的高级版本。
聊聊数据湖的11个参考架构
|
编解码 安全 数据安全/隐私保护
速度与稳定性的完美结合:深入横测ToDesk、TeamViewer和AnyDesk
远程办公是指通过现代互联网技术,实现非本地办公:在家办公、异地办公、移动办公等远程办公模式。多数通过第三方远程控制软件来实现,例如通过远程手机/电脑远程控制办公设备进行工作或者会议,实现远程办公的目的。
2551 0
速度与稳定性的完美结合:深入横测ToDesk、TeamViewer和AnyDesk