数据建模和数据架构:
信息建模描述了理解与企业相关的数据、流程和规则所需的元数据(图1)。信息建模有三个主要领域:
- 数据建模-逻辑数据模型是对业务术语和数据元素使用上下文的定义。例如,可以将客户和潜在客户实体分组的参与方数据。
- 流程建模-企业使用的企业业务流程的定义。流程建模使用数据模型实体,并描述如何通过业务流程创建或转换数据。例如,潜在客户成为客户的过程。
- 规则建模-描述整个组织的数据治理和遵从性策略。规则描述了数据必须遵循的质量和管理规则,以便与公司政策保持一致。例如,客户必须大于21岁,或者任何超过5年的数据项都需要存档。
图1
数据建模是IT和业务就业务术语(实体)的通用列表达成一致的过程,这些术语或属性的限定条件,以及这些术语之间的关系。维护和记录数据模型的能力成为组织跨业务关键项目服务不同数据采购需求能力的关键部分。
存在多种形式的数据模型:
- 关系模型——用于创建在线事务处理(OLTP)系统。通常,OLTP模型保持第三种标准形式,以确保没有冗余。
- 维度模型-用于创建联机分析处理(OLAP)系统。仓库的设计可以基于Kimball或Inmon方法。有时它可以是一种混合方法。
主数据管理
主数据管理(MDM)包括流程、治理、策略、标准和工具,它们一致地定义和管理组织的关键数据,以提供单一的参考点。
掌握的数据可以包括:
- 参考数据-事务的业务对象和分析的维度
- 分析数据——支持决策
考虑到MDM的原则是为了确保主数据保持统一和一致的状态,MDM和企业信息体系结构(EIA)有一个共同点:需要对主数据有一个一致的定义。归根结底,架构主数据的过程在MDM、企业信息管理(EIM)和EIA之间是通用和共享的。相对于MDM,最终目标是创建支持整个信息体系结构的信息管理环境,同时添加结构和过程,以减少管理主数据的工作量。
以下是MDM、EIA和EIM之间的关系。
图2
元数据管理
元数据为数据提供了一个参考框架。Forrester Research将元数据定义为“描述或提供支持组织信息系统的数据、内容、业务流程、服务、业务规则和策略的上下文的信息”。例如,苹果公司的App Store在线销售软件应用程序。本例中的数据是应用程序。元数据是关于这些应用程序的信息,应用程序的描述、价格、用户评级、评论和开发公司。
在数据管理环境中,有几种相关类型的元数据:
- 技术元数据提供有关数据的技术信息,例如源表的名称、源表的列名和数据类型(例如,字符串、整数)
- 业务元数据提供围绕数据的业务上下文,例如业务术语的名称、定义、所有者或管理者,以及相关的引用数据
- 操作元数据提供有关数据使用的信息,例如上次更新的日期、访问的次数或上次访问的日期
元数据管理是一个端到端的过程,用于创建、增强和维护元数据存储库和相关的过程。元数据管理包括建立过程、思维模式、组织和能力,以构建元数据环境。与BI和主数据管理一样,元数据管理面临的更大挑战是相关的业务流程规程和文化。
下图显示了元数据存储库可以包含哪些内容
图3
数据质量管理
数据质量可视为
- 数据显示的与实际场景描述相关的卓越程度。
- 使数据适合特定用途的完整性、有效性、一致性、及时性和准确性的状态。
- 数据的特征和特性的总和,这些特征和特性关系到它们满足给定目的的能力;与数据有关的因素的优秀程度的总和。
- 确保数据值符合业务需求和验收标准所涉及的过程和技术。
- 完整、基于标准、一致、准确、有时间戳。
数据质量管理包括建立和部署与数据的获取、维护、传播和处置有关的角色、职责、政策和程序。业务组和技术组之间的伙伴关系对于任何数据质量管理工作的成功都至关重要。业务领域负责建立管理数据的业务规则,并最终负责验证数据质量。信息技术(IT)小组负责建立和管理获取、维护、传播和处置本组织电子数据资产的总体环境(架构、技术设施、系统和数据库)。
这是显示数据质量管理过程的图表
图4