谈谈数据标准和数据模型

简介: 标准定义了一个参考框架,强化交互各方之间的信任。例如,当您在加油站加满汽车油箱时,“升”汽油的标准定义将确保您获得的汽油量是您认为的。反过来,“人民币”的标准定义向加油站所有者保证,您正在向他支付您购买的汽油的适当价值。

标准定义了一个参考框架,强化交互各方之间的信任。例如,当您在加油站加满汽车油箱时,“升”汽油的标准定义将确保您获得的汽油量是您认为的。反过来,“人民币”的标准定义向加油站所有者保证,您正在向他支付您购买的汽油的适当价值。本质上,标准是交互各方之间就交互上下文达成的协议。

假设任何两方(或多方)希望共享数据,则必须有一种方法来描述该数据的“样子”,以便当数据到达目标位置时,接收方实际上可以对其进行处理。数据标准提供了互动各方可以信任地交换数据的指南。

数据标准的目标是实现多方之间的数据共享或交换,以确保交互各方对该数据中表示的内容具有相同的理解。当交换的数据由结构化数据组成时,数据标准提供该结构的描述。数据标准至少需要定义实体名称、数据元素名称、描述、定义和格式规则。此外,数据标准可能包括程序、实施指南和使用标准。随着在不同操作环境中交换更多数据,对定义数据标准的需求变得更加迫切。

数据模型和数据标准是相关的,但它们之间存在细微差别。数据模型是现实世界实体的正式结构化表示,专注于对象及其相关属性的定义。例如,代表“人”的数据模型可能会捕获与人的描述相关的所有属性:姓氏、名字、体重、身高、出生日期、头发颜色、眼睛颜色等。此外,数据模型还可以捕获个体如何与实体相关,例如记录与客户订单关联的所有项目。

然而,数据模型主要关注表示的结构,而不必关注与该结构中的内容相关的细节。我们可以说一个“人”对象的实例被赋予了该人的出生日期,并且出生日期属性使用字符串表示,但是该模型没有指定该出生日期是否使用月份名称后跟日期来表示月份后接年份(例如,2013年02月27日),或者是否使用 MM/DD/YY 格式(例如,02/27/13)或任何其他日期格式表示。

a087a2dc1ced2bb813d4541510aeb1fc.png

无论该日期使用何种格式,只要表示在操作上下文中有效(即满足使用该数据的人员的需要),该值将符合模型的要求。这可能没问题,只要使用该模型中数据的人理解这是对的。然而,一旦有人想与不同组织中的人共享使用该模型存储的数据,日期格式的多样性可能会对数据从源迁移到目标系统的难易程度产生负面影响。

例如,与源数据模型在日期表示方面的相对宽松相比,该数据集的下一个用户可能对日期格式有严格的要求。这种明显的格式二分法源于这样一个事实,即任何共享数据的参与者都可能拥有他自己的数据模型,并且嵌入在每个数据模型中的是有关填充每个字段的数据类型的数据。因此,虽然一个数据模型(使用一个供应商的数据库系统构建)可能允许将日期存储为字符串,但另一个数据模型(使用不同供应商的数据库系统构建)可能使用嵌入式系统类型来表示日期。

解决这个问题的方法是使用数据标准进行数据交换。该标准可以对应于源数据模型或目标数据模型,或者可以提供两种模型都不同的格式。选择的实际格式无关紧要;重要的是参与者同意在他们交换数据的任何情况下使用选定的格式。这并不是说数据标准不应该与与使用交换数据的应用程序相关的数据模型不同。相反,有时开发与数据模型一致的数据标准非常重要。但是,重要的是要意识到数据模型和数据标准之间存在差异。

标准的力量来自于使用它的所有利益相关者的力量。如果它不是很常见,那么它就不是一个标准。

a8b2a45fae740cedfb4584ad84563a16.png

数据标准示例:空间通信和导航 (SCaN) 数据标准

NASA 通过其在空间数据系统咨询委员会 (CCSDS)中的积极成员身份参与空间数据标准的制定 。NASA 是 11 个成员机构之一,目前 CCSDS 内有 29 个观察员机构。SCaN 在 CCSDS 工作组的许多活动中发挥了技术领导作用,以制定国际标准规范并促进合作空间机构之间的互操作性和交叉支持。空间通信数据标准使世界空间机构能够相互提供交叉支持,从而消除建立和部署自己的空间和地面资产的需要。

940d418c07845ff31781c344973645a3.png

NASA专注于六个工作领域:

1.系统工程: 职责是支持 CCSDS 创建和执行跨学科流程,以确保标准的成功开发

2.任务操作和信息管理系统 (MOIMS): 数据交换格式和任务操作服务以实现互操作性

3.航天器机载接口服务 (SOIS): 用于航天器内部和附近的飞行系统和组件的互操作性的接口、协议和数据交换格式

4.太空链路服务(SLS): 开发高效的可互操作太空链路通信系统

5.空间互联网络服务 (SIS): 通信机会管理自动化

6.交叉支持服务 (CSS): 遥测、跟踪和指挥 (TT&C) 提供商与任务航天器之间的互操作性

相关文章
|
数据采集 监控 安全
数据标准应用(三):数据标准落标监控-下篇
数据标准创建完成后,需要指定其关联的资产对象才能发挥应用价值。数据标准和资产对象的映射关系通过落标映射规则来管理,对象是否遵循了映射到的标准定义则通过落标监控规则来判断。本文为您介绍落标监控评估的基本概念和监控逻辑。Dataphin 支持通过定义标准属性和资产对象元数据字段之间的匹配关系,自动生成数据标准和资产对象的映射关联;针对已确定的映射关系,可结合数据标准的定义对关联的资产对象进行落标监控,包括元数据监控和内容质量监控。上篇,我们为大家介绍了数据标准监控的分类和配置方式,本期我们将为您介绍配置好的落标监控如何生效以及如何查看监控结果。
543 0
|
存储 SQL 大数据
一篇文章搞懂数据仓库:三种事实表(设计原则,设计方法、对比)
一篇文章搞懂数据仓库:三种事实表(设计原则,设计方法、对比)
一篇文章搞懂数据仓库:三种事实表(设计原则,设计方法、对比)
|
6月前
|
设计模式 监控 算法
【领域驱动设计专题】一文带领你透视DDD领域驱动模型的本质和设计原理分析指南(通用语言体系)
【领域驱动设计专题】一文带领你透视DDD领域驱动模型的本质和设计原理分析指南(通用语言体系)
147 2
|
6月前
|
敏捷开发 监控 架构师
【领域驱动设计专题】一文带领你透视DDD领域驱动模型的本质和设计原理分析指南(构建领域知识)
【领域驱动设计专题】一文带领你透视DDD领域驱动模型的本质和设计原理分析指南(构建领域知识)
186 0
|
6月前
|
敏捷开发 架构师 Java
【领域驱动设计专题】一文带领你透视DDD领域驱动模型的本质和设计原理分析指南(基本概念篇)
【领域驱动设计专题】一文带领你透视DDD领域驱动模型的本质和设计原理分析指南(基本概念篇)
171 0
|
5月前
|
存储 监控 数据管理
数据库原理与应用——简答题练习(数据管理技术发展、数据库主要特征、数据模型、关系模型、实体性之间的关系、DBMS的功能、相关术语解释、数据库系统)
数据库原理与应用——简答题练习(数据管理技术发展、数据库主要特征、数据模型、关系模型、实体性之间的关系、DBMS的功能、相关术语解释、数据库系统)
63 0
|
存储 数据管理 数据处理
「数据架构」数据模式/纲要,数据结构和数据模型有什么异同
「数据架构」数据模式/纲要,数据结构和数据模型有什么异同
|
数据采集 存储 监控
数据标准应用(二):数据标准落标监控-上篇
数据标准创建完成后,需要指定其关联的资产对象才能发挥应用价值。数据标准和资产对象的映射关系通过落标映射规则来管理,对象是否遵循了映射到的标准定义则通过落标监控规则来判断。本文为您介绍落标监控评估的基本概念和监控逻辑。Dataphin 支持通过定义标准属性和资产对象元数据字段之间的匹配关系,自动生成数据标准和资产对象的映射关联了;针对已确定的映射关系,可结合数据标准的定义对关联的资产对象进行落标监控,包括元数据监控和内容质量监控。
1199 0
|
SQL 存储 数据可视化
谈谈数据建模的作用
越来越多的公司正在建设数据仓库或数据湖,并开始集中他们的数据或者已经完成了数据集中项目,并正在努力使整个组织的数据服务自助化。
谈谈数据建模的作用
|
数据采集 存储 架构师
谈谈如何理解数据建模也是数据治理的一种形式
数据建模是数据治理的一种形式。我们将数据治理定义为“执行和实施”对数据和与数据有关的资产的定义、生产和使用的权威。
谈谈如何理解数据建模也是数据治理的一种形式