元数据管理为什么需要统一的元模型?

本文涉及的产品
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
简介: 每个组织都有自己的数据管理方式。有的公司准备自研并制定了长期计划,有的公司使用最新的数据管理工具和技术,有的公司则是为了满足监管机构的要求。这几种的思路完全不一样。要让公司成为真正的数据驱动型组织,不仅仅需要制定数据策略或推出更新的软件技术。关键在于数据的整体治理和管理,解决这个问题的一个好方法就是元数据管理。元数据管理是DAMA数据治理体系中的一部分,元数据管理与其他数据治理领域巧妙结合,发挥出巨大的作用。

为什么是元数据管理?


我们生活在一个每天都能看到新的概念、技术和工具涌现的时代,在数据领域也是一样。但如果你试图理解它们的作用,你会发现基本原理仍然相同,其实最终都是为了解决问题而出现的。由于对数据资产的缺乏管理,各种各样的问题开始出现。管理元数据并将它们映射到流程、资产、策略和人员中可以为数据资产提供整体概览和语义。这不仅有助于管理层做出明智的决定,还有助于业务和 技术掌握数据的核心并保持控制。元数据管理对于风险管理也非常重要,可以帮助最大限度地减少风险,满足合规要求。

元数据管理并不是什么新鲜事。在很久以前,元数据管理就一直通过文档和电子表格的形式进行着。有的公司可能正在这样做,但不知道它如何为公司正在进行的所有数据工作带来价值。随着各种各样数据目录,数据地图,元数据管理平台的出现,很多商业案例大篇幅的宣传它们的作用,但是它们到底能不能解决实际问题还不得而知。如何开始呢?我们可以从中选择一并在其之上慢慢构建,也可以自研。但是第一步,我建议是从元数据管理开始,这是一个很好的开始方式。在元数据管理中,就要开始考虑使用元模型的方案。在管理业务元数据和技术元数据方面存在许多挑战,在这种情况下,统一的元模型可以提供很大帮助。元模型可以为所有数据管理计划带来很多价值。它不仅有助于以结构化方式管理您的元数据,而且还充当将元数据共享给应用程序和流程的来源。

如果你还没有开始元数据管理的工作,就从统一元模型开始吧!


统一元模型


所有的数据目录都应该有一个统一的元模型,一些是关系型的,一些是非关系型的。但在概念层面,它们都代表相同的实体。诸如数据集、数据表、数据字段、数据系统、应用程序、分类、业务术语表、数据血缘之类的东西,还有很多很多。因此,创建自己的元模型以按照您想要的方式存储元数据是非常必要的。这对于将元数据处理到集中的数据目录或其他模块需要的接口非常有用。定制模型可以与数据资产盘点并行工作。对于业务元数据,以系统的方式存储所有元数据而不是维护电子表格也非常有必要。

只是为了说明问题,我准备了一个概念模型来保存技术元数据。

image.png

上述元模型还为开发者社区提供了一个框架来构建支持元数据、数据血缘等的应用程序。您可以使用业务元数据对其进行扩展以进一步丰富。

image.png

上述模型具有数据发现、数据治理、数据分类、数据隐私、数据血缘等功能所需的组件。

元模型的优点是什么:

端到端视图:您可以创建所有资产的知识地图,并充分了解业务流程或实体如何与 IT 系统相关联。例如:当一个应用程序按计划运行时,必须有一个作业用于计划运行,该作业负责创建创建一些业务价值所需的数据集。

易于集成:如果您的组织拥有许多应用程序、技术、自定义流程,这也是一个优势,使用目录来解决它们非常困难并且需要良好的元模型。您可以从应用程序开发挂钩以将数据推送到此模型。

元数据管理:元模型提供了管理元数据的框架,您实际上可以选择或迁移到您选择的目录。元模型可以作为事实的单一版本。

版本控制:通过元数据版本控制,您可以进行时间回溯以了解过去发生的事情,并将数据用于监管报告或管理报告。

有什么缺点?

当然,这种设计并不是完美的,要确定元模型的范围并确定您需要其中的哪些属性需要付出很多努力。您需要确定需要存储的元数据粒度级别(业务、技术、运营)。您需要确保您的应用程序能够将所需的元数据推送到此模型。最后但并非最不重要的一点是预算和时间,您需要在这些举措上投入大量资金和时间。

相关文章
|
3月前
|
存储 数据管理 数据挖掘
数据管理DMS:构建高效数据生态的关键
数据管理DMS:构建高效数据生态的关键
|
5月前
|
存储 NoSQL 数据管理
数据管理系统
数据管理系统
|
数据管理 Docker Python
元数据管理平台 Amundsen 环境搭建
元数据、元数据管理
427 0
|
存储 数据采集 监控
数据管理从行动开始
假设您正在通过“了解您的客户”计划来改善客户体验。也许你满足了监管要求,以避免罚款,或者你可以通过从每月的潜在客户列表中删除重复事项来降低成本。
数据管理从行动开始
|
存储 数据管理 开发者
元数据管理的可扩展性 | 学习笔记
快速学习元数据管理的可扩展性
112 0
元数据管理的可扩展性 | 学习笔记
|
存储 算法 安全
元数据管理的高可用性 | 学习笔记
快速学习元数据管理的高可用性
132 0
元数据管理的高可用性 | 学习笔记
|
存储 数据采集 SQL
数据服务基础能力之元数据管理
元数据(Metadata)即描述数据的数据,但是在实际使用的时候,还是存在很多细分的概念,从本质上看元数据,介于系统和业务中间,提供双方都能明白的语义和逻辑,可以更加高效的支撑数据的业务价值。
816 0
数据服务基础能力之元数据管理
|
存储 SQL 数据采集
SaaS厂商数据库设计(3)-租户元数据管理&数据管理
SaaS厂商设计中元数据管理以及逻辑视图方式下数据管理
591 2
SaaS厂商数据库设计(3)-租户元数据管理&数据管理
|
存储 数据采集 人工智能
数据治理实践:元数据管理架构的演变
近几年来数据的量级在疯狂的增长,由此带来了系列的问题。作为对人工智能团队的数据支撑,我们听到的最多的质疑是 “正确的数据集”,他们需要正确的数据用于他们的分析。我们开始意识到,虽然我们构建了高度可扩展的数据存储,实时计算等等能力,但是我们的团队仍然在浪费时间寻找合适的数据集来进行分析。 也就是我们缺乏对数据资产的管理。事实上,有很多公司都提供了开源的解决方案来解决上述问题,这也就是数据发现与元数据管理工具, 在这篇文章中,我将描述行业迄今为止元数据管理的三代架构, 希望本文能帮助您在选择自己的数据治理解决方案时做出最佳决策。
385 0
数据治理实践:元数据管理架构的演变
|
存储 人工智能 供应链
海量数据仓库:元数据管理分享
在最开始的时候,元数据(Meta Data)是指描述数据的数据,通常由信息结构的描述组成,随着技术的发展元数据内涵有了非常大的扩展。元数据通常分为业务元数据、技术元数据和操作元数据等。业务元数据主要包括业务规则、定义、术语、术语表、运算法则和系统使用业务语言等,主要使用者是业务用户。
869 0
海量数据仓库:元数据管理分享