数据管理这场盛宴,无元数据不成席

本文涉及的产品
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
简介: 元数据管理和主数据管理、数据标准管理的关系元数据管理是数据管理的核心要素,是主数据管理的基础组成部分,也是数据标准实施的重要载体。

一、元数据管理和主数据管理、数据标准管理的关系

元数据管理是数据管理的核心要素,是主数据管理的基础组成部分,也是数据标准实施的重要载体。

主数据是各业务系统间共享的重要基础数据。主数据管理作为数据管理的重要方式,通过对核心业务数据的共享与同步,实现了数据管理与数据应用的有机结合。目前业内的主数据管理,通常是以企业中的组织机构、员工、物料、客户、供应商、产品等主数据,实现数据的集中管理与共享服务。

651f7cdc26432d1d90630c9a9825b2c5.jpg

除建立相应的主数据系统外,可以由元数据管理实现主数据管理功能。首先,通过数据标准实现主数据的定义,将数据标准按照组织机构、员工、物料、客户、供应商、产品等主题进行分类定义,在明确每个标准信息项的业务属性和技术属性同时,设置“数据主系统”属性,明确每一项数据共享的主系统。其次,通过数据标准在系统开发过程中落地,确保数据接口的交互逻辑符合数据主系统定义,满足数据共享的准确性、一致性和及时性。最后,通过数据标准在元模型的落地和企业级元数据库管理,实现对主数据定义的统一管理

数据标准是为了保证数据定义和交换的一致与准确而制定的规范性文件。对于数据标准管理,可以基于元数据管理实现标准的动态闭环管理,一方面在元数据设计过程中落地数据标准,并在数据模型上线前,通过元数据审核功能检验数据标准落地情况;另一方面,通过元数据的设计发现标准的缺失和不足,从而推动标准的制定与完善。此外,通过建立与业务和技术元数据的标准映射,搭建了业务和技术之间的桥梁,为全员参与数据管理提供了支持。

二、基于元数据的数据管理

1.元数据管理的本质

元数据是关于数据的数据,描述了数据的定义和属性。传统的元数据管理过程,有些仅仅将元数据管理当做简单的工具,仅实现了元数据信息的浏览和分析;或者虽然实现了元数据的部分管理,但视角较单一,仅仅从技术角度出发,而忽略了企业不同业务领域的需求。在明确元数据管理概念时,我们需要回归到元数据管理的真正需求,回归到企业数据管理本身。只有通过对企业数据管理工作领域的梳理和归纳,我们才能还原出元数据管理的真正对象,元数据管理才能做到脱离简单的工具变为管理和服务的平台。只有和企业数据管理紧密结合起来,元数据管理才不会变为无源之水,无根之木。

因此,可认为元数据管理的本质是通过元数据管理实现各类数据管理手段的回归,实现数据管理的统筹。

6c6f97c7a6e9143c7740171c8d8e5da3.jpg

2.元数据管理的实现

基于对元数据管理方法的探索,将元数据管理、元数据应用和数据管理工作等三部分内容有机结合,形成动态、闭环、螺旋上升的完整体系。

(1)元数据管理

元数据管理厘清了元数据之间的关系与脉络,规范了元数据设计、实现和运维的全过程,为元数据的应用奠定了基础;同时,元数据的有效管理搭建了业务与技术之间的桥梁,为系统建设、系统运维、业务操作、管理分析和数据管控等工作的开展提供了重要指导。

从元数据管理的内容出发,需要将业务元数据、技术元数据和操作元数据等三方面有机结合。通过业务和技术元数据的映射并结合操作元数据管理,建立数据管理领域与元数据设计、实现和运维之间的关系,最终形成元数据管理的主体框架。

元数据的设计阶段,应通过统一的设计规范并完成数据标准落地工作;元数据的实现阶段,要对元数据开发实现及标准落地情况进行检核并记录上线版本;元数据的运维阶段,要对运行态的元数据定期进行比对分析,掌握实际情况。通过对元数据不同阶段的协调统筹管理,实现元数据的动态管理,保证及时、客观、准确地反映元数据现状。

(2)元数据应用

元数据应用为数据管理工作提供服务和支持,同时也会优化和完善元数据管理的相关内容。元数据应用包括元数据基础功能、元数据分析和元数据质量管理等三部分。

元数据基础功能主要指支撑元数据系统运行的基础应用,主要包含元数据维护、元数据查询、元数据版本管理、元数据统计、元数据使用情况统计等功能。

元数据分析主要包含血缘分析、影响分析、实体关联分析、实体差异分析、指标一致性分析等功能。通过元数据的影响分析和血缘分析,清晰展现了各应用系统的全局框架,为系统架构设计、应用开发测试、版本发布等工作提供了可靠的支撑;通过实体关联分析、实体差异分析可以了解实体的重要程度以及实体之间的关联性和差异性,为需求变更提供影响评估,并为业务定义的统一提供支撑;指标一致性分析可以帮助用户更好地了解指标加工的来龙去脉,清楚理解指标定义。

元数据质量管理的主要目标是提高元数据自身的质量,建立有效的元数据质量检查机制,及时发现、报告和处理元数据的质量问题。元数据质量检查包含但不限于以下内容:元数据一致性、元数据关系的健全性、元数据属性的填充率、元数据名称重复性、元数据关键属性的填充率和元数据关键属性值的唯一性。

(3)数据管理领域

企业中数据管理领域包括系统建设、系统运维、业务操作、管理分析和数据管控等五部分.数据管理各领域既是元数据管理和应用的需求方和服务对象,也能促进和优化元数据管理和应用工作。元数据管理和应用对数据管理工作五个领域的指导和支撑作用如下。

系统建设:企业级元数据管理不仅可以规范IT建设流程,提高设计开发质量,也有助于开发人员了解数据交互情况,为系统间的接口开发提供支持。

系统运维:通过操作元数据管理,掌握系统间作业调度和ETL过程,为作业任务监控、异常预警和定位及影响分析提供有力支持。

业务操作:简化业务人员的数据查询工作,可便捷找到所关注的业务元数据在系统中对应的数据项,并了解相关业务元数据的系统分布和使用情况。

管理分析:便于业务分析人员明确统计口径、选择恰当的分析数据项,有助于企业实现自助数据统计和分析工作。

数据管控:提升数据管理水平,展现数据全貌与脉络地图,为数据质量问题的快速定位、数据管控措施的影响性分析和数据标准落地等工作提供重要支持。

三、元数据管理实施路径

良好的元数据管理需要形成以管理办法为指导、数据标准为保障、系统支持为手段的元数据一体化的管理体系。

1.编制发布元数据管理办法

元数据管理办法应规定元数据管理的范围、内容和流程,明确了元数据设计、开发、采集和使用各环节的相关方责任,制定IT系统新建和变更时的元数据审批流程,对元数据管理工作的有效开展提供重要指导和规范。

2.制定并严格执行数据标准

要保证元数据定义的科学、统一,就要坚持“标准先行”。数据标准的内容分为业务和技术两部分,业务部分对数据进行统一的业务定义,包括数据项的业务涵义和数据项处理加工过程中应遵循的业务规则等,并明确数据项的归口部门;技术部分是对数据的技术属性进行统一规范和定义,包括字段长度、数据格式等。

对于数据标准落地执行,坚持标准在业务和技术领域的同步落地。一方面,推动数据标准在各类业务开展与创新、业务制度和操作手册的编写中落地;另一方面,将数据标准落地与元数据设计紧密结合,通过发布数据标准在IT系统应用细则,明确系统设计、开发过程中标准落地要求和执行方法,并通过上线前的数据模型评审,确保标准落地质量。此外,还需要建立标准落地问题反馈机制,形成落地工作对标准制定维护的促进和完善机制。

3.实现企业及元数据管理

目前,很多企业已建成以主数据管理、数据标准管理和数据质量管理为主要功能的数据管理系统,实现了对重要业务系统的主数据采集与管理,数据标准和数据质量考核等工作。但是,随着数据管理工作精细化要求的不断提高,逐步要建成以企业级元数据管理为基础和核心,实现全员参与数据管理工作的支撑平台。

414493ee86aef5ab6f52db58ac099877.jpg

一、实现企业范围内元数据管理,逐步实现对企业中各类IT系统元数据的统筹管理;

二、建立和完善元数据管理流程,通过建立统一的元数据开发模块和上线审批机制,对数据作业和ETL过程的监控调度以及定期的IT系统元数据比对更新,实现对元数据的动态更新和地图展现;

三、提升元数据管理与数据标准管理、数据质量管理、数据管控审批和数据归档等功能的融合与集成,实现数据的全生命周期管理。

相关实践学习
MySQL基础-学生管理系统数据库设计
本场景介绍如何使用DMS工具连接RDS,并使用DMS图形化工具创建数据库表。
相关文章
|
数据库 数据库管理
DMS中,同步元数据
DMS中,同步元数据
88 1
|
存储 数据采集 编解码
谈谈数据管理中的数据治理和元数据
数据治理是数据管理策略中最基本的功能,因为它是其他功能的中心和领导。在这里,我们应该对两个经常被误解的概念进行区分:
谈谈数据管理中的数据治理和元数据
|
数据采集 存储 数据管理
一文看透元数据和主数据本质|谈谈元数据管理和主数据管理的区别
高速发展的数字化时代,企业必须依靠对数据的了解来生存和发展。
一文看透元数据和主数据本质|谈谈元数据管理和主数据管理的区别
|
存储 数据采集 算法
一篇文章搞懂数据仓库:元数据分类、元数据管理
一篇文章搞懂数据仓库:元数据分类、元数据管理
|
存储 分布式计算 安全
NAMENODE工作机制,元数据管理(元数据存储机制、元数据手动查看)、元数据的checkpoint、元数据目录说明(来自学习资料)
NAMENODE工作机制 学习目标:理解namenode的工作机制尤其是元数据管理机制,以增强对HDFS工作原理的理解,及培养hadoop集群运营中“性能调优”、“namenode”故障问题的分析解决能力   问题场景: 1、集群启动后,可以查看目录,但是上传文件时报错,打开web页面可看到namenode正处于safemode状态,怎么处理? 解释: safemode是namenode的一种
2946 0
|
3月前
|
物联网 数据管理 Apache
拥抱IoT浪潮,Apache IoTDB如何成为你的智能数据守护者?解锁物联网新纪元的数据管理秘籍!
【8月更文挑战第22天】随着物联网技术的发展,数据量激增对数据库提出新挑战。Apache IoTDB凭借其面向时间序列数据的设计,在IoT领域脱颖而出。相较于传统数据库,IoTDB采用树形数据模型高效管理实时数据,具备轻量级结构与高并发能力,并集成Hadoop/Spark支持复杂分析。在智能城市等场景下,IoTDB能处理如交通流量等数据,为决策提供支持。IoTDB还提供InfluxDB协议适配器简化迁移过程,并支持细致的权限管理确保数据安全。综上所述,IoTDB在IoT数据管理中展现出巨大潜力与竞争力。
106 1
|
4月前
|
SQL NoSQL 数据管理
数据管理DMS使用问题之如何批量导入MongoDB的数据文件
阿里云数据管理DMS提供了全面的数据管理、数据库运维、数据安全、数据迁移与同步等功能,助力企业高效、安全地进行数据库管理和运维工作。以下是DMS产品使用合集的详细介绍。
|
18天前
|
关系型数据库 分布式数据库 数据库
云栖大会|从数据到决策:AI时代数据库如何实现高效数据管理?
在2024云栖大会「海量数据的高效存储与管理」专场,阿里云瑶池讲师团携手AMD、FunPlus、太美医疗科技、中石化、平安科技以及小赢科技、迅雷集团的资深技术专家深入分享了阿里云在OLTP方向的最新技术进展和行业最佳实践。
|
1月前
|
存储 人工智能 安全
【荣誉奖项】荣获2024数据治理优秀产品!瓴羊Dataphin联合DAMA发布数据管理技能认证
瓴羊Dataphin连续俩年获得DAMA年度优秀数据治理产品奖,本次与DAMA联合发布“DAMA x 瓴羊 数据管理技能认证”,助力提升全民数据素养。
138 0
【荣誉奖项】荣获2024数据治理优秀产品!瓴羊Dataphin联合DAMA发布数据管理技能认证
|
1月前
|
数据采集 安全 数据管理
通信行业数据治理:如何实现高效、安全的数据管理?
在未来的发展中,通信行业的企业应加强数据治理意识,提高数据治理能力;同时,积极开展跨行业的合作创新,共同推动行业的繁荣与发展。相信在不久的将来,通信行业将迎来更加美好的明天。

热门文章

最新文章