谈谈关于设计数据管理/治理角色的问题

本文涉及的产品
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 对于任何数据管理专业人员来说,实现数据管理的实用和务实的方法都是关键的挑战之一。

对于任何数据管理专业人员来说,实现数据管理的实用和务实的方法都是关键的挑战之一。我的数据管理/治理经验始于十多年前,我第一次设计并实现了数据管理框架。当时,这个问题似乎很简单。但是,我在数据管理方面获得的经验越多,数据管理/治理角色的问题就变得越复杂。在最近的一年里,我发现了一些在设计角色时需要考虑的新挑战。在本文中,我想分享对当前通用方法的看法,讨论应该考虑到的关键因素,并分享在制定数据管理/治理角色的实践。

一 常见方法面临的挑战

在我看来有几个挑战与现有的角色设计相关,如下图所示:

a6bf47f3ea2dd91a1967405df7d94a0e.png

1角色数量多

关于数据管理/治理角色在不同框架中介绍了非常多角色。即使是DAMA国际的出版物也呈现了大量的角色:准确地说,有120个!最大的挑战是这些角色和过程、要交付的任务以及要产生的工件之间的一致性。同时,角色和企业规模之间不明确的关系也是一大挑战。

2没有明确的影响因素

在与许多构建数据管理/治理角色的数据管理专业人员交谈时,我经常得到这样的印象:他们只是从众所周知的来源复制角色,而没有分析可能影响角色设计模式的因素。这种方法导致了角色和责任不一致的问题。

3角色和需求不一致

有一次我听到一位同事说:“我们已经制定了管家和保管人的角色。”从语言学上讲,“管家”和“保管人”是同义词。这也是盲目复制角色的一个例子。之所以会出现这种情况,是因为在如何设计符合公司需求和现实的角色方面,没有明确的指导方针。

4没有明确的指导方针

例如,在DAMA-DMBOK2中引入了与管家相关的不同角色:“数据管家”、“数据托管人”、“首席数据管家”、“业务数据管家”、“协调数据管家”、“执行数据管家”、“数据管家协调人”、“技术数据管家”。公司可以遵循什么规则来选择“刚刚好”的管理员角色,以及管理员的正确职责是什么。

下面让我们看看数据管理专业人员在设计数据管理/治理角色时应该考虑的因素。

二 影响数据管理/治理角色设计的关键因素

下面我们讨论影响数据管理/治理角色的七个关键因素,如下图所示。

8141b5bb38f12701474803669c87f762.png

1数据管理员的类型

数据管理的概念源于数据所有权的概念。作为一个整体,该公司拥有数据。公司将与数据相关的任务委托给不同类型的数据专员。DAMA明确表明,数据管家和数据托管人是同义词。DAMA指定一个或一组“代表所有利益相关者的利益,必须从企业角度确保企业数据的高质量和有效使用”的人作为数据管理员。DAMA还指定了不同类型的数据专员。

782e4c638d6a6912133f3fc98be33dae.png

数据专员可以根据其专业背景分为三类:业务、数据、技术。使用这种方法,可以将这些角色分配给处理数据的每个员工。数据管理员角色可以是正式的,也可以是虚拟的。正式意味着在组织结构中创建实际角色,可以将虚拟角色分配给已经存在的角色。

2数据管理能力结构

在企业中关键的数据管理能力,包括数据链、数据管理框架、数据质量、数据建模、数据架构。四个维度支持这些功能:过程、角色、数据和工具。下图“橙色”部分提供了沿着这些维度划分数据治理/管理角色的方法。

dd9490fd326185a02e87d5a6d2334a33.png

例如,“业务流程所有者”和“系统所有者”对应于“流程”和“工具”维度。“数据”维度将描述数据所有者/数据用户角色的责任。“角色”维度将明确组织层次结构中的角色分配。这些角色的职责将同时取决于它们在数据链中的位置。

3数据链条上的位置

数据链描述了原始数据转化为有意义信息的路径。在下图中,可以看到我们刚才讨论的角色之间的关系,以及它们在数据链中的位置。

53f7f232c4ed0ed1f44a5fa34a3e56fd.png

数据链与一个或多个业务流程相关联。因此,业务流程所有者将沿着属于其责任的数据链对业务流程负责。数据处理可能涉及一个或多个系统和/或应用程序。每个应用程序都有一个应用程序所有者。数据所有者和数据使用者将对数据负责。我们稍后将讨论他们的责任。上述所有角色都将分配给业务数据专员。不同的数据管理能力需要支持数据链。所有类型的数据管理员都将执行与这些功能相关的流程,并交付相应的工件。数据链的数据架构会有所不同,也会影响角色的设计。

4数据架构体系风格

数据架构将影响与数据、业务流程和系统相关的角色。如下图所示,规范化和大数据平台架构之间有很大的区别。

6b66a4ad94cac547e546ae4cf9cda190.png

(1)规范的体系结构

许多公司仍然采用这种形式的架构。不同的来源和消费应用程序之间有太多的关系。在专业术语中,他们通常称这种类型的架构为“意大利面式架构”。(2)大数据平台

来自不同源系统的数据进入中央大数据平台。这个平台有不同的数据域。数据在平台内被处理,然后分发给不同的用户。这类平台的关键问题是数据集成和转换的位置。它是发生在平台本身,还是发生在面向消费者的过程中?这种决策也将影响角色的设置。

(3)数据网格平台

数据网格平台也与大数据架构相关。在这种情况下,将组织两种不同的数据域类型:来源和消费。每个领域都是数据源系统和大数据平台或大数据平台和数据源系统中的数据的组合。在每个域内,根据该域的业务需求处理数据。不同的架构风格将影响数据所有者和数据消费者的责任分配。架构风格也会影响数据建模和解决方案设计的模式。

5数据建模方案设计

在规范方法中,根据企业架构指南TOGAF 9.2,数据模型设计和解决方案设计属于不同的连续体。企业架构包括四个相互关联的架构:业务、数据、应用和技术。数据架构提供概念、逻辑和物理数据模型。解决方案架构应该将物理数据模型付诸实践。相反,新方法将数据模型设计和解决方案设计结合起来。概念数据模型、逻辑数据模型和解决方案数据模型应该在一个流程中同时设计。这意味着,根据数据管理和技术数据管理人员的方法不同,他们的职责和可交付成果也不同。也会影响数据管理相关的流程。

6业务和数据域定义

在DAMA-DMBOK 2中将数据管理员的审批权限分配给其域。这种挑战就在于指定“域”的定义。至少有三种可能的方法来指定域,如下图所示。

第一种方法基于新数据创建的概念。数据沿着数据链流动。在这个过程中,数据要么改变要么不变。第一个挑战是指定数据更改的条件。通常,主数据和引用数据保持不变,而事务性数据将更改。元数据将确保数据的更改。根据数据类型的不同,可以以不同的方式指定数据所有者的责任。

第二种方法基于数据内容。例如,客户数据是通常与概念模型相关联的主题领域。公司可以基于数据主题域分配数据所有权。基于业务能力域分配数据所有权的业务体系结构方法也可能适用。

第三种方法不太常见,根据组织结构指定数据所有权。实际上,在企业中这些方法可以组合使用。

7企业范围以及规模

当公司设计一组角色时,应该考虑数据管理计划的范围和公司的规模。它将影响数据管理组织结构中所表示的角色的复杂性。假设业务单元成为特定数据集的数据所有者。然后,在这个业务单元中,数据所有权的最终责任和相应责任将在业务单元经理和员工之间分割。

在你分析了所有与你的公司相关的因素之后,最后一步是设计角色。

三 设计数据管理/治理角色集

我的建议是不要随便复制已经存在的解决方案,让一组角色尽可能简单,以满足公司的实际需求。

下面的模型将数据管理视为一种业务功能。四个维度的支持能力:过程、角色、数据和工具。建议在最后阶段将角色与数据管理流程和交付物联系起来,下图是一个示例。

34d711b171ea28601b8e9ac1e6b3dd6a.png


相关实践学习
MySQL基础-学生管理系统数据库设计
本场景介绍如何使用DMS工具连接RDS,并使用DMS图形化工具创建数据库表。
相关文章
|
SQL 分布式计算 Java
数据治理之元数据管理的利器——Atlas入门宝典(二)
随着数字化转型的工作推进,数据治理的工作已经被越来越多的公司提上了日程。作为Hadoop生态最紧密的元数据管理与发现工具,Atlas在其中扮演着重要的位置。但是其官方文档不是很丰富,也不够详细。所以整理了这份文档供大家学习使用。
2914 1
数据治理之元数据管理的利器——Atlas入门宝典(二)
|
数据采集 存储 运维
DAMA数据管理知识体系指南(3):数据治理
DAMA:国际数据管理协会,是一个全球性数据管理和业务专业志愿人士组成的非营利协会,是当前国际上在数据治理领域最权威的机构。 DMBOK2则是DAMA组织众多数据管理领域的国际级资深专家编著,深入阐述数据管理各领域的完整知识体系。它是市场上唯一综合了数据管理方方面面的一部权威性著作。 本系列文章,将针对DMBOK中的核心内容进行解读。
DAMA数据管理知识体系指南(3):数据治理
|
存储 数据采集 安全
什么是数据管理,数据治理,数据中心,数据中台,数据湖?
什么是数据管理,数据治理,数据中心,数据中台,数据湖?
280 0
|
数据采集 机器学习/深度学习 算法
数据治理之参考数据与主数据管理
最近凑巧参与了一次某行业的业务共创会议,期间讨论到了主数据系统,还有我们该如何参与主数据系统建设的话题。说实话,我一直以为我不会有机会参与到主数据与参考数据系统的话题中去,所以,又去把DAMA的书籍翻了翻。顺便也重新思考了一下主数据与参考数据这个数据治理的课题。
2778 1
数据治理之参考数据与主数据管理
|
数据管理 大数据
数据治理专业认证CDMP学习笔记(思维导图与知识点)- 第15章数据管理能力成熟度评估篇
数据治理专业认证CDMP学习笔记(思维导图与知识点)- 第15章数据管理能力成熟度评估篇
|
存储 数据采集 安全
数据治理专业认证CDMP学习笔记(思维导图与知识点)- 第12章元数据管理篇
数据治理专业认证CDMP学习笔记(思维导图与知识点)- 第12章元数据管理篇
143 0
|
数据采集 存储 数据管理
数据治理专业认证CDMP学习笔记(思维导图与知识点)- 数据管理
数据治理专业认证CDMP学习笔记(思维导图与知识点)- 数据管理
182 0
|
存储 数据采集 编解码
谈谈数据管理中的数据治理和元数据
数据治理是数据管理策略中最基本的功能,因为它是其他功能的中心和领导。在这里,我们应该对两个经常被误解的概念进行区分:
谈谈数据管理中的数据治理和元数据
|
数据采集 存储 安全
数据治理和数据管理如何协同工作
数据治理是数据管理的重要组成部分。以下这些建议将有助于在两项战略之间建立强有力的互补关系。
数据治理和数据管理如何协同工作
|
存储 数据采集 安全
谈谈如何制定主数据管理策略及正确选择数据治理工具
在实现MDM策略时,应采用循序渐进的迭代方法。大处着眼,小处着手,与企业的长远目标相一致。
谈谈如何制定主数据管理策略及正确选择数据治理工具