对于任何数据管理专业人员来说,实现数据管理的实用和务实的方法都是关键的挑战之一。我的数据管理/治理经验始于十多年前,我第一次设计并实现了数据管理框架。当时,这个问题似乎很简单。但是,我在数据管理方面获得的经验越多,数据管理/治理角色的问题就变得越复杂。在最近的一年里,我发现了一些在设计角色时需要考虑的新挑战。在本文中,我想分享对当前通用方法的看法,讨论应该考虑到的关键因素,并分享在制定数据管理/治理角色的实践。
一 常见方法面临的挑战
在我看来有几个挑战与现有的角色设计相关,如下图所示:
1角色数量多
关于数据管理/治理角色在不同框架中介绍了非常多角色。即使是DAMA国际的出版物也呈现了大量的角色:准确地说,有120个!最大的挑战是这些角色和过程、要交付的任务以及要产生的工件之间的一致性。同时,角色和企业规模之间不明确的关系也是一大挑战。
2没有明确的影响因素
在与许多构建数据管理/治理角色的数据管理专业人员交谈时,我经常得到这样的印象:他们只是从众所周知的来源复制角色,而没有分析可能影响角色设计模式的因素。这种方法导致了角色和责任不一致的问题。
3角色和需求不一致
有一次我听到一位同事说:“我们已经制定了管家和保管人的角色。”从语言学上讲,“管家”和“保管人”是同义词。这也是盲目复制角色的一个例子。之所以会出现这种情况,是因为在如何设计符合公司需求和现实的角色方面,没有明确的指导方针。
4没有明确的指导方针
例如,在DAMA-DMBOK2中引入了与管家相关的不同角色:“数据管家”、“数据托管人”、“首席数据管家”、“业务数据管家”、“协调数据管家”、“执行数据管家”、“数据管家协调人”、“技术数据管家”。公司可以遵循什么规则来选择“刚刚好”的管理员角色,以及管理员的正确职责是什么。
下面让我们看看数据管理专业人员在设计数据管理/治理角色时应该考虑的因素。
二 影响数据管理/治理角色设计的关键因素
下面我们讨论影响数据管理/治理角色的七个关键因素,如下图所示。
1数据管理员的类型
数据管理的概念源于数据所有权的概念。作为一个整体,该公司拥有数据。公司将与数据相关的任务委托给不同类型的数据专员。DAMA明确表明,数据管家和数据托管人是同义词。DAMA指定一个或一组“代表所有利益相关者的利益,必须从企业角度确保企业数据的高质量和有效使用”的人作为数据管理员。DAMA还指定了不同类型的数据专员。
数据专员可以根据其专业背景分为三类:业务、数据、技术。使用这种方法,可以将这些角色分配给处理数据的每个员工。数据管理员角色可以是正式的,也可以是虚拟的。正式意味着在组织结构中创建实际角色,可以将虚拟角色分配给已经存在的角色。
2数据管理能力结构
在企业中关键的数据管理能力,包括数据链、数据管理框架、数据质量、数据建模、数据架构。四个维度支持这些功能:过程、角色、数据和工具。下图“橙色”部分提供了沿着这些维度划分数据治理/管理角色的方法。
例如,“业务流程所有者”和“系统所有者”对应于“流程”和“工具”维度。“数据”维度将描述数据所有者/数据用户角色的责任。“角色”维度将明确组织层次结构中的角色分配。这些角色的职责将同时取决于它们在数据链中的位置。
3数据链条上的位置
数据链描述了原始数据转化为有意义信息的路径。在下图中,可以看到我们刚才讨论的角色之间的关系,以及它们在数据链中的位置。
数据链与一个或多个业务流程相关联。因此,业务流程所有者将沿着属于其责任的数据链对业务流程负责。数据处理可能涉及一个或多个系统和/或应用程序。每个应用程序都有一个应用程序所有者。数据所有者和数据使用者将对数据负责。我们稍后将讨论他们的责任。上述所有角色都将分配给业务数据专员。不同的数据管理能力需要支持数据链。所有类型的数据管理员都将执行与这些功能相关的流程,并交付相应的工件。数据链的数据架构会有所不同,也会影响角色的设计。
4数据架构体系风格
数据架构将影响与数据、业务流程和系统相关的角色。如下图所示,规范化和大数据平台架构之间有很大的区别。
(1)规范的体系结构
许多公司仍然采用这种形式的架构。不同的来源和消费应用程序之间有太多的关系。在专业术语中,他们通常称这种类型的架构为“意大利面式架构”。(2)大数据平台
来自不同源系统的数据进入中央大数据平台。这个平台有不同的数据域。数据在平台内被处理,然后分发给不同的用户。这类平台的关键问题是数据集成和转换的位置。它是发生在平台本身,还是发生在面向消费者的过程中?这种决策也将影响角色的设置。
(3)数据网格平台
数据网格平台也与大数据架构相关。在这种情况下,将组织两种不同的数据域类型:来源和消费。每个领域都是数据源系统和大数据平台或大数据平台和数据源系统中的数据的组合。在每个域内,根据该域的业务需求处理数据。不同的架构风格将影响数据所有者和数据消费者的责任分配。架构风格也会影响数据建模和解决方案设计的模式。
5数据建模方案设计
在规范方法中,根据企业架构指南TOGAF 9.2,数据模型设计和解决方案设计属于不同的连续体。企业架构包括四个相互关联的架构:业务、数据、应用和技术。数据架构提供概念、逻辑和物理数据模型。解决方案架构应该将物理数据模型付诸实践。相反,新方法将数据模型设计和解决方案设计结合起来。概念数据模型、逻辑数据模型和解决方案数据模型应该在一个流程中同时设计。这意味着,根据数据管理和技术数据管理人员的方法不同,他们的职责和可交付成果也不同。也会影响数据管理相关的流程。
6业务和数据域定义
在DAMA-DMBOK 2中将数据管理员的审批权限分配给其域。这种挑战就在于指定“域”的定义。至少有三种可能的方法来指定域,如下图所示。
第一种方法基于新数据创建的概念。数据沿着数据链流动。在这个过程中,数据要么改变要么不变。第一个挑战是指定数据更改的条件。通常,主数据和引用数据保持不变,而事务性数据将更改。元数据将确保数据的更改。根据数据类型的不同,可以以不同的方式指定数据所有者的责任。
第二种方法基于数据内容。例如,客户数据是通常与概念模型相关联的主题领域。公司可以基于数据主题域分配数据所有权。基于业务能力域分配数据所有权的业务体系结构方法也可能适用。
第三种方法不太常见,根据组织结构指定数据所有权。实际上,在企业中这些方法可以组合使用。
7企业范围以及规模
当公司设计一组角色时,应该考虑数据管理计划的范围和公司的规模。它将影响数据管理组织结构中所表示的角色的复杂性。假设业务单元成为特定数据集的数据所有者。然后,在这个业务单元中,数据所有权的最终责任和相应责任将在业务单元经理和员工之间分割。
在你分析了所有与你的公司相关的因素之后,最后一步是设计角色。
三 设计数据管理/治理角色集
我的建议是不要随便复制已经存在的解决方案,让一组角色尽可能简单,以满足公司的实际需求。
下面的模型将数据管理视为一种业务功能。四个维度的支持能力:过程、角色、数据和工具。建议在最后阶段将角色与数据管理流程和交付物联系起来,下图是一个示例。