DAMA数据管理知识体系指南(3):数据治理

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: DAMA:国际数据管理协会,是一个全球性数据管理和业务专业志愿人士组成的非营利协会,是当前国际上在数据治理领域最权威的机构。 DMBOK2则是DAMA组织众多数据管理领域的国际级资深专家编著,深入阐述数据管理各领域的完整知识体系。它是市场上唯一综合了数据管理方方面面的一部权威性著作。 本系列文章,将针对DMBOK中的核心内容进行解读。

一、数据治理语境关系图

3-1.png

1、数据管理和数据治理

在正式讲数据治理之前,先区分下数据管理和数据治理的区别。数据管理的整体驱动力是确保组织可以从其数据中获得价值,更多是总体战略的层面数据治理聚焦于如何制定有关数据的决策,以及人员和流程在数据方面的行为方式,更多是细节执行层面

3-2.png

2、数据治理整体介绍

数据治理是DMBOK中的核心内容,不仅在11个数据管理职能中,处于中心位置,并且在每一个单独的数据管理职能中,都有数据治理的部分。从而强调数据治理不是一个单独的流程,更是要融入到系统的设计和开发过程,贯彻系统建设的全过程,才能让数据治理更好的落地

想要达到良好的数据治理效果,就要建立以数据为中心的组织:组织必须改变将战略转化为行动的方式。数据不再被作为是流程和业务产品的附属。业务处理的目标就是为了得到高质量的数据。有效数据管理成为企业致力于通过分析获得洞察、制定决策时的高优先级事项。

3-3.png

2.1、数据治理通用内容

数据治理的具体内容,一般都和组织的实际业务需求有关,但基本都会包含以下内容:

  • 战略(Strategy)。定义、交流和驱动数据战略和数据治理战略的执行。
  • 制度(Policy)。设置与数据、元数据管理、访问、使用、安全和质量有关的制度。
  • 标准和质量(Standards and Quality)。设置和强化数据质量、数据架构标准。
  • 监督(Oversight)。在质量、制度和数据管理的关键领域提供观察、审计和纠正等措施(通常称为管理职责Stewardship)。
  • 合规(Compliance)。确保组织可以达到数据相关的监管合规性要求。
  • 问题管理(Issue Management)。识别、定义、升级和处理问题,针对如下领域: 数据安全、数据访问、数据质量、合规、数据所有权、制度、标准、术语或者数据治理程序等。

2.2、数据治理通用原则

每个组织都需要有自己的原则,但是那些寻求从其数据中获得更多价值的组织可能会分享以下内容:

  • 数据应该作为企业资产管理起来。
  • 应该在整个组织内鼓励数据管理的最佳实践。
  • 企业数据战略必须与业务战略一致。
  • 应不断改进数据管理流程。

2.3、数据治理主要活动

在大多数情况下,数据治理活动将集中于以下部分:

1)创建和管理核心元数据。它包括业务术语、有效数据值及其他关键元数据的定义和管理。通常管理专员负责整理的业务术语表,成为与数据相关的业务术语记录系统。

2)记录规则和标准。它包括业务规则、数据标准及数据质量规则的定义和记录。通常基于创建和使用数据的业务流程规范,来满足对高质量数据的期望。为确保在组织内部达成共识,由数据管理专员帮助制定规则并确保其得到连贯的应用。

3)管理数据质量问题。数据管理专员通常参与识别、解决与数据相关的问题,或者促进解决的过程。


二、业务驱动因素

1、减少风险

1)一般性风险管理。洞察风险数据对财务或商誉造成的影响,包括对法律和监管问题的响应。

2)数据安全。通过控制活动保护数据资产,包括可获得性、可用性、完整性、连续性、可审计和数据安全。

3)隐私。通过制度和合规性监控,控制私人信息、机密信息、个人身份信息(PII)等。

2、改进流程

1)法规遵从性。有效和持续地响应监管要求的能力。

2)数据质量提升。通过真实可信的数据提升业务绩效的能力。

3)元数据管理。建立业务术语表,用于定义和定位组织中的数据;确保组织中数量繁多的元数据被管理和应用。

4)项目开发效率。在系统生命周期(SDLC)中改进,以解决整个组织的数据管理问题。

5)供应商管理。控制数据处理的合同,包括云存储、外部数据采购、数据产品销售和外包数据运维。


三、目标和原则

1、目标

(1)可持续发展(Sustainable)

治理程序必须富有吸引力。它不是以一个项目作为终点,而是一个持续的过程。需要把它作为整个组织的责任。可持续的数据治理依靠于业务领导、发起者和所有者的支持。

(2)嵌入式(Embedded)

数据治理不是一个附加管理流程。数据治理活动需要融合软件开发方法、数据分析应用、主数据管理和风险管理。

(3)可度量(Measured)

数据治理做得好有积极的财务影响,但要证明这一影响,就需要了解起始过程并计划可度量的改进方案。

2、原则

(1)领导力和战略(Leadership and Strategy)

成功的数据治理始于远见卓识和坚定的领导。数据战略指导数据管理活动,同时由企业业务战略所驱动。

(2)业务驱动(Business-driven)

数据治理是一项业务管理计划,因此必须管理与数据相关的IT决策,就像管理与数据有关的业务活动一样。

(3)共担责任(Shared Responsibility)

在所有数据管理的知识领域中,业务数据管理专员和数据管理专业人员共担责任。

(4)多层面(Multi-layered)

数据治理活动发生在企业层面和各地基层,但通常发生在中间各层面。

(5)基于框架(Framework-based)

由于治理活动需进行跨组织职能的协调,因此对数据治理项目必须建立一个运营框架来定义各自职责和工作内容。

(6)原则导向(Principle-based)

指导原则是数据治理活动、特别是数据治理策略的基础。有时原则可以从具体策略通过逆向工程反推得到。然而最好把核心原则的阐述和最佳实践作为策略的一部分工作。


四、活动

一级活动

二级活动

补充详情

规划组织的数据治理

执行就绪评估

包括数据管理成熟度、变更能力等

探索与业务保持一致

/

制定组织触点

3-4.png

制定数据治理战略

制定数据治理运营框架

详见七、2运营框架

制定目标、原则和制度

目标和原则详见三

制度可以考虑:确认组织数据、指定业务拥有者、委派数据管理专员、提供标准化报告/计分卡、控制访问权限、定期复评认证数据

推动数据管理项目

通过证明数据管理提高效率和降低风险来达成组织一致认同,降低阻力。

参与变更管理

需要合适的发起者和管理者:

规划-培训-影响系统开发(PMO)-制度实施-沟通

参与问题管理

问题处理与上报机制

评估法规要求

关注相关法规需求并制度化遵从

实施数据治理

发起数据标准和规程

制定标准并强制性的对数据进行标准衡量

制作业务术语表

/

协调架构团队协作

/

发起数据资产估值

赋予数据以货币价值是一项极具挑战性的事,常见的有成本分账、虚拟结算等,需要根据组织情况制定并达成一致

嵌入式数据治理

嵌入式数据治理

治理活动需要嵌入到数据作为资产管理相关的一系列流程中


五、实施指南

1、组织与文化

组织与文化整体都强调高层的支持和考虑执行时组织和个人因素,略

2、沟通与调整

随着治理的持续开展,以下关键内容需要不断进行更新,并及时与相关方进行同步:

1)业务战略/数据治理战略蓝图(Business / DG Strategy Map)。 这些蓝图将数据治理活动与业务需求联系起来。定期衡量和沟通数据治理对业务的帮助,对于数据治理持续获得支持是至关重要的。

2)数据治理路线图(DG Road Map)。数据治理路线图应适应业务环境或优先级的变化进行调整。

3)数据治理的持续业务案例(Ongoing Business Case for DG)。数据治理的业务案例必须定期被调整,以反映组织不断变化的优先级和财务状况。

4)数据治理指标(DG Metrics)。随着数据治理规程的成熟,数据治理的相关指标也应随之逐渐增长和变化


六、度量指标

为应对长期学习曲线的阻力和挑战,对数据治理项目必须要有通过证明数据治理参与者如何增加业务价值和实现目标的指标来衡量进展和成功。数据治理指标的示例包括:

1)价值

1)对业务目标的贡献。

2)风险的降低。

3)运营效率的提高。

2)有效性

1)目标的实现。

2)扩展数据管理专员正在使用的相关工具。

3)沟通的有效性。

4)培训的有效性。

5)采纳变革的速度。

3)可持续性

1)制度和流程的执行情况(即它们是否正常工作)。

2)标准和规程的遵从情况(即员工是否在必要时遵守指导和改变行为)。


七、关键概念/工具/方法

1、数据治理组织

数据治理可以从政治治理的角度来理解:它包括立法职能(定义策略、标准和企业架构)、司法职能(问题管理和升级)和执行职能(保护和服务、管理责任)。

下图描述了典型的数据治理组织模型:

3-5.png

其中,部分关键角色的职责如下:

3-6.png

有关更多关键角色(如CDO、数据管理专员)的具体职责,详见DMBOK。

2、运营框架

下面两张图介绍了数据治理过程中的典型运营框架,包括制度的制定和下发,数据治理日常工作,问题处理与上升等内容。

3-7.png3-8.png



3、不同的治理运营模型

数据治理的组织模型主要有三种:集中式治理、分布式治理、联邦式治理。具体选择哪种组织模型,需要根据组织和业务的实际需求来确认。

3-9.png


4、数据治理的价值

对数据治理的价值评估,主要包括创造的价值,和节约的成本两部分,即常说的降本增效。其中成本不仅仅是直接的资源成本,还包括潜在的风险成本等。

1)替换成本(Replacement Cost)。在灾难性数据破坏事件或者数据中断时,数据替换或恢复的成本,包括组织内的交易、域、目录、文档和指标信息等。

2)市场价值(Market Value)。兼并或收购企业时作为企业资产的价值。

3)发现商机(Identified Opportunities)。通过交易数据或者通过售卖数据,从数据(商务智能)中发现商机获得的收入价值。

4)售卖数据(Selling Data)。一些组织为产品或销售将数据打包从数据中获得的洞察。

5)风险成本(Risk Cost)。它是基于潜在罚款、补救成本和诉讼费用的估价。来自法律或监管的风险包括:

①缺少必需的数据。

②存在不应留存的数据(例如,在法律审计期间发现的意外数据;需要清除但尚未清除的数据)。

③除上述成本外,包括数据不正确造成客户、公司财务和声誉受到损害。

④风险下降或者风险成本的下降,其实是与提升和验证数据等操作干预成本的抵消之后的溢出部分。

为了描述信息资产价值的概念,可以将公认的会计准则转换为公认的信息原则用于辅助资产价值判断:

3-10.png

相关文章
|
1月前
|
Web App开发 缓存 数据库
DMS产品常见问题之DMS数据规定失败如何解决
DMS(数据管理服务,Data Management Service)是阿里云提供的一种数据库管理和维护工具,它支持数据的查询、编辑、分析及安全管控;本汇总集中了DMS产品在实际使用中用户常遇到的问题及其相应的解答,目的是为使用者提供快速参考,帮助他们有效地解决在数据管理过程中所面临的挑战。
|
6天前
|
SQL 存储 数据管理
数据管理DMS产品使用合集之如何把整个数据库的表和数据全部导出来
阿里云数据管理DMS提供了全面的数据管理、数据库运维、数据安全、数据迁移与同步等功能,助力企业高效、安全地进行数据库管理和运维工作。以下是DMS产品使用合集的详细介绍。
|
1月前
|
JavaScript 前端开发 数据管理
扁平数据转树形结构,让数据管理更清晰
扁平数据转树形结构,让数据管理更清晰
|
1月前
|
运维 数据管理 数据库
数据管理DMS产品使用合集之在阿里云DMS中,想对数据精度进行校验,有什么方法
阿里云数据管理DMS提供了全面的数据管理、数据库运维、数据安全、数据迁移与同步等功能,助力企业高效、安全地进行数据库管理和运维工作。以下是DMS产品使用合集的详细介绍。
|
1月前
|
运维 Cloud Native 数据管理
数据管理DMS产品使用合集之数据归档功能可以在 DMS 上自动分批次执行吗
阿里云数据管理DMS提供了全面的数据管理、数据库运维、数据安全、数据迁移与同步等功能,助力企业高效、安全地进行数据库管理和运维工作。以下是DMS产品使用合集的详细介绍。
|
1月前
|
NoSQL 数据管理 MongoDB
数据管理DMS产品使用合集之如何通过阿里云的数据管理服务(DMS)导出MongoDB数据
阿里云数据管理DMS提供了全面的数据管理、数据库运维、数据安全、数据迁移与同步等功能,助力企业高效、安全地进行数据库管理和运维工作。以下是DMS产品使用合集的详细介绍。
|
1月前
|
存储 数据采集 数据管理
《数据治理简易速速上手小册》第7章 元数据管理(2024 最新版)
《数据治理简易速速上手小册》第7章 元数据管理(2024 最新版)
55 1
|
1月前
|
存储 Oracle 数据管理
Oracle 12c的自动数据优化(ADO)与热图:数据管理的“瘦身”与“透视”艺术
【4月更文挑战第19天】Oracle 12c的ADO和热图技术革新数据管理。ADO智能清理无用数据,优化存储,提升查询速度,实现数据"瘦身";热图则以直观的视觉表示展示数据分布和状态,助力识别性能瓶颈,犹如数据的"透视"工具。这两项技术结合,强化数据管理,为企业业务发展保驾护航。
|
1月前
|
人工智能 安全 数据处理
首次全国数据工作会议召开,数据管理体制建设迈上新台阶
首次全国数据工作会议召开,数据管理体制建设迈上新台阶
47 1
|
1月前
|
SQL 数据采集 存储
数据仓库(12)数据治理之数仓数据管理实践心得
这边文章聊聊自己对数据治理开发实践的一些思路,就是聊聊怎么开始去做数据治理这件事情。说起数据治理,有时候虽然看了很多文章,看了很多的介绍,了解数据治理的理论,但是实际上需要我们去搞的时候,就会踩很多的坑。这里记一下自己做数据治理的一些思路,做做笔记,也分享给需要的同学。 当然,想要做数据治理,想要学习了解,一下数据治理的范围,理论等,最好可以看看别人怎么做的,了解数据治理可以参考:[数据仓库(11)什么是大数据治理,数据治理的范围是哪些](https://zhuanlan.zhihu.com/p/467433967)。
332 0

热门文章

最新文章