DAMA数据管理知识体系指南(3):数据治理

简介: DAMA:国际数据管理协会,是一个全球性数据管理和业务专业志愿人士组成的非营利协会,是当前国际上在数据治理领域最权威的机构。 DMBOK2则是DAMA组织众多数据管理领域的国际级资深专家编著,深入阐述数据管理各领域的完整知识体系。它是市场上唯一综合了数据管理方方面面的一部权威性著作。 本系列文章,将针对DMBOK中的核心内容进行解读。

一、数据治理语境关系图

3-1.png

1、数据管理和数据治理

在正式讲数据治理之前,先区分下数据管理和数据治理的区别。数据管理的整体驱动力是确保组织可以从其数据中获得价值,更多是总体战略的层面数据治理聚焦于如何制定有关数据的决策,以及人员和流程在数据方面的行为方式,更多是细节执行层面

3-2.png

2、数据治理整体介绍

数据治理是DMBOK中的核心内容,不仅在11个数据管理职能中,处于中心位置,并且在每一个单独的数据管理职能中,都有数据治理的部分。从而强调数据治理不是一个单独的流程,更是要融入到系统的设计和开发过程,贯彻系统建设的全过程,才能让数据治理更好的落地

想要达到良好的数据治理效果,就要建立以数据为中心的组织:组织必须改变将战略转化为行动的方式。数据不再被作为是流程和业务产品的附属。业务处理的目标就是为了得到高质量的数据。有效数据管理成为企业致力于通过分析获得洞察、制定决策时的高优先级事项。

3-3.png

2.1、数据治理通用内容

数据治理的具体内容,一般都和组织的实际业务需求有关,但基本都会包含以下内容:

  • 战略(Strategy)。定义、交流和驱动数据战略和数据治理战略的执行。
  • 制度(Policy)。设置与数据、元数据管理、访问、使用、安全和质量有关的制度。
  • 标准和质量(Standards and Quality)。设置和强化数据质量、数据架构标准。
  • 监督(Oversight)。在质量、制度和数据管理的关键领域提供观察、审计和纠正等措施(通常称为管理职责Stewardship)。
  • 合规(Compliance)。确保组织可以达到数据相关的监管合规性要求。
  • 问题管理(Issue Management)。识别、定义、升级和处理问题,针对如下领域: 数据安全、数据访问、数据质量、合规、数据所有权、制度、标准、术语或者数据治理程序等。

2.2、数据治理通用原则

每个组织都需要有自己的原则,但是那些寻求从其数据中获得更多价值的组织可能会分享以下内容:

  • 数据应该作为企业资产管理起来。
  • 应该在整个组织内鼓励数据管理的最佳实践。
  • 企业数据战略必须与业务战略一致。
  • 应不断改进数据管理流程。

2.3、数据治理主要活动

在大多数情况下,数据治理活动将集中于以下部分:

1)创建和管理核心元数据。它包括业务术语、有效数据值及其他关键元数据的定义和管理。通常管理专员负责整理的业务术语表,成为与数据相关的业务术语记录系统。

2)记录规则和标准。它包括业务规则、数据标准及数据质量规则的定义和记录。通常基于创建和使用数据的业务流程规范,来满足对高质量数据的期望。为确保在组织内部达成共识,由数据管理专员帮助制定规则并确保其得到连贯的应用。

3)管理数据质量问题。数据管理专员通常参与识别、解决与数据相关的问题,或者促进解决的过程。


二、业务驱动因素

1、减少风险

1)一般性风险管理。洞察风险数据对财务或商誉造成的影响,包括对法律和监管问题的响应。

2)数据安全。通过控制活动保护数据资产,包括可获得性、可用性、完整性、连续性、可审计和数据安全。

3)隐私。通过制度和合规性监控,控制私人信息、机密信息、个人身份信息(PII)等。

2、改进流程

1)法规遵从性。有效和持续地响应监管要求的能力。

2)数据质量提升。通过真实可信的数据提升业务绩效的能力。

3)元数据管理。建立业务术语表,用于定义和定位组织中的数据;确保组织中数量繁多的元数据被管理和应用。

4)项目开发效率。在系统生命周期(SDLC)中改进,以解决整个组织的数据管理问题。

5)供应商管理。控制数据处理的合同,包括云存储、外部数据采购、数据产品销售和外包数据运维。


三、目标和原则

1、目标

(1)可持续发展(Sustainable)

治理程序必须富有吸引力。它不是以一个项目作为终点,而是一个持续的过程。需要把它作为整个组织的责任。可持续的数据治理依靠于业务领导、发起者和所有者的支持。

(2)嵌入式(Embedded)

数据治理不是一个附加管理流程。数据治理活动需要融合软件开发方法、数据分析应用、主数据管理和风险管理。

(3)可度量(Measured)

数据治理做得好有积极的财务影响,但要证明这一影响,就需要了解起始过程并计划可度量的改进方案。

2、原则

(1)领导力和战略(Leadership and Strategy)

成功的数据治理始于远见卓识和坚定的领导。数据战略指导数据管理活动,同时由企业业务战略所驱动。

(2)业务驱动(Business-driven)

数据治理是一项业务管理计划,因此必须管理与数据相关的IT决策,就像管理与数据有关的业务活动一样。

(3)共担责任(Shared Responsibility)

在所有数据管理的知识领域中,业务数据管理专员和数据管理专业人员共担责任。

(4)多层面(Multi-layered)

数据治理活动发生在企业层面和各地基层,但通常发生在中间各层面。

(5)基于框架(Framework-based)

由于治理活动需进行跨组织职能的协调,因此对数据治理项目必须建立一个运营框架来定义各自职责和工作内容。

(6)原则导向(Principle-based)

指导原则是数据治理活动、特别是数据治理策略的基础。有时原则可以从具体策略通过逆向工程反推得到。然而最好把核心原则的阐述和最佳实践作为策略的一部分工作。


四、活动

一级活动

二级活动

补充详情

规划组织的数据治理

执行就绪评估

包括数据管理成熟度、变更能力等

探索与业务保持一致

/

制定组织触点

3-4.png

制定数据治理战略

制定数据治理运营框架

详见七、2运营框架

制定目标、原则和制度

目标和原则详见三

制度可以考虑:确认组织数据、指定业务拥有者、委派数据管理专员、提供标准化报告/计分卡、控制访问权限、定期复评认证数据

推动数据管理项目

通过证明数据管理提高效率和降低风险来达成组织一致认同,降低阻力。

参与变更管理

需要合适的发起者和管理者:

规划-培训-影响系统开发(PMO)-制度实施-沟通

参与问题管理

问题处理与上报机制

评估法规要求

关注相关法规需求并制度化遵从

实施数据治理

发起数据标准和规程

制定标准并强制性的对数据进行标准衡量

制作业务术语表

/

协调架构团队协作

/

发起数据资产估值

赋予数据以货币价值是一项极具挑战性的事,常见的有成本分账、虚拟结算等,需要根据组织情况制定并达成一致

嵌入式数据治理

嵌入式数据治理

治理活动需要嵌入到数据作为资产管理相关的一系列流程中


五、实施指南

1、组织与文化

组织与文化整体都强调高层的支持和考虑执行时组织和个人因素,略

2、沟通与调整

随着治理的持续开展,以下关键内容需要不断进行更新,并及时与相关方进行同步:

1)业务战略/数据治理战略蓝图(Business / DG Strategy Map)。 这些蓝图将数据治理活动与业务需求联系起来。定期衡量和沟通数据治理对业务的帮助,对于数据治理持续获得支持是至关重要的。

2)数据治理路线图(DG Road Map)。数据治理路线图应适应业务环境或优先级的变化进行调整。

3)数据治理的持续业务案例(Ongoing Business Case for DG)。数据治理的业务案例必须定期被调整,以反映组织不断变化的优先级和财务状况。

4)数据治理指标(DG Metrics)。随着数据治理规程的成熟,数据治理的相关指标也应随之逐渐增长和变化


六、度量指标

为应对长期学习曲线的阻力和挑战,对数据治理项目必须要有通过证明数据治理参与者如何增加业务价值和实现目标的指标来衡量进展和成功。数据治理指标的示例包括:

1)价值

1)对业务目标的贡献。

2)风险的降低。

3)运营效率的提高。

2)有效性

1)目标的实现。

2)扩展数据管理专员正在使用的相关工具。

3)沟通的有效性。

4)培训的有效性。

5)采纳变革的速度。

3)可持续性

1)制度和流程的执行情况(即它们是否正常工作)。

2)标准和规程的遵从情况(即员工是否在必要时遵守指导和改变行为)。


七、关键概念/工具/方法

1、数据治理组织

数据治理可以从政治治理的角度来理解:它包括立法职能(定义策略、标准和企业架构)、司法职能(问题管理和升级)和执行职能(保护和服务、管理责任)。

下图描述了典型的数据治理组织模型:

3-5.png

其中,部分关键角色的职责如下:

3-6.png

有关更多关键角色(如CDO、数据管理专员)的具体职责,详见DMBOK。

2、运营框架

下面两张图介绍了数据治理过程中的典型运营框架,包括制度的制定和下发,数据治理日常工作,问题处理与上升等内容。

3-7.png3-8.png



3、不同的治理运营模型

数据治理的组织模型主要有三种:集中式治理、分布式治理、联邦式治理。具体选择哪种组织模型,需要根据组织和业务的实际需求来确认。

3-9.png


4、数据治理的价值

对数据治理的价值评估,主要包括创造的价值,和节约的成本两部分,即常说的降本增效。其中成本不仅仅是直接的资源成本,还包括潜在的风险成本等。

1)替换成本(Replacement Cost)。在灾难性数据破坏事件或者数据中断时,数据替换或恢复的成本,包括组织内的交易、域、目录、文档和指标信息等。

2)市场价值(Market Value)。兼并或收购企业时作为企业资产的价值。

3)发现商机(Identified Opportunities)。通过交易数据或者通过售卖数据,从数据(商务智能)中发现商机获得的收入价值。

4)售卖数据(Selling Data)。一些组织为产品或销售将数据打包从数据中获得的洞察。

5)风险成本(Risk Cost)。它是基于潜在罚款、补救成本和诉讼费用的估价。来自法律或监管的风险包括:

①缺少必需的数据。

②存在不应留存的数据(例如,在法律审计期间发现的意外数据;需要清除但尚未清除的数据)。

③除上述成本外,包括数据不正确造成客户、公司财务和声誉受到损害。

④风险下降或者风险成本的下降,其实是与提升和验证数据等操作干预成本的抵消之后的溢出部分。

为了描述信息资产价值的概念,可以将公认的会计准则转换为公认的信息原则用于辅助资产价值判断:

3-10.png

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
相关文章
|
4月前
|
数据采集 存储 安全
数据治理≠数据管理!90%的企业都搞错了重点!
在数字化转型中,数据不一致、质量差、安全隐患等问题困扰企业。许多组织跳过基础的数据管理,直接进行数据治理,导致方案难以落地。数据管理涵盖数据生命周期中的采集、存储、处理等关键环节,决定了数据是否可用、可靠。本文详解数据管理的四大核心模块——数据质量、元数据、主数据与数据安全,并提供构建数据管理体系的四个阶段:评估现状、确定优先级、建立基础能力与持续改进,助力企业夯实数据基础,推动治理落地。
|
8月前
|
存储 数据管理 数据格式
数据治理 vs. 数据管理:别再傻傻分不清!
数据治理 vs. 数据管理:别再傻傻分不清!
447 10
|
4月前
|
数据采集 存储 SQL
数据管理四部曲:元数据管理、数据整合、数据治理、数据质量管控
老张带你搞定企业数据管理难题!数据找不到、看不懂、用不好?关键在于打好元数据管理、数据整合、数据治理和数据质量管控四大基础。四部曲环环相扣,助你打通数据孤岛,提升数据价值,实现精准决策与业务增长。
数据管理四部曲:元数据管理、数据整合、数据治理、数据质量管控
|
6月前
|
数据采集 人工智能 监控
企业数据来源杂、质量差,如何通过主数据管理解决?如何确保数据可信、一致和可用?
本文三桥君系统介绍了主数据管理(MDM)在企业数字化转型中的关键作用。产品专家三桥君从数据清洗、治理、处理到流转四个维度,详细阐述了如何通过标准化流程将数据转化为企业核心资产。重点包括:数据清洗的方法与工具应用;数据治理的组织保障与制度设计;数据处理的三大核心动作;以及数据流转的三种模式与安全控制。专家三桥君强调主数据管理能够推动企业从"经验决策"转向"数据驱动",并提出构建统一数据服务网关、"数据血缘图谱"等实战建议,为企业数字化转型提供系统化解决方案。
256 0
|
人工智能 关系型数据库 分布式数据库
拥抱Data+AI|“全球第一”雅迪如何实现智能营销?DMS+PolarDB注入数据新活力
针对雅迪“云销通App”的需求与痛点,本文将介绍阿里云瑶池数据库DMS+PolarDB for AI提供的一站式Data+AI解决方案,助力销售人员高效用数,全面提升销售管理效率。
|
11月前
|
机器学习/深度学习 人工智能 Cloud Native
数据管理革命:2025年推动安全性、可扩展性和治理的趋势
数据管理革命:2025年推动安全性、可扩展性和治理的趋势
|
关系型数据库 分布式数据库 数据库
云栖大会|从数据到决策:AI时代数据库如何实现高效数据管理?
在2024云栖大会「海量数据的高效存储与管理」专场,阿里云瑶池讲师团携手AMD、FunPlus、太美医疗科技、中石化、平安科技以及小赢科技、迅雷集团的资深技术专家深入分享了阿里云在OLTP方向的最新技术进展和行业最佳实践。
|
物联网 数据管理 Apache
拥抱IoT浪潮,Apache IoTDB如何成为你的智能数据守护者?解锁物联网新纪元的数据管理秘籍!
【8月更文挑战第22天】随着物联网技术的发展,数据量激增对数据库提出新挑战。Apache IoTDB凭借其面向时间序列数据的设计,在IoT领域脱颖而出。相较于传统数据库,IoTDB采用树形数据模型高效管理实时数据,具备轻量级结构与高并发能力,并集成Hadoop/Spark支持复杂分析。在智能城市等场景下,IoTDB能处理如交通流量等数据,为决策提供支持。IoTDB还提供InfluxDB协议适配器简化迁移过程,并支持细致的权限管理确保数据安全。综上所述,IoTDB在IoT数据管理中展现出巨大潜力与竞争力。
507 1
|
SQL NoSQL 数据管理
数据管理DMS使用问题之如何批量导入MongoDB的数据文件
阿里云数据管理DMS提供了全面的数据管理、数据库运维、数据安全、数据迁移与同步等功能,助力企业高效、安全地进行数据库管理和运维工作。以下是DMS产品使用合集的详细介绍。

热门文章

最新文章