DAMA数据管理知识体系指南(3):数据治理

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: DAMA:国际数据管理协会,是一个全球性数据管理和业务专业志愿人士组成的非营利协会,是当前国际上在数据治理领域最权威的机构。 DMBOK2则是DAMA组织众多数据管理领域的国际级资深专家编著,深入阐述数据管理各领域的完整知识体系。它是市场上唯一综合了数据管理方方面面的一部权威性著作。 本系列文章,将针对DMBOK中的核心内容进行解读。

一、数据治理语境关系图

3-1.png

1、数据管理和数据治理

在正式讲数据治理之前,先区分下数据管理和数据治理的区别。数据管理的整体驱动力是确保组织可以从其数据中获得价值,更多是总体战略的层面数据治理聚焦于如何制定有关数据的决策,以及人员和流程在数据方面的行为方式,更多是细节执行层面

3-2.png

2、数据治理整体介绍

数据治理是DMBOK中的核心内容,不仅在11个数据管理职能中,处于中心位置,并且在每一个单独的数据管理职能中,都有数据治理的部分。从而强调数据治理不是一个单独的流程,更是要融入到系统的设计和开发过程,贯彻系统建设的全过程,才能让数据治理更好的落地

想要达到良好的数据治理效果,就要建立以数据为中心的组织:组织必须改变将战略转化为行动的方式。数据不再被作为是流程和业务产品的附属。业务处理的目标就是为了得到高质量的数据。有效数据管理成为企业致力于通过分析获得洞察、制定决策时的高优先级事项。

3-3.png

2.1、数据治理通用内容

数据治理的具体内容,一般都和组织的实际业务需求有关,但基本都会包含以下内容:

  • 战略(Strategy)。定义、交流和驱动数据战略和数据治理战略的执行。
  • 制度(Policy)。设置与数据、元数据管理、访问、使用、安全和质量有关的制度。
  • 标准和质量(Standards and Quality)。设置和强化数据质量、数据架构标准。
  • 监督(Oversight)。在质量、制度和数据管理的关键领域提供观察、审计和纠正等措施(通常称为管理职责Stewardship)。
  • 合规(Compliance)。确保组织可以达到数据相关的监管合规性要求。
  • 问题管理(Issue Management)。识别、定义、升级和处理问题,针对如下领域: 数据安全、数据访问、数据质量、合规、数据所有权、制度、标准、术语或者数据治理程序等。

2.2、数据治理通用原则

每个组织都需要有自己的原则,但是那些寻求从其数据中获得更多价值的组织可能会分享以下内容:

  • 数据应该作为企业资产管理起来。
  • 应该在整个组织内鼓励数据管理的最佳实践。
  • 企业数据战略必须与业务战略一致。
  • 应不断改进数据管理流程。

2.3、数据治理主要活动

在大多数情况下,数据治理活动将集中于以下部分:

1)创建和管理核心元数据。它包括业务术语、有效数据值及其他关键元数据的定义和管理。通常管理专员负责整理的业务术语表,成为与数据相关的业务术语记录系统。

2)记录规则和标准。它包括业务规则、数据标准及数据质量规则的定义和记录。通常基于创建和使用数据的业务流程规范,来满足对高质量数据的期望。为确保在组织内部达成共识,由数据管理专员帮助制定规则并确保其得到连贯的应用。

3)管理数据质量问题。数据管理专员通常参与识别、解决与数据相关的问题,或者促进解决的过程。


二、业务驱动因素

1、减少风险

1)一般性风险管理。洞察风险数据对财务或商誉造成的影响,包括对法律和监管问题的响应。

2)数据安全。通过控制活动保护数据资产,包括可获得性、可用性、完整性、连续性、可审计和数据安全。

3)隐私。通过制度和合规性监控,控制私人信息、机密信息、个人身份信息(PII)等。

2、改进流程

1)法规遵从性。有效和持续地响应监管要求的能力。

2)数据质量提升。通过真实可信的数据提升业务绩效的能力。

3)元数据管理。建立业务术语表,用于定义和定位组织中的数据;确保组织中数量繁多的元数据被管理和应用。

4)项目开发效率。在系统生命周期(SDLC)中改进,以解决整个组织的数据管理问题。

5)供应商管理。控制数据处理的合同,包括云存储、外部数据采购、数据产品销售和外包数据运维。


三、目标和原则

1、目标

(1)可持续发展(Sustainable)

治理程序必须富有吸引力。它不是以一个项目作为终点,而是一个持续的过程。需要把它作为整个组织的责任。可持续的数据治理依靠于业务领导、发起者和所有者的支持。

(2)嵌入式(Embedded)

数据治理不是一个附加管理流程。数据治理活动需要融合软件开发方法、数据分析应用、主数据管理和风险管理。

(3)可度量(Measured)

数据治理做得好有积极的财务影响,但要证明这一影响,就需要了解起始过程并计划可度量的改进方案。

2、原则

(1)领导力和战略(Leadership and Strategy)

成功的数据治理始于远见卓识和坚定的领导。数据战略指导数据管理活动,同时由企业业务战略所驱动。

(2)业务驱动(Business-driven)

数据治理是一项业务管理计划,因此必须管理与数据相关的IT决策,就像管理与数据有关的业务活动一样。

(3)共担责任(Shared Responsibility)

在所有数据管理的知识领域中,业务数据管理专员和数据管理专业人员共担责任。

(4)多层面(Multi-layered)

数据治理活动发生在企业层面和各地基层,但通常发生在中间各层面。

(5)基于框架(Framework-based)

由于治理活动需进行跨组织职能的协调,因此对数据治理项目必须建立一个运营框架来定义各自职责和工作内容。

(6)原则导向(Principle-based)

指导原则是数据治理活动、特别是数据治理策略的基础。有时原则可以从具体策略通过逆向工程反推得到。然而最好把核心原则的阐述和最佳实践作为策略的一部分工作。


四、活动

一级活动

二级活动

补充详情

规划组织的数据治理

执行就绪评估

包括数据管理成熟度、变更能力等

探索与业务保持一致

/

制定组织触点

3-4.png

制定数据治理战略

制定数据治理运营框架

详见七、2运营框架

制定目标、原则和制度

目标和原则详见三

制度可以考虑:确认组织数据、指定业务拥有者、委派数据管理专员、提供标准化报告/计分卡、控制访问权限、定期复评认证数据

推动数据管理项目

通过证明数据管理提高效率和降低风险来达成组织一致认同,降低阻力。

参与变更管理

需要合适的发起者和管理者:

规划-培训-影响系统开发(PMO)-制度实施-沟通

参与问题管理

问题处理与上报机制

评估法规要求

关注相关法规需求并制度化遵从

实施数据治理

发起数据标准和规程

制定标准并强制性的对数据进行标准衡量

制作业务术语表

/

协调架构团队协作

/

发起数据资产估值

赋予数据以货币价值是一项极具挑战性的事,常见的有成本分账、虚拟结算等,需要根据组织情况制定并达成一致

嵌入式数据治理

嵌入式数据治理

治理活动需要嵌入到数据作为资产管理相关的一系列流程中


五、实施指南

1、组织与文化

组织与文化整体都强调高层的支持和考虑执行时组织和个人因素,略

2、沟通与调整

随着治理的持续开展,以下关键内容需要不断进行更新,并及时与相关方进行同步:

1)业务战略/数据治理战略蓝图(Business / DG Strategy Map)。 这些蓝图将数据治理活动与业务需求联系起来。定期衡量和沟通数据治理对业务的帮助,对于数据治理持续获得支持是至关重要的。

2)数据治理路线图(DG Road Map)。数据治理路线图应适应业务环境或优先级的变化进行调整。

3)数据治理的持续业务案例(Ongoing Business Case for DG)。数据治理的业务案例必须定期被调整,以反映组织不断变化的优先级和财务状况。

4)数据治理指标(DG Metrics)。随着数据治理规程的成熟,数据治理的相关指标也应随之逐渐增长和变化


六、度量指标

为应对长期学习曲线的阻力和挑战,对数据治理项目必须要有通过证明数据治理参与者如何增加业务价值和实现目标的指标来衡量进展和成功。数据治理指标的示例包括:

1)价值

1)对业务目标的贡献。

2)风险的降低。

3)运营效率的提高。

2)有效性

1)目标的实现。

2)扩展数据管理专员正在使用的相关工具。

3)沟通的有效性。

4)培训的有效性。

5)采纳变革的速度。

3)可持续性

1)制度和流程的执行情况(即它们是否正常工作)。

2)标准和规程的遵从情况(即员工是否在必要时遵守指导和改变行为)。


七、关键概念/工具/方法

1、数据治理组织

数据治理可以从政治治理的角度来理解:它包括立法职能(定义策略、标准和企业架构)、司法职能(问题管理和升级)和执行职能(保护和服务、管理责任)。

下图描述了典型的数据治理组织模型:

3-5.png

其中,部分关键角色的职责如下:

3-6.png

有关更多关键角色(如CDO、数据管理专员)的具体职责,详见DMBOK。

2、运营框架

下面两张图介绍了数据治理过程中的典型运营框架,包括制度的制定和下发,数据治理日常工作,问题处理与上升等内容。

3-7.png3-8.png



3、不同的治理运营模型

数据治理的组织模型主要有三种:集中式治理、分布式治理、联邦式治理。具体选择哪种组织模型,需要根据组织和业务的实际需求来确认。

3-9.png


4、数据治理的价值

对数据治理的价值评估,主要包括创造的价值,和节约的成本两部分,即常说的降本增效。其中成本不仅仅是直接的资源成本,还包括潜在的风险成本等。

1)替换成本(Replacement Cost)。在灾难性数据破坏事件或者数据中断时,数据替换或恢复的成本,包括组织内的交易、域、目录、文档和指标信息等。

2)市场价值(Market Value)。兼并或收购企业时作为企业资产的价值。

3)发现商机(Identified Opportunities)。通过交易数据或者通过售卖数据,从数据(商务智能)中发现商机获得的收入价值。

4)售卖数据(Selling Data)。一些组织为产品或销售将数据打包从数据中获得的洞察。

5)风险成本(Risk Cost)。它是基于潜在罚款、补救成本和诉讼费用的估价。来自法律或监管的风险包括:

①缺少必需的数据。

②存在不应留存的数据(例如,在法律审计期间发现的意外数据;需要清除但尚未清除的数据)。

③除上述成本外,包括数据不正确造成客户、公司财务和声誉受到损害。

④风险下降或者风险成本的下降,其实是与提升和验证数据等操作干预成本的抵消之后的溢出部分。

为了描述信息资产价值的概念,可以将公认的会计准则转换为公认的信息原则用于辅助资产价值判断:

3-10.png

相关实践学习
MySQL基础-学生管理系统数据库设计
本场景介绍如何使用DMS工具连接RDS,并使用DMS图形化工具创建数据库表。
相关文章
|
3月前
|
物联网 数据管理 Apache
拥抱IoT浪潮,Apache IoTDB如何成为你的智能数据守护者?解锁物联网新纪元的数据管理秘籍!
【8月更文挑战第22天】随着物联网技术的发展,数据量激增对数据库提出新挑战。Apache IoTDB凭借其面向时间序列数据的设计,在IoT领域脱颖而出。相较于传统数据库,IoTDB采用树形数据模型高效管理实时数据,具备轻量级结构与高并发能力,并集成Hadoop/Spark支持复杂分析。在智能城市等场景下,IoTDB能处理如交通流量等数据,为决策提供支持。IoTDB还提供InfluxDB协议适配器简化迁移过程,并支持细致的权限管理确保数据安全。综上所述,IoTDB在IoT数据管理中展现出巨大潜力与竞争力。
106 1
|
14天前
|
关系型数据库 分布式数据库 数据库
云栖大会|从数据到决策:AI时代数据库如何实现高效数据管理?
在2024云栖大会「海量数据的高效存储与管理」专场,阿里云瑶池讲师团携手AMD、FunPlus、太美医疗科技、中石化、平安科技以及小赢科技、迅雷集团的资深技术专家深入分享了阿里云在OLTP方向的最新技术进展和行业最佳实践。
|
29天前
|
存储 人工智能 安全
【荣誉奖项】荣获2024数据治理优秀产品!瓴羊Dataphin联合DAMA发布数据管理技能认证
瓴羊Dataphin连续俩年获得DAMA年度优秀数据治理产品奖,本次与DAMA联合发布“DAMA x 瓴羊 数据管理技能认证”,助力提升全民数据素养。
137 0
【荣誉奖项】荣获2024数据治理优秀产品!瓴羊Dataphin联合DAMA发布数据管理技能认证
|
1月前
|
数据采集 安全 数据管理
通信行业数据治理:如何实现高效、安全的数据管理?
在未来的发展中,通信行业的企业应加强数据治理意识,提高数据治理能力;同时,积极开展跨行业的合作创新,共同推动行业的繁荣与发展。相信在不久的将来,通信行业将迎来更加美好的明天。
|
3月前
|
Java 测试技术 容器
从零到英雄:Struts 2 最佳实践——你的Web应用开发超级变身指南!
【8月更文挑战第31天】《Struts 2 最佳实践:从设计到部署的全流程指南》深入介绍如何利用 Struts 2 框架从项目设计到部署的全流程。从初始化配置到采用 MVC 设计模式,再到性能优化与测试,本书详细讲解了如何构建高效、稳定的 Web 应用。通过最佳实践和代码示例,帮助读者掌握 Struts 2 的核心功能,并确保应用的安全性和可维护性。无论是在项目初期还是后期运维,本书都是不可或缺的参考指南。
50 0
|
3月前
|
SQL 存储 数据管理
掌握SQL Server Integration Services (SSIS)精髓:从零开始构建自动化数据提取、转换与加载(ETL)流程,实现高效数据迁移与集成——轻松上手SSIS打造企业级数据管理利器
【8月更文挑战第31天】SQL Server Integration Services (SSIS) 是 Microsoft 提供的企业级数据集成平台,用于高效完成数据提取、转换和加载(ETL)任务。本文通过简单示例介绍 SSIS 的基本使用方法,包括创建数据包、配置数据源与目标以及自动化执行流程。首先确保安装了 SQL Server Data Tools (SSDT),然后在 Visual Studio 中创建新的 SSIS 项目,通过添加控制流和数据流组件,实现从 CSV 文件到 SQL Server 数据库的数据迁移。
171 0
|
4月前
|
SQL NoSQL 数据管理
数据管理DMS使用问题之如何批量导入MongoDB的数据文件
阿里云数据管理DMS提供了全面的数据管理、数据库运维、数据安全、数据迁移与同步等功能,助力企业高效、安全地进行数据库管理和运维工作。以下是DMS产品使用合集的详细介绍。
|
3月前
|
JSON 数据管理 关系型数据库
【Dataphin V3.9】颠覆你的数据管理体验!API数据源接入与集成优化,如何让企业轻松驾驭海量异构数据,实现数据价值最大化?全面解析、实战案例、专业指导,带你解锁数据整合新技能!
【8月更文挑战第15天】随着大数据技术的发展,企业对数据处理的需求不断增长。Dataphin V3.9 版本提供更灵活的数据源接入和高效 API 集成能力,支持 MySQL、Oracle、Hive 等多种数据源,增强 RESTful 和 SOAP API 支持,简化外部数据服务集成。例如,可轻松从 RESTful API 获取销售数据并存储分析。此外,Dataphin V3.9 还提供数据同步工具和丰富的数据治理功能,确保数据质量和一致性,助力企业最大化数据价值。
169 1
|
4月前
|
运维 数据管理 数据库
数据管理DMS操作报错合集之数据归档时,遇到报错:"DMS获取内容为空,无须备份",该怎么办
阿里云数据管理DMS提供了全面的数据管理、数据库运维、数据安全、数据迁移与同步等功能,助力企业高效、安全地进行数据库管理和运维工作。以下是DMS产品使用合集的详细介绍。
|
5月前
|
SQL 关系型数据库 数据管理
数据管理DMS产品使用合集之归档数据至其它MySQL数据库时,如何指定目的库
阿里云数据管理DMS提供了全面的数据管理、数据库运维、数据安全、数据迁移与同步等功能,助力企业高效、安全地进行数据库管理和运维工作。以下是DMS产品使用合集的详细介绍。
71 1

热门文章

最新文章