谈谈从DAMA、DCMM和DGI三大数据治理框架详细了解数据战略规划的关键要素

本文涉及的产品
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
简介: 当前,数据作为新的生产要素提到了关键位置,众多组织认为数据是重要的战略资产。

当前,数据作为新的生产要素提到了关键位置,众多组织认为数据是重要的战略资产。可是,如何发挥数据要素的生产力,数据资产又如何为企业创造价值,确有些无从下手。那么,这就是数据战略要解决的问题。企业怎么看待数据资产、数据的价值如何定位,对数据价值的期望是什么,数据又如何为企业战略和模式创新赋能等等。因此,组织要想管理好数据资产,发挥数据要素的战略性价值,就要制定组织的数据战略。

下面我们谈谈对数据战略的基本认识:数据战略不是数据项目集合,数据战略不是实施策略,数据战略更不是项目实施计划。数据战略属于战略层的,不是执行层的,这是定位;数据战略是可执行的,不是摆着看的,这是要求;数据战略是动态变化的,不是一成不变的,这是与时俱进。

那么如何制定数据战略,数据战略规划的关键要素是什么,可谓众说纷坛,仁者见仁智者见智,下面笔者从DAMA数据管理知识体系、DCMM数据管理能力成熟度评估、DGI数据治理框架对数据治理战略的要素进行分析,抽丝剥茧,提取出数据战略规划的关键要素,供大家学习参考。

“问渠那得清如许,唯有源头活水来”,下面我们开始探索之旅。

一DAMA数据管理知识体系的数据战略

数据治理(DataGovernance,DG)的定义是在管理数据资产过程中行使权力和管控,包括计划、监控和实施。在所有组织中,无论是否有正式的数据治理职能,都需要对数据进行决策。建立了正式的数据治理规程及有意向性地行使权力和管控的组织,能够更好地增加从数据资产中获得的收益。数据治理职能是指导所有其他数据管理领域的活动。

数据治理的目的是确保根据数据管理制度和最佳实践正确地管理数据。而数据管理的整体驱动力是确保组织可以从其数据中获得价值,数据治理聚焦于如何制定有关数据的决策,以及人员和流程在数据方面的行为方式。下图,是DAMA数据管理知识体系中数据治理的语境关系图。

2681e561e1e26649ae63c8f9b463363e.png

从上图中,我们可以看到制定数据治理规划的关键活动。数据治理战略定义了治理工作的范围和方法。应根据总体业务战略以及数据管理、IT战略全面定义和明确表达数据治理战略。

1定义数据治理运营框架

开发数据治理的基本定义很容易,但是创建一个组织采用的运营框架可能很困难。在构建组织的运营框架时需要考虑以下几个方面:

1)数据对组织的价值。如果一个组织出售数据,显然数据治理具有巨大的业务影响力。将数据作为最有价值事物的组织(如Facebook、亚马逊)将需要一个反映数据角色的运营模式。对于数据是操作润滑剂的组织,数据治理形式就不那么严肃了。

2)业务模式。分散式与集中式、本地化与国际化等是影响业务发生方式以及如何定义数据治理运营模式的因素。与特定IT策略、数据架构和应用程序集成功能的链接,应反映在目标运营框架设计中。

3)文化因素。就像个人接受行为准则适应变化的过程一样,一些组织也会抵制制度和原则的实施。开展治理战略需要提倡一种与组织文化相适应的运营模式,同时持续地进行变革

4)监管影响。与受监管程度较低的组织相比,受监管程度较高的组织具有不同的数据治理心态和运营模式。可能还与风险管理或法律团队有联系。

2制定目标原则和制度

依据数据治理战略制定的目标、原则和制度将引导组织进人期望的未来状态。通常由数据管理专业人员、业务策略人员。在数据治理组织的支持下共同起草数据治理的目标、原则和制度,然后由数据管理专员和管理人员审查并完善,最终由数据管理委员会(或类似组织)进行终审、修订和发布采用。管理制度可能包含多个不同方面内容,如:

1)由数据治理办公室(DGO)认证确认组织用到的数据。

2)由数据治理办公室(DGO)批准成为业务拥有者。

3)业务拥有者将在其业务领域委派数据管理专员数据管理专员的日常职责是协调数据治理活动。

4)尽可能地提供标准化报告、仪表盘或计分卡以满足大部分业务需求。

5)认证用户将被授予访问相关数据的权限。以便查询即席报表和使用非标准报告。

6)定期复评所有认证数据,以评价其准确性、完整性一致性、可访问性唯一件,合规性和效率等。

3推动数据管理项目

改进数据管理能力的举措可为整个企业带来好处。这些通常需要来自数据治理委员会的跨职能关注和支持。数据管理项目很难推动,它们经常被看作“完成工作”的障碍。推动数据治理项目关键是阐明数据管理提高效率和降低风险的方法。组织如果想从数据中获得更多价值。则需要有效优先发展或提升数据管理能力。数据治理委员会负责定义数据管理项目的商业案例监督项目状态和进度。如果组织中存在项目管理办公室,数据治理委员会要和数据管理办公室协同工作,数据管理项目可视为整个IT项目组合的一部分。

数据治理委员会还可以与企业范围内的大型项目集配合开展数据管理改进工作。主数据管理项目。如企业资源计划(ERP)客户关系管理(CRM)和全球零件清单等都是很好的选择。

4参与变革管理

组织变革管理(OrganizationalChangeManagementOCM)是进行组织管理体系和流程变革的管理工具。变革管理研究所认为,组织的变革管理不仅仅是“项目中人的问题”应该被视为整个组织层面管理改良的一种途径。组织经常面临管理项目上的变迁而不是管理组织体系进化(Anderson和Ackerson,2012)。成熟的组织在变革管理中建立清晰的组织愿景,从高层积极引导和监督变革,设计和管理较小的变革尝试,再根据整个组织的反馈和协同情况调整变革计划方案。

对很多组织来说,数据治理所固有的形式和规则不同于已有的管理实践。适应数据治理需要人们改变行为和互动方式。对于正式的管理变革项目,需要有适合的发起者,这对于推动维持数据治理所需的行为变化至关重要。

5参与问题管理

问题管理是识别、量化、划分优先级和解决与数据治理相关的问题的过程,包括:1)授权。关于决策权和程序的问题。

2)变更管理升级。升级变更过程中出现问题的流程。

3)合规性。满足合规性要求的问题。

4)冲突包括数据和信息中冲突的策略、流程、业务规则、命名、定义、标准、架构、数据所有权以及冲突中利益相关方的关注点。

5)一致性。与策略、标准、架构和流程一致性相关的问题。

6)合同。协商和审查数据共享协议购买和销售数据、云存储。

7)数据安全和身份识别。有关隐私和保密的问题,包括违规调查。

8)数据质量。检测和解决数据质量问题包括灾难事件或者安全漏洞。

很多问题可以在数据管理团队中被解决。需要沟通或者上报的问题必须被记录下来,并将其上报给数据管理团队或者更高级别的数据治理委员会。数据治理计分卡可用于识别与问题相关的趋势,如问题在组织内发生的位置、根本原因等。数据治理委员会无法解决的问题应升级上报给公司治理或管理层。

6评估法规遵从性要求

每个组织都受到政府和行业法规的影响,其中包括规定如何管理数据和信息的法规。数据治理的部分功能是监督并确保合规。合规性通常是实施数据管理的初始原因。数据治理指导实施适当的控制措施以记录和监控数据相关法规的遵从情况。

二DCMM数据治理能力成熟度评估模型的数据战略

数据管理能力成熟度评估模(GB/T36073—2018)给出了数据管理能力成熟度评估模型以及相应的成熟度等级,定义了数据战略、数据治理、数据架构、数据应用、数据安全、数据质量、数据标准和数据生存周期等8个能力域。DCMM数据管理能力成熟框架如下图所示。

792a17f00921e6cdd7b16e95421d1f8c.png

在数据管理能力成熟度评估模中数据战略包括数据战略规划、数据职能框架、数据战略实施、数据任务效益评价四个二级域,是对组织数据领域整体性、长期性、基本性问题的策略谋划。数据战略规划确定数据管理愿景、目标等高阶内容,并在干系人之间达成共识;数据职能框架确定包含的各项数据管理、数据应用职能,并定义其内在关联关系;数据战略实施在评估现状与愿景、目标的差距后确定任务蓝图,并制定优先级顺序及实施步骤;数据任务效益评价建立业务案例和投资模型,并跟踪任务进度用于审计或后评价。

数据战略规划是在所有利益相关者之间达成共识的结果。从宏观及微观两个层面确定开展数据管理及应用的动因并综合反映数据提供方和消费方的需求。

1过程描述

过程描述如下:

a)识别利益相关者明确利益相关者的需求;

b)数据战略需求评估组织对业务和信息化现状进行评估了解业务和信息化对数据的需求;

c) 数据战略制定包含但不限于:

1)愿景陈述其中包含数据管理原则目的和目标;

2)规划范围其中包含重业务领域数据范围和数据管理优先权;

3)所选择的数据管理模型和建设方法:

4) 当前数据管理存在的主要差距

5) 管理层及其责任以及利益相关者名单;

6):编制数据管理规划的管理方法:7)持续优化路线图;

d)数据战略发布,以文件、网站、邮件等方式正式发布审批后的数据战略;

e) 数据战略修订根据业务战略、信息化发展等方面的要求定期进行数据战略的修订。

2 过程目标

过程目标如下:

a)建立维护数据管理战略;

b)针对所有业务领域在整个数据治理过程中维护数据管理战略(目标、目的、优先权和范围)

c) 基于数据的业务价值和数据管理目标识别利益相关者,分析各项数据管理工作的优先权;

d) 制定、监控和评估后续计划用于指导数据管理规划实施。

3能力等级标准

能力等级标准如下:

a)第1级:初始级在项目建设过程中反应了数据管理的目标和范围。

b)第2级:受管理级

1)识别与数据战略相关的利益相关者:

2) 数据战略的制定能薄循相关管理流程:

3)维护了数据战略和业务战略之间的关联关系。

c)第3级:稳健级

1)制定能反应整个组织业务发展需求的数据战略;

2)制定数据战略的管理制度和流程明确利益相关者的职责,规范数据战略的管理过程;

3)根据组织制定的数据战略提供资源保障;

4)将组织的数据管理战略形成文件并按组织定义的标准过程进行维护、审查和公告;

5)编制数据战略的优化路线图指导数据工作的开展:

6)定期修订已发布的数据战略。

d)第4级:量化管理级1)对组织数据战略的管理过程进行量化分析并及时优化:

2)能量化分析数据战略路线图的落实情况,并持续优化数据战略。

e)第5级:优化级

1)数据战略可有效提升企业竞争力;

2)在业界分享最佳实践,成为行业标杆。

三 DGI数据治理框架

DGI已经注意到,数据治理的重要性已经成为业务的高优先级。一些组织已经将“信息管理”功能从信息技术组织移到了业务方面。

然后,业务方负责管理信息,以实现其战略意图。然后利用技术协助管理这些信息。然而,信息管理主要被视为一种业务责任。信息是业务和IT之间的关键。数据治理本身并不被视为目的。数据治理需要确保数据质量,这有助于有效的决策制定和提供优质服务。

DGI强调信息技术(IT)和数据治理的存在只是为了帮助企业管理信息。管理信息的能力支持战略业务意图。

1263b495746bb9985ceca6a87c4957c3.png

DGI描述了数据治理计划的10个“通用组件”,它们被分成三个主要的域。1制定规则和策略

这些规则根据政策、需求、标准、责任和控制来描述。管理规则描述了不同的团队将如何分享和分配建立和执行这些规则的责任。

1)使命和愿景

在最高层次上,数据治理通常有三个任务:主动定义/对齐战略;为数据利益相关者提供持续的、跨界的保护和服务;对因不符合规定而产生的问题作出反应并加以解决。

2)目标、治理度量和成功度量,以及投资策略

主要目标包括增加收入和价值、管理成本和复杂性、通过关注风险和漏洞(遵从性、安全性、隐私等)来确保生存。对价值的清晰理解有助于考虑为项目提供可用的资金。对于关键利益相关者,需要考虑如何为数据治理办公室提供资金、如何为帮助定义规则、定义数据和研究必须解决的问题所需的数据分析师/架构师提供资金、你如何为管理活动提供资金。

3)数据规则和策略

该组件引用与数据相关的策略、标准、遵从性需求、业务规则和数据定义。根据不同的领域,可能会涉及到:创建新规则/定义、收集现有规则/定义、解决差距和重叠、对齐和优先考虑相互冲突的规则/定义、当某些定义适用时,建立或形式化规则。

4)决定权

在创建任何规则或做出任何与数据相关的决策之前,必须解决一个事先的决策:谁来做决策,什么时候做,使用什么过程?数据治理程序的职责是促进(有时是记录和存储)决策权的收集,决策权是与数据相关的决策的“元数据”。

5)岗位职责

一旦创建了规则或做出了与数据相关的决策,组织就会随时准备对其采取行动。谁应该做什么,什么时候做?对于那些没有很好地映射到部门职责的活动,可以期望数据治理程序定义可以被纳入日常过程和组织的软件开发生命周期(SDLC)的职责。

6)控制

数据总是处于危险之中。随着敏感数据泄露的激增以及对受托保管这些数据的人造成的后果,数据也可能代表风险,这一点变得越来越明显。我们如何应对风险?我们管理它,最好是通过防止我们不想发生的事件。对于那些我们不能确保预防的问题,我们至少会检测到,这样我们就可以纠正问题。

如何使风险管理策略具有可操作性?通过控制。控制可以是预防性的或检查/纠正性的。它们可以是自动化的、手动的或支持技术的手动流程。

通常,数据治理程序被要求推荐可以应用于多个级别的控制堆栈(网络/操作系统;数据库;应用程序;用户流程)来支持治理目标。数据治理也可能被要求建议现有的一般控制(变更管理、政策、培训、sdlc和项目管理等)的修改方法,以支持治理目标或企业目标。

2人和组织

该组件描述如何组织数据治理,以及将定义哪些角色和职责。

7)数据的利益相关者

8)数据治理办公室

9)数据管家

3流程

这些是在数据治理中创建和维护持续工作的过程、方法和过程。

10.)主动的、被动的和持续的数据管理

DGI也给出了数据治理的生命周期,旨在确保遵循正确的活动顺序,以便数据治理活动不仅有正确的理由发起,而且能够维持自身。DGI数据治理的生命周期如下图所示。

ec4dc1df2d1d87a315b1fc74e61aa95f.png

从数据治理研究所,我们了解到建立一个重点领域的必要性——至少最初是这样。需要在数据治理成熟度模型所描述的长期愿景与交付可管理的、仔细确定范围的结果的需求之间取得平衡。如果没有能够证明该计划价值的即时或短期成果,支持将会减弱。

DGI花费了大量的精力来探索通用的驱动程序和焦点领域,以建立意图和范围,如下图所示。在转移到框架的其他方面之前,必须首先建立这些驱动程序和焦点领域。

914f93c038732e86a0310a57a9527465.png

组织需要建立一种治理方法或过程,清楚地描述管理数据的约定规则。DGI框架旨在为数据治理计划提供以下结果:

•实现的目标和路径要清晰

•从努力中确保获得价值

•创建明确的任务

•保持范围和重点

•建立岗位职责

•定义可衡量的成功

关于启动数据治理项目,DGI提出以下建议:

•数据治理程序对于每个组织都是独特的。不要假设可以简单地采用另一个组织的数据治理程序。

•利用现有的治理规程,包括:IT治理的控制程序、记录管理和变更管理。

•注意不要简单地将数据管理员和规则放在一起。这种方法不会成功。这就是为什么DGI框架被设计成具有固有序列的原因。按照顺序来确保成功。

•从组织中已经在运行的项目中配置程序。这比建立一个独立的、全新的项目要成功得多。

•识别并理解明显的和不那么明显的涉众。确定所有的利益相关者,如信息的下游用户、web开发团队、分类法开发人员、记录管理人员、数据架构师等。四 数据战略在3个框架中的分析

在DAMA数据管理知识体系中,数据战略规划是数据治理的内容,因此在DAMA中的数据治理的主要活动首先是规划组织的数据治理,也就是建组织、定制度、绘流程、划权责等内容;然后是由数据治理组织进行数据战略的规划;最后是实施数据治理和数据治理嵌入业务功能。

DCMM数据管理能力成熟度评估模型中把数据战略和数据治理分为两个能力域,数据战略是从数据战略规划、数据职能框架、数据战略实施、数据任务效益评价四个方面阐述;数据治理包括数据治理组织、数据制度建设和数据治理沟通三个域,其中数据治理组织包括组织机构、岗位设置、团队建设定内容;数据制度建设重点明确相关的规范化流程,确保数据管理和数据应用各项工作有序开展;数据治理沟通是整体机制有效运转的关键,确保相关内容在治理组织内的发布和贯彻。

DGI数据治理框架中与数据战略相关的活动主要集中在1、2、3、4、5、6共六个主要的活动。主要包括了使命和愿景;目标、治理度量和成功度量,以及投资策略;数据治理规则和策略、数据认责和控制。

五 数据战略规划的关键要素

数据战略是实施数据治理的关键,因此识别数据战略规划的关键要素就非常重要。通过对经典数据治理框架和标准的分析,总结数据战略规划的关键要素如下:

★数据战略规划必须包括数据管理的愿景和使命

★数据战略规划必须包括数据管理的目标和策略

★数据战略规划必须包括数据管理的职能和框架

★数据战略规划必须包括数据管理的能力和内容

★数据战略规划必须包括数据管理的成功和度量

★数据战略规划必须包括数据管理的协同沟通机制

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
2月前
|
分布式计算 DataWorks IDE
MaxCompute数据问题之忽略脏数据如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
47 0
|
2月前
|
SQL 存储 分布式计算
MaxCompute问题之下载数据如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
38 0
|
2月前
|
分布式计算 关系型数据库 MySQL
MaxCompute问题之数据归属分区如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
36 0
|
3月前
|
机器学习/深度学习 存储 分布式计算
机器学习PAI关于maxcompute上用protobuf 处理数据,比较方便的方式
机器学习PAI关于maxcompute上用protobuf 处理数据,比较方便的方式
|
2月前
|
分布式计算 DataWorks BI
MaxCompute数据问题之运行报错如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
39 1
|
2月前
|
分布式计算 关系型数据库 数据库连接
MaxCompute数据问题之数据迁移如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
35 0
|
2月前
|
分布式计算 Cloud Native MaxCompute
MaxCompute数据问题之没有访问权限如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
39 0
|
13天前
|
数据采集 搜索推荐 大数据
大数据中的人为数据
【4月更文挑战第11天】人为数据,源于人类活动,如在线行为和社交互动,是大数据的关键部分,用于理解人类行为、预测趋势和策略制定。数据具多样性、实时性和动态性,广泛应用于市场营销和社交媒体分析。然而,数据真实性、用户隐私和处理复杂性构成挑战。解决策略包括数据质量控制、采用先进技术、强化数据安全和培养专业人才,以充分发挥其潜力。
16 3
|
15天前
|
运维 供应链 大数据
数据之势丨从“看数”到“用数”,百年制造企业用大数据实现“降本增效”
目前,松下中国旗下的64家法人公司已经有21家加入了新的IT架构中,为松下集团在中国及东北亚地区节约了超过30%的总成本,减少了近50%的交付时间,同时,大幅降低了系统的故障率。
|
1月前
|
分布式计算 DataWorks 关系型数据库
DataWorks报错问题之dataworks同步rds数据到maxcompute时报错如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。

热门文章

最新文章