5000字详解数据治理如何入门

简介: 5000字详解数据治理如何入门

 在数据治理实践方面,元数据管理平台(如Datahub,Atlas)是我主要研究的一个方向。但是数据治理理论方面的学习,我也一直在继续,因为我一直相信大数据、数据治理终有一天会融合发展,大数据技术也将与数据治理理论相结合,而我们只有将两者融会贯通,才能在企业的大数据与数据治理发展中大显身手。

   所以,今天就来聊一聊数据治理理论该如何学习。

   本文共5000字,将从数据治理概述、数据治理国内外学习框架、数据治理认证考试三个方面来进行介绍,希望能帮助您对数据治理有一个初步的了解。

   文章结构如下:

一、数据治理概述


随着业务的不断发展和信息化的不断深入,需建设的业务系统越来越多,

随着业务系统的数据种类不断丰富完善, 数据量的不断增大,如果不采取有效手段解决问题,

随着信息化建设的深入,下列的问题会越积越多。

   数据治理的定义有很多。国际数据管理协会(DAMA)给出的定义是:“数据治理是对数据资产管理行使权力和控制的活动集合。

   国际数据治理研究所(DGI)给出的定义是:“数据治理是一个通过一系列与信息相关的过程来实现决策权和职责分工的系统,这些过程按照达成共识的模型来执行,该模型描述了谁(Who)能根据什么信息,在什么时间(When)和情况(Where)下,用什么方法(How),采取什么行动(What)。

  “数据治理”的历史可以发展分为三个阶段。

   第一阶段早期探索,早在1988年由麻省理工学院的两位教授启动了全面数据质量管理计划(TDQM),可以认为是数据治理最初的雏形,同年,DAMA(国际数据管理组织协会)成立。时间一直走到2002年,数据治理概念首次出现在学术界,美国两位学者发表题为《数据仓库治理》的研究探讨了Blue Cross和Blue Shield of North Carolina两家公司的最佳实践,由此拉开了“数据治理”在企业管理中的大幕。

   第二阶段理论研究,在美国学者发表《数据仓库治理》的第二年,2003年DGI(国际数据治理研究所)成立,研究数据治理理论框架,与ISO国际标准化组织对数据管理与数据治理进行定义。直到2009年,DAMA国际发布DMBOK《数据管理知识体系指南》[15](以下简称《DAMA指南》),至此数据治理的理论框架基本固定。2020年DAMA国际发布DMBOK《数据管理知识体系指南原书第二版》[16](以下简称《DAMA指南第二版》)。

   第三阶段广泛接受与应用,伴随着数据仓库的建设,主数据管理与BI的实施,国内也逐步开始接受并利用数据治理的概念进行推广实践。我国数据治理之路在DMBOK基础上不断延伸和扩展,里程碑事件为在2015年提出了《数据治理白皮书》国际标准研究报告。

   这里基本都是定义一些概念性的东西。

   2018年6月7日,国家市场监督管理总局和国家标准化管理委员会发布《中华人民共和国国家标准公告(2018年第9号)》,批准《信息技术服务治理第5部分:数据治理规范》国家标准发布实施,标准号为GB/T 34960.5-2018,实施日期为2019年1月1日。《数据治理规范》是我国信息技术服务标准(ITSS)体系中的“服务管控”领域标准,属于《信息技术服务治理》的第5部分。

   这个规范之前也有过分享。

   金融等行业也在实践的过程中形成了自己的治理体系,比如银行在2018年发布了《银行业金融机构数据治理指引》,这也标志着数据治理在我国银行金融机构中全面实践时代的到来,华为2020年出了本书《华为数据之道》,可以看到数据治理在企业中也开始发挥出越来越重要的作用。

      上面提到的这些资料和文件,之前我也都做过分享,随着数据治理的发展,这些政策法规文件也会不断的颁布,我们也是保持持续的关注。


二、数据治理国内外学习框架

   相信学过不同领域知识体系的同学会比较熟悉学习框架这个词。对于特别复杂的知识体系来说,学习难免会枯燥、找不到方向、出现遗漏。那么这个时候框架就显得尤为重要。在数据治理的发展过程中,国内外也形成了很多种学习框架。

国际数据治理框架

国际上,主流的数据治理框架主要有ISO数据治理标准、DGI数据治理框

架、DAMA数据管理框架等。对国际主流数据治理框架的理解有助于我们建立

符合企业自身业务需求的数据治理体系。

ISO/IEC 38505标准的数据治理方法论

该标准提出了数据治理的“E(评估)-D(指导)-M(监督)”方法论,通过评估现状和将来的数据利用情况,编制和执行数据战略和政策,以确保数据的使用服务于业务目标,指导数据治理的准备和实施,并监督数据治理实施的符合性等。

DGI(数据治理研究所)是业内最早、最知名的研究数据治理的专业机构。

DGI于2004年推出DGI数据治理框架,为企业根据数据做出决策和采取行动的复杂活动提供新方法。

DGI数据治理框架的设计采用“5W1H”法则,将数据治理分为人员与治理组

织、规则、流程3个层次,共10个组件。

DAMA(国际数据管理协会)是一个由全球性数据管理和业务专业的志愿

人士组成的非营利协会,致力于数据管理的研究和实践。其出版的《DAMA数

据管理知识体系指南》(简称DAMA-DMBOK)一书被业界奉为“数据管理的

圣经”,目前已出版第2版,即DAMA-DMBOK2。


国内数据治理

在数据治理框架和标准体系的研究方面,国内起步相对较晚,目前主要有

GB/T 34960和DCMM两个标准。

我国发布的信息化标准GB/T34960《信息技术服务治理》中包含五部分内

容。

第1部分:通用要求。

第2部分:实施指南。

第3部分:绩效评价。

第4部分:审计导则。

第5部分:数据治理规范。

其中,第5部分《数据治理规范》(GB/T 34960.5—2018)中提出了数据治

理的总则和要求,为企业数据治理体系的建设提供了参考。

GB/T 36073—2018《数据管理能力成熟度评估模型》(Data Management Capability Maturity Assessment Model,DCMM)是在国家标准化管理委员会指导下,由全国信息技术标准化技术委员会编制的一份国家标准,于2018年发布并实施。

DCMM按照组织、制度、流程、技术对数据管理能力进行了分析和总结,提炼出组织数据管理的8个过程域,即数据战略、数据治理、数据架构、数据应用、数据安全、数据质量、数据标准、数据生存周期。

DCMM将组织的数据能力成熟度划分为初始级、受管理级、稳健级、量化管理级和优化级共5个发展等级,以帮助组织进行数据管理能力成熟度的评价。


一些理论方面的东西,这里不做赘述。但是目前最权威,也最接地气的,还是DAMA数据管理体系,这也是大家在学习数据治理的时候,为什么会频繁的听到DAMA相关词汇的原因。

作为最权限的数据治理框架,我们只要掌握了DAMA相关知识,最结合实践。做到数据治理的最基本入门是没有问题的,在经过几年企业中的积累,您也可以成为数据治理专家。


三、数据治理认证考试

虽然说有些考试过于形式化,但是有一个证书确实对于证明你在数据治理相关领域的专业度很有帮助。

其实现在关于数据治理的认证很多,我之前也分享过一些。比如某数据治理认证、某某数据管理师认证等等。

由于目前我们国家工信部还没有出大数据或者数据治理的专业资格认证,类似于注册**工程师这种,所以现在比较权威的数据治理认证还是国际的数据治理认证,这个国外国内都是比较认可的。

DAMA数据管理专业认证CDMP

也请大家一定要记住这个拼写CDMP,这个才是国际专业的数据治理认证。

一共分为四级,当然大部分公司对于等级没有要求,拿到A级就是很高的水平了。

这四级的区别如下:

 

   这门考试考的内容也比较干货,也就是说在准备考试的过程中,确确实实能学到很多的数据治理知识。

   当然,近几年随着数据治理的发展,及与大数据的融合,大数据方面的知识也在逐年增加,这也是我们的优势。

   最后提醒一下大家,这门考试需要在国外的CDMP网站认证进行,需要有一些方法访问该网站,考试中也有很多英文,有一定难度。考试的费用是311美元,证书有效期三年。当然这个是官方限定的有效期,通过考试的话,可以得到这样的一个证书,这其实足以证明你在数据治理方面的学习能力了。

考试通过后,将得到该认证证书,证书长这样:

    大家可以自己报名参加考试,也可以参加国内的一些培训。由于需要获取国外的一些信息,在流程上有一些难度,还需要做一些翻译插件的设置。

    所以,我这边的建议是如果大家想考这个证书,你本身英文不错,自学能力和自制力都很强,完全可以自学通过该考试。

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
相关文章
|
数据采集 存储 运维
DAMA数据管理知识体系指南(3):数据治理
DAMA:国际数据管理协会,是一个全球性数据管理和业务专业志愿人士组成的非营利协会,是当前国际上在数据治理领域最权威的机构。 DMBOK2则是DAMA组织众多数据管理领域的国际级资深专家编著,深入阐述数据管理各领域的完整知识体系。它是市场上唯一综合了数据管理方方面面的一部权威性著作。 本系列文章,将针对DMBOK中的核心内容进行解读。
DAMA数据管理知识体系指南(3):数据治理
|
数据采集 DataWorks 数据可视化
数据分析之「数据探查」—帮您快速掌握数据情报
为了帮助用户一眼看穿当前数据的质量、结构、分布、统计信息,Dataworks数据分析系统提供了数据探查这个情报管家。它支持探查概览、支持探查详情、支持数据筛选、支持数据刷新、支持数据分布直方图动态装箱和多级下钻!我们会在电子表格顶部以图形和富文本的形式,智能展示每列数据类型和值分布的概览情况;同时,也支持切换到详细模式,查看更多更全面的数据信息。
4806 0
|
敏捷开发 弹性计算 中间件
平台即服务(PaaS):简化开发与部署的新篇章
【6月更文挑战第21天】PaaS简化了应用开发与部署,提供资源池化、自动化管理及丰富的开发工具,助力企业降低成本、提高效率和系统稳定性。它支持敏捷开发、加速产品上市,改善用户体验,并推动创新,成为现代软件开发的关键。
1369 2
|
6月前
|
数据采集 存储 SQL
五问数据质量,一文讲透从根源到治理应用
在国家推动数据要素化改革背景下,数据已成为驱动新质生产力和产业变革的核心要素。本文聚焦企业在数据质量治理中的五大核心问题,解析数据质量问题来源、治理目标、责任划分、实施路径与评估方法,为企业构建可持续的数据质量保障机制提供实践指导。
|
Cloud Native Devops 持续交付
云原生架构的演进与实践
本文深入探讨了云原生架构的核心概念、技术组件及其在现代软件开发中的应用。通过分析容器化、微服务、持续集成/持续部署(CI/CD)等关键技术,揭示了这些技术如何共同促进应用程序的灵活性、可扩展性和高可用性。文章还讨论了云原生架构实施过程中面临的挑战和最佳实践,旨在为开发者和企业提供一套实用的指导方针,以便更有效地利用云计算资源,加速数字化转型的步伐。
337 5
|
监控 关系型数据库 MySQL
数据治理平台Datavines
【10月更文挑战第20天】随着数据量的增长和数字化转型的推进,数据治理成为关键议题。Datavines是一个开源的数据治理平台,提供数据目录、概览及质量检查等功能,帮助用户全面了解和管理数据,确保数据的准确性和有效性。通过简单的部署和配置,即可快速启动使用,支持数据源配置、质量监控及作业管理等核心功能。
2641 10
|
前端开发 JavaScript API
如何在React中删除组件
【8月更文挑战第17天】如何在React中删除组件
410 1
|
JavaScript 前端开发 开发者
Angular框架:企业级Web应用的强大后盾
Angular,谷歌支持的JavaScript框架,因其组件化架构、双向数据绑定、依赖注入和路由系统,成为企业级Web开发首选。组件化促进代码重用,如`AppComponent`示例。双向数据绑定简化DOM操作,减少手动工作。依赖注入通过示例展示易管理依赖,提升测试性。路由则支持SPA开发,平滑页面过渡。Angular的特性增强了开发效率和应用质量,使其在Web开发领域保持领先地位。【6月更文挑战第25天】
262 2
|
存储 搜索推荐 API
业务系统架构实践问题之分层架构中的四层定位是什么
业务系统架构实践问题之分层架构中的四层定位是什么
566 0
|
数据采集 运维 监控
谈谈典型的数据治理体系框架
以规范的方式来管理企业的数据资产已经被广泛接受和认可,但还需要组织架构、原则、过程和规则,以确保数据管理的各项职能得到正确的履行。
谈谈典型的数据治理体系框架