数据架构师: 您要治理什么?

简介:

大数据

Robert Catterall 是一位数据库专家,他想确定实现数据治理的必要性。在 IBM Information Governance Solutions 的主管 Steven Adler 的帮助下,他探索了数据治理的原则以及它如何帮助数据库团队。

我是一位数据库工作者(更准确地说,是 DB2 工作者)。我的工作处于 IBM Information Management 软件组合的低层。如果说那些从事分析、主数据管理、数据集成和其他高层软件技术的人是数据巨轮的高级船员,他们站在舰桥上,穿着带金色肩章的白制服,用双筒望远镜了望远方,那么我是在轮机舱工作。当舰桥上传来指令,命令我加快数据流动的速度时,我回答说,“我们已经到极限了,船长!” … 但是我仍然要想办法完成任务。你们成天谈论战略和模式,而我谈论的是比特和字节、速度和供应。欢迎来到我的世界。好了,不打比方了,我们来讨论实际问题吧!

我曾经遇到过许多似是而非的概念,最近遇到的一个是 “数据治理”。对不起,长官,但是这听起来是针对某个问题的解决方案。让我告诉您一个小秘密:数据是没有自主行动力的,这意味着它不需要 “治理”。它需要操控,我和我的朋友们能够应付,谢谢您。请找别的什么东西去 “治理” 吧!

您说什么?您在谈到治理数据时,实际上是打算治理别的什么东西?OK,现在我感兴趣了。请多说点儿,我洗耳恭听。

重点在于人

关于数据治理,我应该听取谁的意见?没人比 Steve Adler 更合适了,他是 IBM Information Governance Solutions 的主管和 IBM Information Governance Council 的主席。他在电话上告诉我 “数据治理” 这个词在修辞方面的矛盾性实际上是有意义的:它提醒人们提出问题。“‘数据治理’ 究竟是什么意思?” 谈话就此展开了。Adler 指出,真正的目标是对行为进行治理。

人与数据库交互:他们引导数据流的走向;他们解释并处理数据请求。人也会犯错 — 常常是由于他们采用的过程和依赖的应用程序系统有缺陷 — 这会在信息管道中引入错误,给下游造成数据质量问题。Adler 指出,数据治理的意图主要是系统化地找到并解决可能引入错误的点。目标是形成决策者能够信任的数据 — 还要向他们提供数据可信的证明。

这是一个很不错的说词。但在加入您的事业之前,我想看看 “蓝色巨人” 是如何吃 “垃圾食品” 的。Adler 问我是否了解 IBM 的产品目录。我确实了解 — 毕竟我为 IBM 工作了 17 年。IBM 有大量信息,有多达 1.2 亿条记录。显然,这些记录中很大一部分包含错误的信息:错误、缺失和未及时发布的数据。在 255 个 IBM 产品公告中,只有 5 个完全没有错误。这真是让人震撼的统计数字。

为了找出数据质量问题的来源,团队在通向生产数据库的数据流中不同的位置上设置 “捕捉器”。捕捉器帮助团队发现在特定条件下可能发生的错误。找出问题的原因之后,团队就可以设计和实现基于过程和基于技术的解决方案,从而消除不准确的信息的来源。

不是我的问题(也许是?)

我想,只要消除可能导致数据质量问题的条件就行了,所以由您负责。我希望您成功。不需要围着我和 DBA 照管的数据库打转 — 它们很可靠。有多可靠?精确度至少有 99.9%。我谈论的数据库有多少数据记录?生产数据库可能有超过 10 亿条记录。是的,由于数据库规模如此之大,尽管错误率非常低,错误数量仍然相当大。好吧,您说的有道理。在数据库内部和周围放上一些捕捉器可能是好主意。

Adler 说,但是不要就此止步,因为数据质量问题不仅仅是数据记录不准确。有时候,急迫的问题是必须处理数据分类。例如,一个组织通过并购形成了更大的规模,最终通过多个业务线为更大型的企业客户提供服务。客户公司之一抱怨说,当他们通过不同业务线的代表向服务提供组织提出同一个问题时,却得到了不同的回答。这是因为对于不同的业务线,相同术语的含义不同。这是数据定义问题 — 数据治理要通过有效的主数据管理 (MDM) 消除此类问题。

如何从 A 到 B?

我承认,我开始看出数据治理的一些价值了。这个概念不像我最初认为的那么不知所谓。但是,看到潜在价值和获得实际价值是两回事儿。如何通过数据治理工作获取价值?从哪里做起?如何推动不断进步?

Adler 告诉我他喜欢的方式分为六个步骤:

确定目标。一些目标可以有变动,其他目标是固定的(例如处理数据质量问题)。是的 — 在出发之前,必须明确要去哪里。

确定要度量什么。如果想要提高数据质量,那么如何能够知道是否已经取得了进步?可能要检查存储库中一定比例的文档,记录信息不正确或缺失的情况。决定度量的过程和条件对于评估基线情况和跟踪过程很重要。我明白了。说说容易:如果想要说服人,就要提供数字。

了解组织的决策模型。是专制模型?代表模型?还是民主模型?无论是哪种,它适合您的公司吗?您正在开发的数据治理策略支持这种决策模型吗?决策 “更好” 的含义是什么?需要做出大量决策吗?还是要更快地做出决策?我想,在改进数据质量时,总是要花时间评估数据在自己的环境中如何驱动决策。可能会发现需要改进的东西。

有效地传播数据治理策略。如何把策略的相关信息告诉相关人员和感兴趣的其他各方?通过电子邮件?通过时事通讯?不能只依靠同事之间的口头交流。

度量结果。数据治理策略取得的实际效果如何?如果已经制定了度量进展的计划(这个列表中的第二项),那么得到具体的数字应该不太困难。解释这些数字会很有意思。

审查整个数据治理工作。是否采用了适当的过程?是否应用了适当的技术?是否实现了有效的控制?“审查” 这个词有点儿让我不舒服,但是我知道对于策略来说这是不可缺少的,无论是数据治理策略还是其他策略。我不喜欢评判别人的工作,但是我理解有时候需要这么做。

这些是非常高级的检查项,具体的项目计划应该远远不只六个步骤。但是,在面对复杂的任务时,以适当方式对难题进行拆分确实有助于明确工作重点。对于我来说,Adler 的方法看起来是不错的问题拆分方式。可以以此为基础开展工作。

好吧,我接受了

一个城市的居民嘲笑另一个城市时会说,“那儿没有 ‘那儿’ 这个概念”。我过去也是这么看待数据治理的:很有意思的概念,但是拜托 — 它有什么实际意义吗?Steve Adler 在关于数据治理的业务价值的争论中说服了我。我现在认为数据治理是有价值的。

因此,如果信息管理领域的大人物再到数据库 “轮机舱” 与您谈论数据治理,那么好好听他们说。最好考虑一下自己能够在哪些方面发挥作用。宏大的计划如果能够参考实干家的意见,往往会取得更好的结果。

就到这里吧。也许我会在咖啡机旁遇到您。谁知道呢?也许我们会轻松地谈论一下数据治理。


本文作者:佚名

来源:51CTO

相关文章
|
数据采集 存储 前端开发
关于数仓建设及数据治理的超全概括 (一)
本文分为两大节介绍,第一节是数仓建设,第二节是数据治理,内容较长,还请耐心阅读!
609 0
关于数仓建设及数据治理的超全概括 (一)
|
数据采集 存储 运维
DAMA数据管理知识体系指南(3):数据治理
DAMA:国际数据管理协会,是一个全球性数据管理和业务专业志愿人士组成的非营利协会,是当前国际上在数据治理领域最权威的机构。 DMBOK2则是DAMA组织众多数据管理领域的国际级资深专家编著,深入阐述数据管理各领域的完整知识体系。它是市场上唯一综合了数据管理方方面面的一部权威性著作。 本系列文章,将针对DMBOK中的核心内容进行解读。
DAMA数据管理知识体系指南(3):数据治理
|
11月前
|
存储 监控 架构师
【企业架构】LeanIX企业架构治理
【企业架构】LeanIX企业架构治理
|
11月前
|
机器学习/深度学习 敏捷开发 人工智能
「数据架构」数据架构的未来
「数据架构」数据架构的未来
|
存储 人工智能 自然语言处理
解密企业数据架构【经典案例】
数据架构是业务与应用系统建设的桥梁:数据架构基于业务架构(业务模式、流程、规则等)识别出业务数据需求,统一数据语言及操作手段,作为应用系统的应用架构(系统功能、组件、接口等)和技术架构(技术指标、技术选型等)设计和开发的依据。
解密企业数据架构【经典案例】
|
数据采集 存储 监控
谈谈从DAMA、DCMM和DGI三大数据治理框架详细了解数据战略规划的关键要素
当前,数据作为新的生产要素提到了关键位置,众多组织认为数据是重要的战略资产。
谈谈从DAMA、DCMM和DGI三大数据治理框架详细了解数据战略规划的关键要素
|
存储 数据采集 人工智能
不要将复杂的数据架构复杂化
对适应性强的数据管理体系结构的需求从来没有像现在这样迫切。然而,实现这一目标似乎比以往任何时候都更加令人困惑。
不要将复杂的数据架构复杂化
|
存储 架构师 数据管理
DAMA数据管理知识体系指南(4):数据架构
DAMA:国际数据管理协会,是一个全球性数据管理和业务专业志愿人士组成的非营利协会,是当前国际上在数据治理领域最权威的机构。 DMBOK2则是DAMA组织众多数据管理领域的国际级资深专家编著,深入阐述数据管理各领域的完整知识体系。它是市场上唯一综合了数据管理方方面面的一部权威性著作。 本系列文章,将针对DMBOK中的核心内容进行解读。
DAMA数据管理知识体系指南(4):数据架构
|
数据采集 存储 数据管理
DAMA数据管理知识体系指南(1):数据管理
DAMA:国际数据管理协会,是一个全球性数据管理和业务专业志愿人士组成的非营利协会,是当前国际上在数据治理领域最权威的机构。 DMBOK2则是DAMA组织众多数据管理领域的国际级资深专家编著,深入阐述数据管理各领域的完整知识体系。它是市场上唯一综合了数据管理方方面面的一部权威性著作。 本系列文章,将针对DMBOK中的核心内容进行解读。
DAMA数据管理知识体系指南(1):数据管理
|
存储 数据采集 SQL
DAMA数据管理知识体系指南(5):数据建模和设计
DAMA:国际数据管理协会,是一个全球性数据管理和业务专业志愿人士组成的非营利协会,是当前国际上在数据治理领域最权威的机构。 DMBOK2则是DAMA组织众多数据管理领域的国际级资深专家编著,深入阐述数据管理各领域的完整知识体系。它是市场上唯一综合了数据管理方方面面的一部权威性著作。 本系列文章,将针对DMBOK中的核心内容进行解读。
DAMA数据管理知识体系指南(5):数据建模和设计