作为一个概念，数据治理已经存在了几十年。到了20世纪80年代，计算机的繁荣导致了旨在处理数据质量和元数据管理等问题的技术的出现，这些技术通常以部门为基础，以支持数据库营销或数据仓库工作。尽管出现了一些“数据治理”——有时是作为一种草根工作而发展起来的——但它在IT社区中很少成为热门话题。
到了21世纪初，数据治理开始得到更多的关注。安然(Enron)等公司的倒闭，促使美国联邦政府制定规则，提高企业信息的准确性和可靠性。数据治理是这些工作的关键组成部分。例如，萨班斯-奥克斯利法案(Sarbanes-Oxley Act)要求高管了解推动其业务的数据，并对这些数据负个人责任。面对这些行业驱动因素，数据治理迅速成熟。由数据质量或业务流程管理工具发展而来的技术开始提供在数据级别上自动创建和管理业务规则。
为了跟上技术、趋势和新法规的步伐，数据治理不断发展。例如，考虑流数据分析、物联网、Hadoop对治理的要求，以及当前预期信用损失(CECL)或一般数据保护法规(GDPR)等法规的要求。
如今，大多数C级高管都明白，为什么他们需要把数据作为一种宝贵的企业资产来管理。为了确保适当的监督，许多公司的董事会都出现了新兴角色的高管，比如首席数据官或数据保护官。但是，尽管数据治理作为一套正式的做法被大量采用，仍然有许多组织努力克服失败的尝试或调整无效的组织的例子。
这是一句来自综合医疗服务提供商的高管的话:
“Jim是过去六年中来自公司办公室的第四个数据治理总监。我希望这一次它能坚持下去。”
或者引用一位地区银行的风险经理的话:
“我们的第一次数据治理尝试在几年前大张旗鼓地开始了，然后失败了。现在，这一次出现了相当多的怀疑。”
数据治理失败的原因有很多——或者至少表现不佳。但其原因通常有以下几种:
•数据治理没有明确定义。
•业务主管和经理认为数据是“一个IT问题”，业务部门和IT部门不能协同工作。
•没有考虑到组织独特的文化。
•组织结构过于分散，文化不支持中央决策，决策过程没有得到很好的理解和设计。
•数据治理被视为一种学术实践，或被视为一个有限项目。
•现有的有专业知识的和有影响力的指导委员会被忽视了。
•执行力不足;数据不是以一种结构化的、战术的和可重复的方式管理的。
•投资回报(ROI)不清楚，很难将数据治理活动与业务价值联系起来。
•关键资源已经超负荷，无法承担治理活动。
因此，无论您多么需要数据治理，都有各种各样的原因导致它无法工作。在本文中，我们将重点介绍数据治理框架，该框架旨在提供克服常见数据治理障碍所需的深度、广度和灵活性。
一、数据治理框架
启动数据治理计划似乎有点令人畏惧。您正在为数据资产建立战略和策略。而且，你要让这个组织把数据当作企业资产来对待，就像它的建筑、供应链、雇员或它的知识产权一样。
然而，正如Jill Dyche和Evan Levy所指出的，数据治理是战略和执行的结合。这种方法需要既全面又务实:
•全面。在构建远景时，要考虑到数据使用和维护的各个方面。
•务实。政治挑战和跨部门斗争。因此，战术部署必须分阶段交付，以实现“速赢”，并避免组织因更大、更单一的工作而感到疲劳。
要实现这一点，数据治理必须涉及所有内部和外部IT系统，并建立超越组织竖井的决策机制。而且，它必须在企业级为数据质量提供责任。以下数据治理框架定义了一个全面的数据治理框架，其中包括实现整体的、实用的数据治理方法所需的所有部分。
这里提供的框架是一种通过协调和计划良好的治理活动避免数据功能障碍的方法。这些倡议需要与数据的创建和管理有关的两个要素:
•通过政策制定过程将业务输入到数据战略决策中。
•根据政策监控生产数据所需的技术手段。
总体而言，数据治理组织(政策、指导原则和操作过程)向所有涉众发出通知，并让他们知道，“我们将数据视为组织中的资产，这就是我们管理数据的方式。”
框架的顶部部分—企业驱动因素。处理治理的更多战略性方面，包括数据治理需求的企业驱动因素和战略；数据治理和方法部分指的是用于开发和监视驱动数据管理结果(如数据质量、定义、体系结构和安全性)的策略的组织框架；数据管理、解决方案和数据管理部分关注治理策略的战术执行，包括主动管理数据所需的日常流程和执行这些流程所需的技术。
虽然框架可以增量地实现，但是随着组织的成熟和业务需求需要新的组件，建立部署附加功能的策略有显著的好处。制定能够解决短期需求的战略，同时建立更长期的治理能力是很重要的。
从好的方面来说:组织从不从零开始。在您的组织中存在着具有不同的治理成熟度级别的组。在制定长期数据治理计划时，框架可以帮助您理解如何将各个组件作为整体的一部分使用，从而帮助您实现可持续的数据治理计划。
二、企业驱动因素
许多认识到数据治理需要的公司发现，在业务单位之间获得广泛的共识和参与具有挑战性。为什么?通常很难将结果与业务计划联系起来或演示ROI。
尽可能地将数据治理活动和投资与企业驱动因素联系起来是很重要的。这将允许您更快速地将数据治理“成功指标”与关键业务目标联系起来。看看以下两个案例:
地区性银行
一家地区性金融服务公司高调推出了一项初始数据治理计划，并获得了惊人数量的业务单位支持。它确定了数据管理人员，获得了数据分析工具，并决定在其启动工作中解决数据质量问题。分析揭示了问题最多的数据元素，团队跟踪数据，确定根本原因并找到解决方案。只有一个问题。经过数月的映射和跟踪，被认为问题最大的字段是电话号码和地址，这两个字段对高管来说都没有任何战略价值。该计划未能赢得更多的支持，高管们将他们的时间和注意力转向了与他们的商业策略和驱动因素更紧密相关的问题。
全球银行
尽管这家银行比地区性公司规模更大，但围绕巴塞尔协议III和风险数据汇总原则，它面临着日益复杂的合规要求。因此，数据治理成为银行多管齐下的遵从性战略中经过认可的一组实践。在采用这种更加集中的方法启动数据治理时，世行侧重于风险数据汇总所需的数据。数据管理员团队将所有筒仓数据质量工作整合到单个区域，确定了该数据的关键数据所有者，并构建了一个程序，旨在说明他们如何向必要的监管机构管理信息。这个项目显示了它的价值，并得到了越来越多的行政支持。
正如这两家银行所发现的，如果治理计划与特定的战略计划或业务挑战相联系，那么公司将获得更多的吸引力。这不仅允许治理活动和投资遵循公司目标并明确此类活动的ROI，而且还消除了有时应用于数据活动的“学术实践”标签。当不可能将数据治理与企业驱动因素结合在一起时，可以支持自底向上的方法，通过原型化较小的项目来推动进展，从而获得明显的成功，从而建立动力。
三、数据治理
与组织文化、决策文化和人员限制相关的障碍和挑战也是有很大潜力使你的数据管理计划偏离轨道的因素。
管理这些问题的关键是本部分框架中概述的规划目标、决策机构和决策权。这些规划使数据治理能够以适合文化和人员的方式实现。综合起来，规划目标、指导原则以及角色和职责构成了数据治理章程，该章程需要作为初始启动的一部分得到高级领导的批准。
如果关键资源超负荷，就必须有一组明确的涉众、关键业绩指标(KPI)，理想情况下还要有一些ROI度量，以便为启动和维持治理所需的资源获得资金。此外，还必须清楚地说明哪些活动将由谁来完成。这是如何实现的呢?这一切都是关于基于成熟数据管理过程的未来远景进行今天的规划，并为实现这一远景的路线图。
1、项目目标
与任何企业项目一样，数据治理需要确定可用于度量的目标。同样，与企业目标保持一致。这些是用于修改/改进关键业务流程的大规模工作，由于这些流程将同时使用数据并向其他流程交付数据，因此拥有定义数据治理链接的策略指导至关重要。潜在的联系是:
•在计划和工作团队中包括数据专员；
•确定数据风险和防范策略；
•为应用程序的元数据捕获设置标准。
2、指导原则
在决定资助哪些计划时，C级高管经常提到公司战略和业务驱动因素。当出现有关程序方面的难题时，参与者可以参考他们的数据治理指导原则。这些原则说明了数据治理如何支持公司的文化、结构和业务目标。一些指导原则包括:
•数据将作为共享资产进行管理，以实现业务价值最大化和风险降低；
•数据治理政策和决策将被清晰地传达和透明；
•数据治理计划将根据业务单元的规模进行调整。
3、决策机构
成功的数据治理的一个常见组成部分是让正确的业务涉众参与有关数据及其管理方式的决策。决策应该同时反映单个业务单元和企业的需要。
许多组织创建了数据治理委员会，其中通常包括来自业务和IT部门的领导。该委员会创建的数据治理操作程序可以促进与数据相关的决策，同时平衡业务单位的需求。
数据治理机构的组成部分包括:
•企业数据治理办公室。
•指导委员会。
•数据治理委员会。
•数据管家团队。
>首席数据专员。
>业务数据专员。
>技术数据管理员或数据保管人。
>工作小组。
•架构团队。
•数据需求经理。
•元数据管理经理。
•数据质量经理。
•安全性和访问管理经理。
•业务组成。
其中许多角色以某种形式存在。有效的数据治理需要这些个人和团体在围绕数据规则和过程的决策过程中变得根深蒂固。一旦数据治理角色成为人们工作的一部分，他们就更有可能对数据的角色做出更好的决策——以及如何将数据应用到企业使命中。
4、明确角色
在指定了决策制定机构之后，下一步是为已确定的数据治理活动定义角色。RACI方法是一个很好的工具。
RACI代表R = responsible(做工作);A =有责任心(确保工作完成/批准);C =咨询(提供意见);I =通知(通知，不是主动参与者)。确定一个人在RACI上的位置有助于弄清楚谁在做什么——以及如何做。
例如，您可以将RACI用于以下任何活动:
•批准政策和程序。
•制定政策和程序。
•监控合规。
•识别数据问题并提出补救措施。
•建立数据质量服务水平协议(SLA)。
5、建立职责
管理工作的定义是“一种体现对资源负责任的规划和管理的伦理”。“在数据管理领域，数据管理员是整个组织的数据管理员。数据管理员充当数据治理决策机构(如数据治理委员会)和实现数据政策的数据管理活动之间的管道。
数据管理专员是各自组织中的数据专家，作为数据定义、可用性、问题和访问请求的联络点。一个好的数据管家应该专注于:
•创建清晰、明确的数据定义。
•定义一个可接受的值范围，例如数据类型和长度。
•执行数据治理委员会或任何其他监督委员会制定的政策。
•监控数据质量，并在出现问题时启动根本原因调查。
•参与数据政策的定义和修订。
•了解业务部门的数据使用情况。
•向数据治理委员会报告指标和问题。
数据管理员接受数据治理委员会的指导，负责协调相互冲突的定义、定义有效值域、报告质量度量，并确定其他业务组织的使用细节。
从组织上讲，数据管理专员通常是在业务方面工作，但是他们有能力使用IT语言。
但更技术性的角色是在IT方面的数据管理员。数据保管员与数据管理员一起确保应用程序执行数据质量或安全策略——并创建适合该目的的数据监控功能。
数据管理专员可以以多种方式组织:按业务单元、数据域(如客户、产品等)、功能、系统、业务流程或项目。在任何数据管理组织中，成功的关键是授予干事监督数据(在他们的领域内)的权限。如果没有这个权限，您就失去了业务和IT之间的关键——并且整个治理机制可能会陷入混乱。
四、数据管理
数据管理是一组用于实现数据治理创建的策略的功能。这些功能同时具有业务和IT组件，因此必须对整个程序进行整体设计。数据管理功能包括数据质量、元数据、架构、管理、数据仓库和分析、参考数据、主数据管理和其他因素。
虽然数据管理是相当广泛的，但并不是所有这些规程都必须包含在数据治理的第一个阶段中。一些项目最初更关注于业务定义(元数据)，而其他功能可能强调客户的单一视图(主数据)。
以下是数据治理策略如何影响数据管理程序:
1、数据架构
数据体系结构包括定义数据环境的概念、逻辑和物理模型。标准、规则和策略描述了在整个企业中如何捕获和存储、集成、处理和使用数据。数据体系结构定义了在整个生命周期中用于数据管理的人员、流程和技术。
数据体系结构中的策略和过程的标准化可以防止重复工作，并降低由类似操作的多变量实现造成的复杂性。数据架构工件的例子包括实体关系图、数据流、策略文档和系统架构图。
2、元数据
元数据管理包括维护有关企业数据的信息，如其描述、沿袭、使用、关系和所有权。元数据有三种不同类型:
•业务。数据元素和实体及其关系的功能定义。
•技术。数据库系统中业务数据定义的物理实现，以及在系统之间移动数据时应用的规则。
•操作或过程。体系结构中数据创建和移动的记录。
有效的数据治理需要一种捕获、管理和发布元数据信息的方法。元数据管理系统为业务和数据分析提供业务术语表、沿袭可追溯性和可重用信息。自动化技术的性能远远超过文档和电子表格(元数据管理的传统形式)，因为几乎不可能在各种共享文档中重用定义或跟踪沿袭。
3、数据质量
数据质量包括有关数据质量以及如何监控、清理和丰富数据的标准和程序。传统的数据质量包括标准化、地址验证和地理编码等工作。
在数据治理程序中，自动化工具以批处理和实时模式净化和丰富数据。数据质量技术以独立的方式使用，并与事务系统集成以获得最终的灵活性。数据质量和数据完整性规则的定义应该在业务领域进行管理，但是这些规则的实际执行应该由IT进行管理。
4、数据管理
数据管理包括为管理数据体系结构中的日常操作设置标准、策略和程序，包括批调度和窗口、监视程序、通知和归档/处理。
在数据治理程序中，IT组织主要负责设置和管理这些策略和过程，并与业务部门协商原因。为了提高性能，数据管理过程还可以包括服务等级协议（SLAs）。
5、数据仓库、商业智能和分析
数据仓库、商业智能(BI)和分析已经发展成为一个独立的数据管理系统。与事务系统不同，这些计划为业务单位提供了处理大量信息和执行更高级分析的方法。通过为BI和分析工作提供数据仓库，您可以从过去的事件中获得更多的洞察力，并预测未来的事件，从而为更有效的管理决策和策略提供更好的洞察力。
这方面的工具和技术包括数据移动工具，包括ETL(提取、转换和加载);ELT(提取、加载和转换);数据联合方法;sophis-ticated安全;以及数据报告和可视化工具。有了数据治理，系统就可以获得正确的数据来执行更精确的分析——并从BI和分析程序中获得更多价值。
6、主数据
有些数据元素，如客户或产品，对任何业务的操作和分析都至关重要——在大多数内部和外部系统中都很常见。这组数据元素称为主数据。多年来，主数据管理(MDM)一直在尝试在整个企业中集成这些数据，取得了不同程度的成功和价值。
目前的MDM方法主要关注跨事务系统整合、匹配和标准化这些数据。通过这个主数据池，您可以获得更高质量的信息和跨所有组成系统的协调数据。
MDM本质上是一项非常依赖数据治理的工作。例如，创建单个客户视图的第一步需要业务的不同部分就“客户”一词的定义达成一致。MDM还要求IT和业务部门理解如何跨系统表示客户——以及将哪些元素视为公共主数据。在没有进行数据治理的情况下启动MDM方法，是许多组织无法执行初始MDM投资的常见原因。
7、参考数据
所有事务和业务智能系统都使用引用数据向应用程序提供查找值，以提高存储效率。应该使用专门的引用数据管理系统、MDM系统或外部链接数据源(或这些方法的组合)来管理这些数据，以确保跨所有平台的一致性。
当业务组就支持业务活动的条款达成一致时，数据治理提供了创建更好的引用数据的能力。数据治理委员会与数据管理员合作，提供了一种方法来编目和捕获这些术语并分配所有权。例如，一旦使用了一组公共的州代码，以前使用不同版本的州代码(可能会跨部门更改)的报告现在将产生更加一致和准确的结果。
8、数据安全
数据安全包括用于确定组织内源级数据和分析产品允许的访问级别的策略和过程。应用这些策略的最佳实践是开发基于角色的模型，其中将访问权限授予角色和组，并将个体分配给一个或多个角色或组。应特别注意监管要求和隐私问题。确保正确的人员能够访问正确的数据是有效治理的关键。
数据安全文档包括政策、过程、RACI图表、矩阵和其他相关信息。业务组织负责定义各种角色和组所需的访问级别，而IT和安全组织负责实现系统体系结构中的需求。
9、数据生命周期
数据应该从进入组织的那一刻开始管理，直到归档——或者在不再有用时处理。组织的业务方面负责定义企业使用的各种类型数据的来源、移动、标准化/浓缩、使用和归档/处理需求。IT组织负责实现这些需求。
五、方法
数据治理计划的执行涉及三个主要领域:人员、流程和技术。这三者都是正确执行数据治理委员会制定的宪章所必需的。
1、人
拥有适当技能的有组织的人员结构对于数据治理的成功至关重要。这个结构是作为创建数据治理宪章的一部分来构思和记录的:
•数据治理委员会包含熟悉组织运营和战略方向的高级人员。他们决定计划的高层政策，并批准为执行这些政策而开发的程序。
•利益相关者是与项目有直接联系的业务和IT管理团队成员。所以，他们对这个项目的成功投入最大。他们向理事会提供反馈，并定期获得项目进展的最新情况。
•专员是负责执行数据治理委员会制定的政策的主题专家。他们负责组织中数据的质量，帮助最大化其价值。
•数据生产者或消费者要么通过应用程序创建数据，要么在业务流程中使用数据驱动决策。
这些小组需要权力来创建策略和过程来推动项目的成功。作为回报，他们直接对他们负责。同样重要的是，这些职责不是次要的，而是他们工作描述中不可分割的一部分。
2、过程
程序执行的第二个主要领域是过程。这些策略对于每个企业来说都是独一无二的，但是对于所有成功的项目来说，都有一些共同的主题:
•度量。度量允许组织维护对数据治理过程的控制。度量也向用户和管理人员证明了程序的有效性，因为这些程序通常被视为与利润产生没有直接关系的管理活动。数据治理程序是一个持续改进的程序，因此有效的度量是任何成功程序的基本组成部分。
•沟通。完整、简洁的交流对于任何大型项目的成功都是至关重要的，数据治理也不例外。任何交流框架都应该关注可重用性、广泛接受度和有效性。与此同时，有效的沟通基础设施的各个方面的培训可以帮助整合整个项目强有力的沟通努力。
3、技术
现代组织是复杂的实体，它们的数据架构反映了这一点。虽然可以使用文档、电子表格和嵌入数据库的数据质量验证例程来管理数据治理程序，但这种方法是劳动密集型的，并且难于管理。
当前的最佳实践包括执行诸如标准化、数据质量、数据分析和监控等任务的自动化工具。这允许组织扩展到最大容量的数据处理，为任何应用程序维护相同的规则和流程。
六、方案
框架的解决方案部分描述了用于实现和自动化数据治理计划或数据管理活动的各种活动的应用程序类型。
这些工具包括:
•数据质量。建立并实施规则和策略，以确保数据满足数据治理程序建立的业务定义和规则。
•数据集成。组合来自多个数据源的数据，以提供更统一的数据视图。这包括数据的移动、处理和管理，以供多个系统、应用程序、工具和用户使用。数据联邦或数据虚拟化是另一种形式的数据集成，在这种集成中，用户可以访问隐藏的、缓存的和混合的数据视图，而不考虑数据的物理位置。
•数据准备。向业务用户提供自助式访问，以便他们能够混合、清理和转换数据，而不知道如何编码或加重数据负担。
•参考数据管理。创建和维护一组可由其他应用程序、数据库或业务流程引用的常用数据。引用数据可以包括状态代码或医疗代码等内容，并且一旦完成，这些数据可以存储为值列表、代码表(文本/值对列表)或层次结构。
•主数据。整合、标准化和匹配通用数据元素(如客户或产品)，以在整个组织内实现这些实体的更一致视图。
•数据分析和探索。分析现有数据和潜在的新数据源以确定其内容，帮助您了解要公开什么以及存在什么质量或连续性问题。
•数据可视化。以各种形式生成数据的图形表示，包括仪表板和分析结构。
•数据监测。通过持续实施规则检测数据中的数据质量问题。
•元数据管理。获取和存储关于数据的信息，帮助描述整个组织和数据的沿袭中的应用程序数据资产的细节。
•业务术语表。从业务的角度为数据系统构建定义和业务规则的存储库。
七、总结
随着组织继续变得更加数据驱动，它们的成功最终将取决于维护和使用数据的一致视图的能力。更好的数据——以及对这些数据含义的更清晰的理解——可以推动洞察力，帮助你每天做出更好的决策。
数据治理框架的组件为各种规模的企业建立和维持有效的数据治理计划提供了一个全面的结构。有了这些元素，您就可以向组织中的所有用户提供可信的、及时的、高质量的数据。并创建数据，推动一个更有效，高效率和反应迅速的组织。
