尽管我在数据治理方面有很多的实践,而且已经看到效果是积极的,但仍然很难衡量数据治理的确切量化效果。在本文中,我们讨论数据治理和组织之间的关系,随后,使用真实案例来检查数据治理和业务绩效之间的关系。这两者一起提供了对数据治理效果的深入了解。
前言
数据在企业中已经变得非常重要。它们最初被视为业务过程的副产品,例如销售记录、生产记录和财务记录。如今,数据本身被认为是一种有价值的资产。这个价值主要通过两个重要的应用提供:业务流程和报告。首先,日益复杂和全球化的业务流程需要可靠的数据支持。例如,国际集装箱航运业需要及时、准确的数据来进行物流规划;数据质量不足导致供应链效率低下。其次,企业利用数据向上级管理机构等进行报告。例如,税务报告依赖于公司采购的可靠记录。换句话说,企业数据被用于引导和指导业务绩效,同时支持遵从性。
尽管数据管理很重要,但在公司实施数据管理并不总是足够的。许多公司都有管理良好的IT系统,但与企业数据有关的职责和责任大多不明确。我们看到,当组织中没有明确的策略、规则和控制来定义谁对哪些数据负责时,数据的整体质量很可能会比较低。糟糕的数据质量导致组织业务流程效率低下,并导致公司面临不符合相关监管机构规定的风险。
在大多数情况下,很难预先为可持续的数据管理组织获得赞助。我们认为,对组织中的数据治理的影响和功能理解不足是造成这种情况的根本原因。数据治理如何影响组织?对企业绩效的量化影响是什么?换句话说:改进数据治理的业务案例是什么?
在本文中,我们提供了一个关于组织中的数据治理的架构,以阐明它影响企业数据和业务流程的方式。通过分析食品、零售和物流领域的案例,深入了解数据治理对组织的影响。
一 什么是数据治理
数据治理常用的定义由Thomas提出:“数据治理是一个信息相关过程的决策权和可问责性的体系,它根据商定的模型执行,该模型描述了谁可以利用什么信息采取什么行动,以及在什么情况下使用什么方法。”从本质上讲,数据治理是一个总体概念,它定义了谁对流程中的什么点上的什么数据负责,以及扮演什么角色。然而,仅企业中数据的角色和责任不足以以可持续的方式提高数据质量。数据治理需要其他数据管理元素的补充,这些元素共同形成一个全面的数据管理框架。
基于我们在企业数据管理领域的经验和常用的数据管理框架,如DAMA DMBOK,我们定义了一个数据管理框架。该框架由9个部分组成,代表企业数据管理方法。数据治理是方法的一部分,与数据定义、标准和质量一起,在组织中提供单一的真相来源。这一揽子措施创建了一个可持续的数据管理组织,因为它们在企业数据战略和原则的指导下被适当地嵌入到组织中。
二 理论:概念化的数据治理
在我们的数据管理项目中,我们已经体验到数据治理和来自企业数据管理框架的数据管理措施对业务的绩效和遵从性有积极的影响。这些措施将数据质量提升到适合组织及其监管机构的水平。换句话说,应该提高数据质量,使数据成为足够可靠的信息源,完全支持企业的业务流程和报告。
尽管我们在企业数据管理项目中有丰富的经验,帮助许多组织创建可持续的数据管理组织,但很难确定对业务绩效的确切影响。例如,数据治理对物流部门的运营支出(OPEX)有什么影响?降低10% ?降低30% ?可以想象,这个问题很难找到一个直截了当的答案。一个主要原因是,数据治理(包括数据管理组织中的所有附带措施)具有企业范围的影响。与所有类型的治理项目本质上一样,数据治理是自顶向下启动的。因此,有许多因素最终决定对企业业绩的影响。例如食品零售商的ERP系统中不正确的产品数据。由于不正确的产品数据输入,供应链规划和流程效率低下。例如,错误的产品尺寸可能导致错误的卡车装载时间表,需要花费昂贵的额外卡车临时调度。此外,数据治理应该是企业数据管理方法的一部分,这样才能正常工作。因此,很难从企业数据管理框架实现的效果中抽象出数据治理的具体效果。
由于这种复杂性,从数据治理、企业数据质量和业务性能之间的概念关系是至关重要的。通过将关系映射到一个典型的组织,创建一个组织中数据治理效果的通用模型,从而理解数据治理的效果。
我们从底层开始。技术层包括计算机、数据库等,还包括包含企业中使用的数据的其他设备。其他要素包括,存储在云中的数据,存储在世界上某个地方的互联网服务器上的数据等。
技术层中的数据构成了之上数据层中的Create、Read、Update、Delete (CRUD)处理和其他数据处理的基础。CRUD过程是数据执行的四个基本过程。其他重要的数据处理包括数据的获取、验证、交换和归档。例如,当在供应链流程中使用一段数据如关于交付地址、大小、重量和产品内容的信息时,该数据是“读”的,以便在业务中使用。从因果关系的角度来看,这意味着如果技术层的质量较低,那么可用的数据执行过程的质量也会较低。例如,如果数据库中的数据难以访问,那么数据处理也会受到影响。
数据层中的流程创建了一定的数据质量。例如,在创建和处理销售订单时,该订单的数据质量取决于这些流程的功能。这是因为数据质量是一个多方面的概念,包括时效性等元素。叫数据质量是数据适合企业使用的程度,并且可能导致企业效率的高低。
主要的业务流程和报告位于业务流程层。这两者都受到数据质量的影响,因为需要足够的数据质量来支持有效的业务流程和报告。例如,在某一产品的生产过程中,必须知道产品计划的数量和组成。如果数据质量太低,例如由于CRUD过程失败,它可能会在生产过程中以及在企业过程的报告中导致错误,如错误的财务数据。
业务绩效和法规遵从性位于因果关系链的末端。这些是由业务流程和业务流程层中的报告所决定的。首先,业务流程的效率在很大程度上反映了企业的业务绩效。这种关系是相对直接的,因为在生产过程中,较低的吞吐量将导致产量下降,从而导致经营绩效下降。第二,报告影响企业的经营绩效和合规性。一方面,报告用于业务流程的预测和性能概述,在此基础上可以管理监视流程。另一方面,根据国家和部门的不同,报告(审计追踪)被用来证明遵守了一些法律和规则。
作为一个重要因素,组织层包括数据治理。它会影响数据层中的CRUD和其他数据处理,因为作为数据治理的结果,组织将更多地控制其数据处理。例如,它涉及与企业数据有关的角色和责任。如果没有设定责任,数据中的错误可能不会被纠正,或者只是在过程中很晚才发现。如果指定了负责任的员工,就可以假定实际进入系统的错误会更少,或者错误会更早地得到纠正,从而导致更有效的流程。
尽管数据治理的概念看起来很简单,特别是对那些经常参与数据管理项目的人来说,但这是衡量组织中数据治理效果的一个重要起点。数据治理是组织结构的一部分,这意味着它是组织中的首要层。数据治理影响整个组织。这种企业范围的影响极大地增加了度量这些影响的难度。
三 实践:数据治理效果的案例
从数据治理的概念中得出的结论是明确的:测量数据治理的效果既不容易,也不明确。为了解决这个问题,接下来使用了3个客户案例来确定实施后的效果。
我们收集了关于作为数据管理项目的一部分实现数据治理的效果的信息。与前面的结论一致,数据治理的效果很难与企业数据管理框架中的其他措施的效果完全分离。仅靠数据治理还不足以可持续地提高数据质量。因此,可以将确定的效果归因于数据管理组织的实现,数据治理是数据管理组织的一个组成部分。
案例A:食品零售领域
第一家公司是总部设在荷兰的大型公司,主要经营国家食品和零售行业。该公司加工的产品在400多个当地销售点转售,但本身不生产任何产品。这家公司的供应链非常复杂,对公司业务流程的效率至关重要。本案例的特点是产品数据库中的数据质量不足,主要原因是对企业数据缺乏形式化的责任。
在此客户引入数据治理和数据管理措施之前,整个供应链的数据质量不足以确保高效的业务流程。公司的产品数据库是公司日常运营的支柱,包含来自各供应商的数万种产品。当时,它包含数百甚至数千个错误条目,而且还在不断增加。这给运营的效率带来了很大的挑战,因为消除产品数据库中错误已经变成了日常工作。甚至严重的错误也时有发生,完全停止了对当地销售点的产品供应。在当地的销售点无法买到产品,这不仅对公司的利润构成了潜在的风险,而且对公司的声誉也构成了威胁。特别是在一个竞争激烈的市场,这是非常令人担忧的。
产品数据库中数据质量恶化的一个重要根源是对产品数据的整体关注度较低。很少有员工觉得对公司中使用的数据库负责。根据这中情况,A公司建立数据管理组织,包括数据治理。随着时间的推移,公司全面实施了企业数据的角色和职责,以及与数据管理组织相关的大部分其他方面,如会议机制,不断完善产品数据。
最重要的是,数据质量提高了吗?公司是否更能控制其产品数据?并且,既然已经将数据治理和伴随的数据管理措施引入公司,业务流程是否更加高效?总的效果是好的。在系统中的数千个错误中一个也没有留下,其余的已经从结构上解决了。该公司表示,与数据相关的工作时间约有50%被节省了。每周的产品数据变化,例如本地销售点的价格变化,就是这种改进的一个例子。由于产品数据库中的错误,必须在一周内以一种非常特别的方式执行。例如,修改后的价格被证明是不正确的,需要当地销售点员工进行额外的手动调整。在实现之后,几乎不需要特别的更改。总之,通过数据治理从结构上改善数据质量,公司能够从结构上提高其供应链效率,减少运营支出。这验证了数据治理和企业绩效的关系。
案例B:食品生产领域
第二个案例是一家在食品生产领域开展国际业务的公司。这家公司在世界各国生产产品。因此,供应链的效率对公司的经营绩效非常重要。本案例的独特之处在于对数据管理的集中化的强烈关注。
与案例A的情况类似,对于有效的供应链流程,数据质量是不够的。问题的焦点是世界各地当地生产设施的数据质量。这些设施都有独立的数据库,包含不同格式和质量的数据。因此,对于全球运营商来说,几乎不可能了解生产设施的过程效率,更不用说控制生产成本了。例如,这导致同一国家的两个生产设施有不同的供应商生产同一产品,从而错过了大规模的利益并浪费运输成本。不正确的发票和关键生产过程中的错误也频繁发生。这些效率低下对公司的盈利能力是一个严重的问题。
正如我们知道的,生产设施专注于生产和运输产品到销售点的日常事务,以至于很少有员工能够监督系统中数据质量的影响和重要性。为了处理重复的供应商条目,开始了大量的变通方法,系统中的一些字段被用于其他目的,从而在系统中创建了一个数据条目迷宫。同样,对公司数据的责任没有正式确定,导致了数据质量的恶化。
在这种情况下,数据治理的实施和相应的数据管理措施的效果也是积极的。数据管理集中于全球总部,负责本地生产设施的数据管理。这包括一个大型的数据清理操作,从本地系统删除大约40%的所有数据。与集中实施的数据管理组织一起引入了数据治理,例如,全企业范围的数据标准,总部和本地生产设施之间的结构化通信,以及数据质量工具,数据质量显著提高。为业务战略的目的在生产过程中部署新的洞察力,生产成本可以大大降低。这一结论与数据治理概念中的关系是一致的。
案例C:物流领域公司
第三个案例是一家物流领域的国际公司。该公司的产品销往世界各地。由于运输产品的过程是这家公司的核心业务,而且它所经营的市场竞争非常激烈,该公司严重依赖其供应链中的数据质量。
对于这家公司,数据质量对于业务流程的效率至关重要。一方面,该公司必须遵守许多国家日益复杂的监管要求。另一方面,该公司所处的市场需求减少,需要一个高效的供应链。在过去,由于数据质量不足,公司遇到了海关问题,整体竞争力下降。例如,某些货物无法在特定国家海关处理,或由于货物数据不足或不正确而延误。最终,这导致了客户满意度的下降,而这是公司根本无法承受的。
作为解决方案,实施了数据治理和数据管理措施,包括企业数据和数据质量工具的角色和职责。整个方法的重点是降低供应链的成本,使公司保持其在全球市场的地位。这种方法对供应链的效率产生了巨大的影响。该公司估计,仅创建和实施业务规则作为企业数据标准的投资回报率就超过350万欧元。这一成功的原因是,该公司更多地控制其企业数据的质量。它不仅能够指示数据是否可用,而且还能够检查数据质量的其他方面,如正确性。所有这些都集中在一个数据质量仪表板中,供应链中的决策制定得到了显著改善。这使得供应链更高效,合规问题更少,客户满意度更高。由于数据治理而改进的业务性能和遵从性验证了数据治理的效果。
案例D:金融领域行业
最后一个案例涉及一家大型国际金融公司。与供应链驱动型公司相比,企业绩效主要基于客户关系。本公司不生产、运输或销售任何实物产品。顾客满意对这家公司的生存至关重要。
这个案例的一个有趣特性是,在引入数据治理和相关的数据管理措施之前,客户信息存储在公司的系统众多,导致了许多系统中不一致、不完整、不正确和重复的数据条目。当然,由于它对客户关系和满意度的强烈依赖,这给业务业绩带来了沉重的负担。由于数据质量持续恶化,数据清理必须不断执行。
为了提高公司的整体数据质量,实现了集中的数据管理,包括数据治理。不同系统中的数据治理是集中的,创建了一个单一的真相来源。正如我们在供应链驱动的公司中看到的,数据治理和相应的数据管理措施显著提高了数据质量和对企业数据的总体控制。现在不再需要持续的数据清理,数据质量仍然适合目标,这大大提高了客户的满意度。在一项国际客户满意度指数中,该公司是业内第一个达到正数的公司,这在很大程度上得益于数据管理方法。这种情况验证了数据治理概念化中的关系。
这四个案例的结论似乎很清楚:数据治理和数据管理措施是一个有效的概念,可以从结构上提高企业数据质量,使其符合公司的目的。不同情况下略有不同,但效果是相似的。案例A的公司专注于产品数据,而案例D的公司专注于提高客户数据质量。不管确切的应用是什么,数据必须始终支持公司的主要流程,类似于我们在数据治理概念化中得出的结论。企业的核心数据是客户、产品还是其他数据并不重要。特别是现在,数据在业务流程中变得越来越重要,对公司来说越来越成为一种资产,数据管理的相关性也越来越高。
四 结论
本文对数据治理进行了概念化,并对四家公司的数据治理效果进行了分析。最重要的结论是,作为企业数据管理方法的一部分,数据治理对企业数据质量有积极的影响。我们看到,公司更好地控制了他们的数据,从结构上提高了质量。改进后的数据质量对业务流程的效率和业务绩效有相当大的影响,同时也提高了对监管机构的遵从性。然而,确切确定影响仍然是一项特定而复杂的任务,因为许多决定业务绩效和遵从性的公司特定因素都受到数据治理的影响。因此,将数据治理从企业数据管理框架中的其他措施中抽象出来是很困难的。就目前而言,与企业数据管理的经验和积极的效果,企业应该创建一个可持续发展的数据管理组织。