再谈主数据管理|一文读懂主数据项目实施

本文涉及的产品
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
简介: 主数据管理是企业改善其关键数据资产(如产品数据,资产数据,客户数据,位置数据等)的一致性和质量的必要数据管理活动。

 序

  主数据管理是企业改善其关键数据资产(如产品数据,资产数据,客户数据,位置数据等)的一致性和质量的必要数据管理活动。

   如今,许多企业尤其是集团型企业拥有数百个单独的应用程序和系统(ERP、CRM等),跨组织或部门的数据很容易变得零散、重复,并且最常见的就是及时性比较差。在这种情况下,准确回答企业绩效指标或KPI就变得很困难。例如“谁是最有价值的客户?”,“哪些产品的利润最高?”,“企业有多少名员工?”等现实问题时就难以回答

   企业对准确、及时的数据的需求非常迫切,并且随着数据来源的增加,对其进行一致的管理以及使数据定义保持最新状态。因此企业的所有部门都使用一致的数据是一个永无止境的挑战。为了应对这些挑战,企业必须进行主数据管理。

   本文将主要讨论以下重点问题:

    ■什么是主数据

   ■为什么管理主数据

   ■主数据管理什么

   ■如何实施主数据

   ■谁需要参与主数据实施

   一、什么是主数据

   通俗的说主数据就是企业中多个信息系统共享和使用的数据。

   例如:ERP系统中有“客户主数据”,“项目主数据”和“供应商主数据”。主数据通常是公司的关键资产之一。

   1、主数据定义

   认识主数据最重要的就是了解主数据的定义。首先,有一些非常容易理解且易于识别的主数据,例如“客户”和“产品”。说实话,许多定义主数据的方法都是简单地引用通常商定的主数据,例如:客户、产品、位置、员工和资产。

   但是,如何确定应由主数据管理软件管理的数据元素却要复杂得多。这就造成了关于什么是主数据以及如何对其进行制定的混乱。为了更全面地回答“什么是主数据?”这个问题,我们先看一下在企业中常见的6种数据类型:

   ■非结构化数据:可在电子邮件、白皮书、杂志文章、企业内部网站门户、产品规格设计文件、营销资料和PDF文件中找到的数据。

   ■交易数据:具有历史意义或其他系统需要分析的业务事件。通常与系统交易有关的数据,例如销售、交货、发票、故障单、索赔等。交易数据是使用主数据实体的单位级别的交易。与主数据不同,事务本质上是特定的时间和瞬时数据。

   ■元数据:关于其他数据的数据。它可以存储在正式的存储库中或以各种其他形式存在,例如XML文档、报告定义、数据库中的列描述、日志文件、连接和配置文件。

   ■层级数据:存储其他数据之间关系的数据。它可以作为财务系统的一部分存储,也可以作为对现实世界关系的描述单独存储,例如组织结构或产品BOM。层级数据有时被视为超级主数据域,因为它对于理解和发现主数据之间的关系至关重要。

   ■参考数据:一种特殊类型的主数据,用于对其他数据进行分类或用于将数据与企业范围以外的信息相关联。可以在主数据或交易数据对象之间共享参考数据,例如国家/地区、货币、时区、付款条件等。

   ■主数据:企业内部的核心数据,描述开展业务所围绕的对象。它通常不经常更改,并且可以包含经营业务所需的参考数据。主数据本质上不是事务性的,但它确实描述了事务。

   2、确定要管理的主数据

   尽管标识主数据实体非常简单,但并非必须对所有符合主数据定义的数据进行管理。通常主数据只占所有数据的一小部分,但它也是最复杂的数据,并且是维护和管理的最有价值的数据。

   那么,将哪些数据作为主数据进行管理?建议使用以下规则判断,在决定是否将给定实体视为主数据时综合考虑以下所有这些要素。

   ■行为数据

   主数据可以通过与其他数据交互的方式进行描述。例如:在交易系统中,主数据几乎总是与交易数据有关。一个客户买了产品,一个供应商销售的部分和合作伙伴提供的材料的位置。从根本上讲,主数据和交易数据之间的这种关系可以看作是名词/动词关系。交易数据代表动词,例如销售、交付、购买、电子邮件和吊销,而主数据是其名词。

   ■生命周期

   主数据可以通过创建、读取、更新、删除和搜索的方式来描述。对于各种主数据元素类型而言每个公司都是不同的。

   例如:如何创建客户很大程度上取决于公司的业务规则、行业细分和数据系统。一家公司可能有多个客户创建媒介,例如通过Internet,直接通过客户代表或通过直销店。另一家公司可能只允许通过与呼叫中心的电话直接联系来创建客户。此外,如何创建客户元素与创建供应商元素肯定不同。

   下表说明了四个通用主数据域的不同CRUD周期。

生命周期

顾客

产品

资产

员工

创建

客户访问(例如访问电子采购网站)触发帐户创建

在供应链中购买或制造产品

在必要的批准流程下,通过采购订单获取

人力资源部聘用了一名新员工,然后他必须填写大量表格,参加入职培训,进行福利选择,确定资产分配并遵循办公室任务

读取

基于查看者凭据的上下文视图

定期库存目录

定期报告的目的,确定折旧,核实

办公室访问,绩效考核,保险索赔等

更新

地址,折扣,电话号码,信用帐户

包装变更,原材料变更

转移,维护,事故报告

移民状况,婚姻状况,专业提高,加薪,转岗

冻结

死亡,破产,清算

已取消,已更换,不再可用

已出售,已破坏,被盗,报废

合同终止,死亡

搜索

CRM系统,呼叫中心系统

ERP系统,订单处理系统

总帐跟踪,资产数据库管理

HR LOB系统

   ■数据基数

   随着数据基数减少,被视为主数据的可能性也随之降低。

   例如:如果一家公司只有三个客户,那么组织很可能不会考虑这些客户的主数据,至少在使用主数据管理解决方案支持他们的情况下,这仅仅是因为使用主数据基础架构来管理这些客户没有任何好处。相反,有成千上万个客户的公司会认为客户是一个重要的主题领域,因为伴随着管理如此庞大的实体集所带来的问题和收益。

   这两家公司的客户价值是相同的,因为两家公司都依靠他们的客户开展业务。但是,一个不需要客户主数据解决方案,而另一个则需要。基数不会改变给定实体类型的分类;但是,随着实体类型基数的增加,拥有用于管理实体类型的解决方案的重要性也随之提高。

   ■使用期限

   与交易数据相比,主数据的波动性较小。随着它变得更加不稳定,通常认为它更具事务性。

   例如:有些情况可能会考虑减少主数据属性。有时可能会认为这是一笔交易。根据合同的期限,合同可以选择两种方式。

   促进职业运动员发展的机构可以考虑其合同主数据。在这种情况下,每个彼此都不相同,并且通常具有超过一年的期限。仅拥有一个称为“运动员”的主数据项可能会很诱人。但是,运动员在任何给定时间往往都有多个合同:一个是与团队合作,另一个是与公司代言产品。随着每份合同的组成部分的重新谈判或运动员的交易,该机构将需要随着时间的推移管理所有这些合同。

   其他合同(例如,用于汽车细节设计或房屋油漆的合同)更像是一笔交易。它们是一次性的,短暂的协议,旨在提供支付服务,通常会在数小时内完成并销毁。这些合同就没必要做主数据管理。

   ■复杂程度

   简单实体即使是有价值的实体,也很少会面临管理上的挑战,很少被视为主数据。元素越不复杂,管理该元素的变更的可能性就越小。通常,仅对这些数据进行收集和统计。

   例如:诺克斯堡可能不会跟踪其存储的每个金条的信息,而只会保留其中的数量。每个金条的价值都很高、基数高、寿命长、但是复杂度低。

   ■价值变化

   数据对公司而言越有价值,就越有可能将其视为主数据。

   ■易变性

   虽然主数据通常不如事务数据易变,但是具有完全不变的属性的实体通常不需要通过主数据项管理。

   例如:稀有钱币似乎符合主数据处理的许多标准。一个稀有的硬币收集者可能会拥有许多稀有的硬币,因此基数很高。由于它们具有历史和描述(例如,正面,反面,图例,题词,边框和字段的条件以及设计师的姓名缩写,边缘设计,图层和肖像等属性),它们也非常有价值且复杂。

   尽管有所有这些条件,但稀有硬币并不需要作为主数据项进行管理,因为它们不会随时间变化,或者至少它们的变化不大。在揭示特定硬币的历史记录或必须纠正某些属性时,可能需要添加更多信息,但是,一般来说,稀有硬币不会通过主数据管理系统进行管理。

   ■重复使用

   重用是主数据管理的主要驱动力之一。

   例如:在简单的企业中,CRM系统将管理有关客户的所有信息,而无需与其他系统共享有关客户的任何信息。但是,在当今复杂的环境中,客户信息需要在多个应用程序之间共享。

   由于多种原因,并非总是可以访问主数据,因此人们开始将主数据存储在各个位置,例如电子表格和应用程序私有存储。仍然存在诸如数据质量下降之类的原因来管理未在整个企业范围内重复使用的主数据。但是,如果主数据实体可在多个系统中重用,则可以肯定的是,应作为主数据对其进行管理。

   3、小结

   尽管枚举各种主数据实体类型很简单,但是有时确定公司中的哪些数据项应被视为主数据更具挑战性。通常,可能需要管理不符合主数据定义的数据。

   最终,在决定应将哪些实体类型视为主数据时,与依赖于简单的实体类型相比,最好根据业务需求环境下的行为和属性对它们进行分类。

   二、为什么管理主数据

   因为主数据由多个应用程序使用,所以一个地方的数据错误可能会在使用它的所有应用程序中引起错误。

   例如:客户主数据中不正确的地址可能意味着订单、账单和营销资料都被发送到了错误的地址,同样,错误价格可能会造成营销灾难。

   1、为什么需要管理主数据

   一个典型的主数据恐怖故事:

   信用卡客户从北第9街2847号移到北第11街1001号。客户立即更改了帐单地址,但几个月未收到帐单。一天,客户从信用卡帐单部门接到质询电话,询问为什么未还款。客户确认他们更改了新地址,而开票部门确认文件中的地址是北第11街1001号。客户要求账单的副本以结清帐户。

   再过两周没有帐单后,客户回电,发现该帐户已移交给收款公司。这一次,客户发现,即使文件中的地址是1001号北第11街,帐单地址被列为101 11第北。在律师之间打了几次电话和来信之后,账单终于得到解决,信用卡公司失去了一个终身客户。

   在这种情况下,数据的主副本是准确的,但是它的另一个副本是有缺陷的。主数据必须正确且一致。即使主数据没有错误,也很少有组织只有一组主数据。许多公司都是通过并购来发展的,上级组织收购的每个公司都有其自己的客户主数据、项目主数据等。

   如果您可以将新的主数据与当前的主数据进行合并,这是最好不过的,但是除非被收购的公司在遥远的国家拥有完全不同的业务,否则很可能会有一些客户和产品出现在这两个国家中多组主数据且通常具有不同的格式和不同的数据库。

   如果两家公司都使用邓白氏编号(Dun&Bradstreet Number)或社会保险号(Social Security Number)作为客户标识符,那么发现哪些记录是针对同一客户的,就很容易解决;但是这种情况很少。在大多数情况下,客户编号和产品编号是由创建主记录的软件分配的,因此在两个数据库中同一客户或同一产品具有相同标识符的机会非常小。如果从不同供应商编号的不同供应商那里购买了相同的产品,则物料主数据更难以统一和管理。

   总之,由于同一客户在不同数据库中可能具有不同的姓名、客户编号、地址和电话号码,因此将主列表合并在一起可能非常困难。例如,威廉·史密斯(William Smith)可能以比尔·史密斯(Will)、史密斯和威廉·史密斯的身份出现。普通数据库联接和搜索无法解决这些差异。这就需要一个非常复杂的工具来理解昵称、备用拼写和键入错误。该工具可能还必须认识到,如果不同的姓名都生活在相同的地址或具有相同的电话号码,则可以将不同姓名的人做同一性认定。

   2、创建主数据的好处

   统一的合并账单,可以节省资金并提高客户满意度,无需担心从多个客户列表中向客户发送相同的营销文献,这既浪费钱又降低了客户体验,整个组织中客户的统一视图,即在将客户帐户移交给收款公司之前知道该客户是否欠组织的其他企业款,或者更重要的是,该客户是否是另一个部门的最大业务来源。统一的物料视图,以消除资金和货架空间的浪费,以及因在不同零件号下存储相同物料而造成的人为短缺的风险。

   最后,向SOA和SaaS的发展使主数据管理成为一个关键问题。例如:如果创建通过定义良好的XML消息进行通信的单个客户服务,则可能会认为您已定义了单个客户视图。但是,如果将同一个客户存储在具有三个不同地址和四个不同电话号码的五个数据库中,那么您的客户服务将返回什么?同样,如果您决定订购通过SaaS提供的CRM服务,则服务提供商将需要数据库的客户列表。您将发送哪个列表?

   由于所有这些原因,为组织维护高质量、一致的主数据集正迅速成为一种必要。维护此数据所需的系统和过程称为“主数据管理”

   三、主数据管理什么

   主数据管理是确保主数据在整个企业范围内得到协调的技术、工具和流程。主数据管理提供了统一的主数据服务,该服务可为整个企业以及业务合作伙伴提供准确、一致和完整的主数据。

   此定义中有两点值得注意:

   主数据管理不仅仅是一个技术问题。在许多情况下,需要对业务流程进行根本性更改以维护干净的主数据,并且某些最困难的主数据管理问题比技术问题更难以协调。

   主数据管理包括创建和维护主数据。主数据解决方案必须包含工具和流程,以随着时间的推移更新和扩展主数据以保持整洁和一致,否则花费大量时间、费用和精力来创建一组干净、一致的主数据是一种浪费。

   主数据管理不仅仅是一个技术问题,这意味着企业不能仅靠安装一个系统就可以解决所有问题,那么强大的主数据管理应该包含什么呢?

    在开始进行主数据管理之前,主数据管理策略应围绕以下六个领域构建:

   治理:管理组织机构、政策、原则和质量以促进对准确的和经过认证的主数据的访问。本质上,这是跨组织定义主数据管理程序各个方面的过程。

    评估:根据既定目标做到何种程度?测量应着眼于数据质量和持续改进。

   组织:在整个主数据管理中安排合适的人员,包括主数据所有者、数据管理员和参与治理的人员。

   制度: 主数据管理应遵循的要求、政策和标准。

   流程:整个数据生命周期中用于管理主数据的已定义流程。

   技术:主数据系统、集成和所有相关支持技术。

   四、主数据怎么管

   一旦主数据管理项目计划获得了认可,就该开始实施主数据项目了。尽管将主数据管理应用于组织中的主数据是有效的,但是在许多情况下,难以证明整个企业范围内开展工作的风险和费用是合理的。

   专家提示:从关键数据源入手开展组数据治理工作更容易成功。

   如果您从小做起,则应该对所有最终可能要包含在企业中的主数据进行分析,以便以后被迫从头开始进行数据合并的重新设计。例如,如果您最初的客户数据仅包括直销团队的10,000个客户,则您不希望做出设计决定来阻止以后再增加10,000,000个Web客户。

   所有的主数据管理项目都将受到需求、优先级、资源可用性、时间范围和问题规模的影响。大多数主数据管理项目至少包括以下阶段:

   (1)识别主数据来源

   此步骤通常是通过启发性的会议实现。一些公司发现他们有数十个IT部门都不知道的客户数据的数据库。

   (2)识别主数据的生产者和消费者

   此步骤涉及查明哪些应用程序生成第一步中确定的主数据,以及哪些应用程序使用主数据。根据用于维护主数据的方法,此步骤可能不是必需的。例如,如果在数据库级别检测到并处理了所有更改,则更改来自何处可能无关紧要。

   (3)收集和分析主数据的元数据

   对于第一步中确定的所有来源,数据的实体和属性是什么,它们的含义是什么?其中应包括:

   ■属性名称

   ■数据类型

   ■允许值

   ■约束条件

   ■默认值

   ■依存关系

   ■谁进行数据的定义和维护

   “所有者”是最重要的,通常也是最难确定的。如果您的存储库中加载了所有元数据,那么此步骤很简单。如果必须从数据库表和源代码开始,这可能是一项巨大的工作。

   (4)任命数据管理员

   这些人应该是了解当前源数据并且能够确定如何将源数据转换为主数据格式的人员。通常,数据管理员应由每个主数据源的所有者,负责主数据管理的架构师以及主数据业务用户担任。

   (5)实施数据治理计划和数据治理委员会

   该小组必须具有权限来决定如何维护主数据,其内容、保留多长时间以及如何授权和管理变更。在主数据项目过程中必须做出数百个决策,如果没有明确定义的决策机构和流程,则该项目可能会失败,因为组织壁垒会阻止有效的决策

   (6)开发主数据模型

   确定主数据的模型,包括主数据的属性、大小和数据类型、允许的值等等。此步骤还应包括主数据模型和当前数据源之间的映射。这通常是该过程中最重要和最困难的步骤。如果您试图通过将所有源属性都包含在主数据实体中来使所有人满意,那么您最终往往会获得过于复杂和繁琐而无法使用的主数据。

   例如:如果您不能决定重量应该以磅还是千克为单位,则一种方法是将两者都包括在内。虽然这可能会让人们感到高兴,但您却浪费了数兆的存储空间,因为这些数字可以以微秒为单位进行计算,并且存在创建不一致的数据的风险(WeightLb = 5,WeightKg = 5)。尽管这是一个非常简单的示例,但更大的问题是要为同一零件保留多个零件号。

    就像委员会所做的任何努力一样,冲突和业务阻碍会导致决策不佳。提前制定决策流程,优先级和最终决策者,以确保事情顺利进行,这一点很重要。

   (7)选择合适的工具集

   您将需要购买或构建工具以通过清理、转换和合并源数据来创建主数据代码库。您还将需要一个基础结构来使用和维护主数据代码。这些功能将在本文后面详细介绍。您可以使用来自单个供应商的单个工具集来实现所有这些功能,或者您可能希望采用同类最佳的方法。通常,对于不同类型的数据,清除和合并数据的技术是不同的,因此没有很多工具可以覆盖整个主数据范围。该工具集还应该支持查找和修复数据质量问题以及维护版本和层次结构。版本控制是一项关键功能,因为了解主数据记录的历史对于随着时间的推移保持其质量和准确性至关重要。

   例如:如果合并工具合并了波士顿的约翰·史密斯的两个记录,而您确定波士顿确实有两个不同的约翰·史密斯,则需要在合并之前知道这些记录的样子,以便“取消合并”。

   放眼大局,主数据管理系统的功能应包括数据建模、数据集成、数据匹配、数据质量、数据管理、层级管理、工作流和数据治理。从非功能性的角度来看,您还应该考虑可扩展性,可用性和性能。

   (8)设计集成架构

   一旦获得了干净、一致的主数据,您将需要将其公开给您的应用程序,并提供流程来管理和维护它。实施此集成架构后,您将拥有大量依赖于集成架构的应用程序,因此,可靠性和可伸缩性是设计中要考虑的重要考虑因素。在大多数情况下,企业必须自己制定集成架构的重要部分,因为它将被设计为适合企业当前应用的数据集成、平台和应用程序。

   (9)生成并测试主数据

   在此步骤中,使用主数据管理工具将源数据合并到主数据列表中。这通常是一个迭代过程,需要设置和修改规则才能获得正确的匹配。这个过程还需要大量的人工检查,以确保结果正确并满足项目要求。

   没有工具会100%地正确完成匹配,因此您必须权衡错误匹配和错过匹配的后果,以确定如何配置匹配工具。如果账单不正确或逮捕了错误的人,则错误的匹配会导致客户不满意。错过的匹配太多,会使主数据的使用率降低,因为您没有获得在主数据管理上投入的收益。

   (10)修改生产和消费系统

   根据主数据管理实施方案的方式,可能必须更改产生、维护或使用主数据的系统,以使用新的主数据源。如果主数据用于与源系统不同的系统中(例如,数据仓库),则源系统可能不必更改。

   但是,如果源系统要使用主数据,则可能需要进行更改。源系统将必须访问新的主数据,或者主数据将必须与源系统同步,以便源系统具有清理后的主数据的副本以供使用。如果不可能更改一个或多个源系统,则该源系统可能无法使用主数据,或者必须通过触发器和SQL等外部过程将主数据与源系统的数据库集成在一起。

   在创建新记录或更新现有记录之前,应更改生成新记录的源系统。这样可以确保上游生成的数据质量良好,以便主数据管理可以更有效地运行,并且应用程序本身可以管理数据质量。主数据管理不仅应被用作记录系统,而且应被 用作促进企业中所有应用程序中的数据更干净、更有效地处理的应用程序。

    作为主数据管理策略的一部分,需要研究数据管理的三个主要方面:数据来源、数据管理、数据消费。如果忽略这些方面中的任何一个,就不可能拥有可靠的企业级主数据管理。

   (11)实施维护流程

   任何主数据管理实施都必须包含工具、流程和人员,以保持数据质量。所有数据都必须有一个数据管理员,负责确保主数据的质量。

   数据管理员通常是具有数据知识,可以识别不正确的数据并且具有纠正问题的知识和权限的业务人员。主数据管理应包括可帮助数据管理员识别问题并简化更正的工具。一个好的数据管理工具应该可以提示可疑匹配,例如,居住在同一地址的具有不同名称和客户编号的客户。

   管理员可能还希望查看由于匹配条件相近但低于阈值而添加为新项的项目。对于数据管理员而言,查看主数据管理软件对数据所做的更改的历史很重要,以便隔离错误源并撤消不正确的更改。维护还包括将更改和添加到主数据管理系统中以及将清理后的数据分发到所需位置的过程。

   因此,主数据管理是一个复杂的过程,需要持续很长时间。像软件中的大多数项目一样,成功的关键是逐步实施主数据管理,以便企业在实现整个项目是一个长期过程的同时,实现一系列短期效益。

   此外,没有业务用户的支持和参与,任何主数据管理项目都不会成功。IT专业人员不具备创建和维护高质量主数据的领域知识。任何不包括对创建、维护和验证主数据的过程进行更改的主数据管理项目都可能会失败。

   本文的其余部分将介绍用于创建和维护主数据的技术和过程的详细信息。

   1、如何创建主数据代码库

   无论是购买主数据管理工具还是决定构建自己的主数据管理工具,都有两个基本步骤来创建主数据:

   清洗和标准化数据;

   匹配所有来源的数据以合并重复项。

 (1)清理和标准化主数据

   在开始清理和规范化数据之前,必须了解主数据的数据模型。在建模过程中,您应该定义每个属性的内容,并定义从每个源系统到主数据模型的映射。现在,您可以使用此信息来定义清理源数据所需的转换。

清理数据并将其转换为主数据模型与数据仓库的提取、转换和加载(ETL)过程非常相似。以下是一些典型的数据清洗功能:

   ■标准化数据格式:使所有电话号码看起来相同,将地址转换为通用格式。

   ■替换缺少的值:插入默认值,从地址中查找邮政编码。

   ■标准化值:将所有度量转换为公制,将价格转换为通用货币,将零件编号更改为行业标准。

   ■映射属性:从联系人姓名字段中解析名字和姓氏,将Part#和partno移至PartNumber字段。

   大多数工具会清洗可能被清理的数据,并将其余的数据放入错误表中以进行手工处理。根据匹配工具的工作方式,清理后的数据将被放入主数据代码中。在清理每个源时,应检查输出以确保清理过程正常进行。

  (2)匹配数据以消除重复

   匹配主数据记录以消除重复是创建主数据中最困难也是最重要的步骤。错误的匹配实际上可能会丢失数据(例如,两个Acme Corporation成为一家),而丢失的匹配会降低维护公共代码库的价值。

    因此,主数据管理工具的匹配精度是最重要的标准之一。

   有些匹配常简单。如果您对所有客户都有社会保险号,或者所有产品都使用通用编号方案,则数据库JOIN将找到大多数匹配项。但是,在现实世界中几乎不会发生这种情况,因此匹配算法通常非常复杂。客户可以在名称、姓氏、昵称、地址、电话号码等上进行匹配,而产品在名称、描述、零件号、规格和价格上进行匹配。

   专业提示:匹配项越多,匹配项越接近,主数据管理软件对匹配项的可用就越高。

   将为每个匹配项计算置信度,如果超过阈值,则记录匹配。通常根据错误匹配的结果来调整阈值。

   例如:我们可以指定,如果置信度超过95%,则记录将自动合并;如果置信度在80%至95%之间,则数据管理员应在合并之前批准匹配。

  (3)您应该如何合并数据

   大多数合并工具会将一组输入合并到主列表中,因此最好的过程是使用质量最号的数据开始,然后再依次合并其他源。如果您有很多数据,并且有很多质量问题,则此过程可能需要很长时间。

   您可以在时间和资源允许的情况下逐步添加其他任务。这种方法意味着您的项目将花费更长的时间,甚至可能花费更多,但是风险更低。这种方法还允许您从几个组织开始,并在项目证明成功时添加更多组织,而不是尝试从一开始就让所有人参与进来。

   将源数据合并到主列表时要考虑的另一个因素是隐私。当客户成为客户主体的一部分时,任何有权访问客户主体的应用程序都可以看到他们的信息。如果客户数据是根据将其使用限制在特定应用程序中的隐私策略获得的,则您可能无法将其合并到客户主数据中。

   此时,如果您的目标是生成主数据代码库,那么您就完成了。打印出来或将其刻录到外部硬盘驱动器上并继续前进。如果您希望您的主数据在添加和更改数据时保持最新,那么您将不得不开发基础结构和流程来管理随时间变化的主数据。

   2、如何维护主数据

   有许多不同的工具和技术可用于管理和使用主数据。我们将在这里介绍三种较常见的方案:

   单一副本:采用这种方法时,主数据只有一个主副本。所有添加和更改都直接对主数据进行。所有使用主数据的应用程序都将被重写以使用新数据,而不是其当前数据。这种方法可以保证主数据的一致性,但是在大多数情况下不切实际。那是因为修改所有应用程序以使用具有不同架构和不同数据的新数据源是非常昂贵的。对于某些应用程序,甚至不可能实现。

   多个副本,单个维护:通过这种方法,可以在数据的单个主副本中添加或更改主数据,但是将更改发送到将副本本地存储在其中的源系统。每个应用程序都可以更新不属于主数据的数据部分,但是它们不能更改或添加主数据。

   例如:库存系统可能能够更改零件的数量和位置,但是无法添加新零件,并且不能更改产品主数据中包含的属性。这减少了所需的应用程序更改次数,但是应用程序将最少必须禁用添加或更新主数据的功能。用户将必须通过主数据系统才能添加或修改主数据,而他们通常使用的业务系统添加主数据功能将不再起作用。

   连续合并:在这种方法中,允许应用程序更改其主数据副本。对源数据所做的更改将发送到主数据库,然后在此处合并到主数据库列表中。然后,对原版的更改将发送到源系统,并应用于本地副本。这种方法几乎不需要更改源系统。如有必要,可以在数据库中处理更改,因此无需更改应用程序代码。表面上看,这似乎是理想的解决方案,因为可以将应用程序更改减到最少,并且不需要重新培训。每个人都在做自己在做的事情,且质量更高,数据更完整。但是,此方法确实存在几个问题:

   更新冲突是可能的并且难以调和:如果两个源系统将客户的地址更改为不同的值会发生什么?主数据管理软件无法决定保留哪一个,因此需要数据管理员的干预。同时,客户有两个不同的地址,必须通过创建数据管理规则和标准操作程序来解决此问题,以确保减少或消除更新冲突。

   必须重新合并添加项:添加客户时,可能有另一个系统已经添加了该客户。为了应对这种情况,所有添加的数据都必须再次经过匹配过程,以防止母版中出现新的重复项。

   保持一致的值更加困难:如果将产品的重量从磅转换为公斤,然后再转换为磅,则四舍五入会改变原始重量。这可能会使输入值几秒钟后就看到值变化的用户感到不安。

   通常,所有这些事情都可以进行计划和处理,从而使用户的使用变得更轻松一些,但需要维护更复杂的维护组织并需要更多数据管理员的工作。这可能是一个可以接受的折衷方案,但这是应该有目的地做出的选择。

  (1)关于版本和审核的几点思考

   无论您如何管理主数据,理解数据如何达到当前状态都非常重要。

   例如:如果客户记录是从两个不同的合并记录合并而成的,则在数据管理员确定记录被错误合并的情况下,您可能需要知道原始记录的样子,并且实际上应该是两个不同的客户。版本管理应包括用于显示版本并将更改的全部或部分还原到以前的版本。

   管理系统使用的版本的正常分支和更改分组对于维护不同的派生更改并将更改组还原到先前的分支也非常有用。数据管理和合规性要求通常会包含一种确定每个更改的人和更改时间的方法。

   为了支持这些要求,主数据管理软件应包括用于审核主数据更改的功能。除了保留审核日志外,主数据管理软件还应该包括一种简单的方法来查找您要查找的特定更改。主数据管理系统每天可能审核数千个更改,因此审核日志的搜索和报告功能很重要。

   (2)关于层级管理的几点思考

   除了主数据本身之外,主数据管理软件还必须维护数据层次结构。例如,产品物料清单、销售区域结构、客户的组织结构等。对于主数据管理软件来说,管理这些层次结构很重要,但是对于主数据管理软件来说,能够独立于底层系统修改层次结构也很有用。

   例如:当员工转移到其他成本中心时,可能会对差旅和费用系统、薪资、报告结构和绩效管理产生影响。如果主数据管理软件管理层次结构,则对层次结构的更改可以在单个位置中传播到所有下游系统。

   例如:可能需要将收入和支出汇总到任何单一源系统中都不存在的组织结构中。规划和预测还可能需要临时层次结构才能为建议的组织变更计算“预测”数字。在许多情况下,还需要历史层次结构才能将财务信息汇总到过去存在的结构中,而不是当前的结构。

   由于这些原因,强大而灵活的层次结构管理功能是主数据管理软件的重要组成部分。

   五、谁需要参与主数据建设

   现在我们了解了什么是主数据、为什么要管理主数据,下面让我们讨论谁来参与数据建设。实际上,有几种不同的方式来考虑谁参与主数据管理。首先,让我们从高层次看一下三个核心角色:

   ■数据治理用户:推动定义、需求和解决方案的个人。这些用户可帮助管理员了解要创建的内容,并帮助数据管理员了解要管理的内容以及如何对其进行管理。数据治理用户指导数据管理者应如何管理数据(包括管理过程),然后使数据管理者对遵循这些要求负责。数据治理用户还向管理员提出在主数据管理解决方案实施期间要创建的内容,尤其是从数据匹配和质量角度而言。数据治理用户还需要维护主数据管理的反馈闭环管理,以确保一切正常进行。此反馈涵盖了主数据管理程序的测量角度,并且可能包含以下信息:需要花费多长时间?过程变的更快还是变慢?数据匹配的效果如何?从数据质量的角度来看,有多少个业务规则失败了?

   ■技术管理者:负责设置和配置解决方案的IT人员。

   ■数据管理者:由业务人员引导,负责修复,清理和管理数据。理想情况下,数据管理者来自整个业务部门,例如财务和营销部门。通常,数据管理者在数据管理用户中定义数据管理员执行的活动。

   其他主数据管理角色可以包括组织/项目类型,并且随组织/项目类型的不同而变化:

角色

技能/职责

参与程度

项目经理

负责数据管理策略和主数据平台实施

专职

项目助理

制定和管理项目计划,确保及时交付高质量的成果并报告项目进度。负责风险和问题的管理与升级。

按需

系统管理员和DBA

系统管理员:系统管理员倾向于从事管理域,存储,虚拟化,组策略,DNS,某些网络等内容的工作。

DBA:结合了系统管理的一些技能,开发领域的一些技能以及所使用的数据库平台的专门知识。

按需

开发者

开发人员实施定制的SDK和/或工作流解决方案来扩展主数据管理平台。这可能包括基于Web服务的集成,定制的用户界面或利用API或主数据管理数据的自定义应用程序或过程。

按需

ETL开发人员

这些团队成员从源系统中加载批数据(ETL集成)

按需

业务分析师

熟悉与主数据管理解决方案相关的数据和业务流程的资源。提供对应用程序功能和要求的深入了解,并参加研讨会,计划和执行审阅和测试活动。

按需

数据架构师/数据建模师

监督符合组织标准和约定的企业概念,逻辑和物理数据模型;提供企业数据策略的领导和指导,尤其是与主数据管理相关的策略;协助组织治理实践和标准,并充当业务与IT之间的联络人,以澄清数据要求。

按需

最终用户/数据管理员

与主数据和业务流程进行交互的个人。这些是主数据管理系统的业务用户,并充当数据的管理者或维护者。

全职

治理委员会

主数据治理委员会(MDGC)是与数据相关的事务的决策和决策机构。MDGC监督数据标准和质量保证的实施,以确保主数据管理团队和数据管理员正在开发、维护并提供可接受的系统数据以供其他人使用。

按需

(定期会议)

   1、主数据管理利益相关者

   除了执行和管理主数据管理策略的角色之外,成功的主数据管理项目的关键之一就是关键利益相关者的积极投入。典型的主数据管理参与的利益相关者包括代表业务和IT的利益相关者。积极的利益相关者通常包括但不限于以下类型的角色:

   ■业务或IT项目发起者

   ■IT项目负责人

   ■受影响业务领域专家

   ■数据管理员

   ■IT交付团队

   由于在整个组织中定义了主数据管理利益相关者,因此确保他们的参与并致力于组织的主数据管理过程至关重要。通过多年实施经验,确定了几个“健康”指标来帮助确定主数据管理利益相关者的影响:

健康特征

不健康特征

行政激励与项目成果挂钩

投资于变更管理和培训

专职领域专家全职参与

业务部门有适当的参与和支持

定期举行指导委员会会议,及时采取决定和采取行动,并且有效

所有适当的利益相关者团体均得到有效代表和参与

没有可见的执行发起人

抵抗新思想、新变更

没有可用的“专家”

   2、主数据管理指导委员会

   建议主数据管理利益相关者的管理层代表组成一个指导委员会,以促进跨职能决策。以下是有效的指导委员会的一些特点:

   ■范围适当-足够大以代表优先级利益相关者,但又足够小以快速分析关键信息并制定决策;

   ■专注于快速决策;

   ■成为消除组织障碍的手段,而不仅仅是例行会议来聆听项目团队成员的报告。

   一旦确定了利益相关者,主数据管理项目章程应包括成立指导委员会。在运行数百个或主数据管理项目的基础上,建议以下角色参加指导委员会。请注意,每个角色可能有一个以上的团队成员,或者某些角色可能不适用或公司的组织结构。

角色

描述

项目发起者

主数据管理计划的主要预算所有者。该角色通常来自预期将从主数据管理项目中受益的业务领域。

数据治理主管

主数据管理是更大的数据治理策略的组成部分。如果组织有数据治理团队,那么它应该是主数据管理指导委员会的积极参与者。

数据管理员

负责日常数据管理(包括做出有关如何在操作或分析系统中呈现数据的决策)的团队通常是指导委员会的一部分。

IT支持者

主数据管理支持有时存在于IT组织中,因为主数据管理被认为是IT驱动的工作。组织通常还具有正式或非正式的业务和IT合作伙伴关系,而IT支持者则支持业务主导的计划。无论哪种情况,IT发起人都在主数据管理项目的成功中扮演着至关重要的角色,应该成为指导委员会的一部分。

组织标准机构

如果组织有跨职能的团队来推动整个企业采用通用标准,则该角色可能是主数据管理指导委员会的理想人选。此类标准的示例可能包括IT体系结构、IT集成、元数据管理等。

数据域所有者

当公司围绕其业务周期的关键组成部分(例如客户,产品或供应商)进行组织时,可能会有数据域所有者成为指导委员会决策的一部分。

主数据管理能手

在某些情况下,主数据管理支持者会监督主数据管理实施的所有业务和IT方面。在这种情况下,此角色是主数据管理指导委员会的一部分。

主数据管理合作伙伴

为了从其主数据管理投资中获得最佳价值,我们鼓励公司将其主数据管理实施合作伙伴纳入指导委员会。主数据管理合作伙伴提供最佳实践,以支持指导委员会的决策。

   六、结论

   尽管很容易将主数据管理视为一个技术问题,但是如果没有对业务流程和控制进行相应变更的纯技术解决方案将可能无法产生令人满意的结果。

   本文介绍了什么是主数据、为什么管理主数据、如何管理主数据以及谁应该参与主数据管理,以为各企业成功实施主数据提供支持。

相关文章
|
3月前
|
运维 安全 测试技术
团队研发流程混乱,该怎么办?
团队研发流程混乱,该怎么办?
|
11月前
|
数据采集 数据管理 数据挖掘
「主数据架构」14个主数据管理误区
「主数据架构」14个主数据管理误区
|
12月前
好的软件研发管理怎么做
好的软件研发管理怎么做
167 0
|
12月前
|
数据采集 SQL 监控
阿里巴巴-茂才:数据质量管理只有规范,没有银弹
阿里巴巴-茂才:数据质量管理只有规范,没有银弹
102 0
|
12月前
|
SQL 数据采集 Web App开发
阿里巴巴-茂才:数据质量管理只有规范,没有银弹(2)
阿里巴巴-茂才:数据质量管理只有规范,没有银弹
246 0
|
数据采集 存储 供应链
谈谈主数据管理的九个问题
根据Gartner的定义,“主数据管理是一种技术支持的规程,业务部门和IT部门共同工作,以确保企业共享主数据资产的一致性、准确性、管理性、语义一致性和可靠性……”
谈谈主数据管理的九个问题
|
存储 数据采集 安全
谈谈如何制定主数据管理策略及正确选择数据治理工具
在实现MDM策略时,应采用循序渐进的迭代方法。大处着眼,小处着手,与企业的长远目标相一致。
谈谈如何制定主数据管理策略及正确选择数据治理工具
|
数据采集 存储 自然语言处理
谈谈如何实施数据质量管理工作
数据已被视为各行各业的“新石油“。事实上,人们认为数据和石油在开采、存储、运输和消费方式上存在一定程度的相似性。
谈谈如何实施数据质量管理工作
|
人工智能 JavaScript 安全
桂老师谈数据:主数据的场景化实施
主数据的实施是信息化发展到集中集成阶段的必然产物,有些企业看别人实施主数据,也着急实施主数据,生怕不实施主数据就会落后别人,但是到真正实施环节,对于主数据的认识IT部门、业务部门、实施厂商均存在不同观点,障碍重重,推进缓慢,这是为什么呢?
桂老师谈数据:主数据的场景化实施
|
数据采集 存储 数据管理
一文看透元数据和主数据本质|谈谈元数据管理和主数据管理的区别
高速发展的数字化时代,企业必须依靠对数据的了解来生存和发展。
一文看透元数据和主数据本质|谈谈元数据管理和主数据管理的区别