享誉全球的数据管理思想领袖马尔科姆·奇斯霍尔姆( Malcolm Chisholm)在其《管理企业数据库中的参考数据》一书中将参考数据定义为“仅用于对数据库中发现的其他数据进行分类或仅用于将数据库中的数据与信息相关联的超越了企业界限的任何数据。”
参考数据具有非常重要的意义。它确定允许的值,促进一致性,并将内部数据与外部数据与标准相对应。尽管参考数据只占总数据量的一小部分,但参考数据却占数据库表的25%至50%,并影响报表的准确性和数据治理。
一、参考数据示例
许多参考数据资产由标准化组织(如ISO)或行业联盟或协会维护。例如:
•国家代码
•计量单位
•货币种类
•财务层级
•产品和定价
•交换代码
•邮政编码
参考数据描述了数据的特征,并将数据与内部和外部数据库中的信息联系起来。参考数据可以简单到在客户关系管理(CRM)系统中指定所有客户移动电话号码必须是11位数字。这些已定义的集合很少更改,数据用户始终在查询表、下拉列表或预填充表单中使用它们。
然而,并不是所有的代码集都如此简单。以国家代码为例,同样看似简单,但即使是国际标准化组织(ISO)在ISO-3166下也以不同的方式定义了国家代码:
参考数据也会随着时间的推移而变化,因此组织需要不断刷新和管理数据以保持质量。例如,国家代码平均每年更改3-5次,货币代码平均每年更改5-10次。企业使用、定制和扩展大量现有的行业本体来满足不断变化的需求;因此,他们需要保持与原始标准的一致性,以防止偏离外部语义。任何不一致都可能影响决策和诊断,并招致责任。为了避免这些不一致,并尽量减少参考数据管理不善带来的严重影响,企业需要使用有效的治理实践和策略。
1、市场参考数据
参考数据与全球和跨行业的组织相关。然而,受严格监管行业的企业更依赖于准确的参考数据。
参考数据在医疗保健行业很普遍。医疗保健公司每天都会产生和使用大量数据,从而影响有关临床功效,产品召回和患者试验招募的决策。
以下是两个医疗保健公司的示例,这些公司最初都在努力使用参考数据,但是通过有效的数据治理,他们能够将参考数据用作资产:
(1)跨国卫生服务组织信诺(Cigna)是负责管理敏感数据和多项法规的机构。该公司一直在为不准确的客户主数据而苦苦挣扎,这些数据没有上下文,它们汇总了哪些指标以及数据是如何使用的。信诺利用参考数据让利益相关者以正确的语言进行交流。业务和技术引用关系使他们能够围绕数据获取所需的上下文。工作流管理和集中式管理平台使跨职能的利益相关者能够相互协作。从而,该公司建立了数据透明的文化,在这种文化中,个人可以用共同的语言进行交流,并围绕数据进行高效的协作。
(2)费森尤斯医疗公司(Fresenius Medical Care)过去一直在努力应对报告问题,因为它从全球4,000家诊所,45个生产基地和12万名员工中的347,000多名透析患者中产生了令人难以置信的数据量。该公司的数据管理员利用参考数据来分配特征、关系和分组,并将受监管的医疗信息推送到数据仓库中。数据仓库执行更改数据捕获,并将参考数据分发到表中以供分析最终用户使用。因此,费森尤斯医疗公司(Fresenius Medical Care)的业务分析师可以做出可信赖的业务决策,因为他们可以检查基于受监管的高质量数据构建的报告和仪表盘。
2、金融服务中的参考数据
同样,金融服务公司每天都使用参考数据。它们将参考数据用于多种应用,包括:
•国际证券识别号(ISIN)
•统一证券识别程序委员会(CUSIP)
•证券交易所每日官方名单(SEDOL)
•法人识别码(LEI)
参考数据作为许多汇总风险报告和市场数据相关应用的基础。企业需要参考数据来促进有效的监管对话。规章制度不断演变,新的规章制度定期出现,使事务变得更加复杂,。新的授权增加了关于交易对手识别、交易场所和交易生命周期内金融工具的要求,要求对参考分类法进一步投资以支持报告所需的互操作性。其后果可能非常严重:由于不可预测的应用程序行为而导致的机会成本、失败的事务、资本损失、交易处理费,当然还有罚款。
二、参考数据与主数据
一个常见的误解是,参考数据和主数据是相同的,但它们是两种不同类型的数据。
参考数据是用来定义和分类其他数据的数据。主数据是有关业务实体的数据,如客户和产品。主数据提供了业务事务所需的上下文。
虽然参考数据和主数据管理都为业务活动提供了上下文,但它们的使用和实现可以帮助我们理解它们的区别。
参考数据由领域和主题专家策划、集中管理和发布对下游系统的引用。参考数据通常驱动控制逻辑,它在数据使用者分析数据之前将数据分组,有时用于统一外部和内部数据,有时用于将数据分类到主题中进行分析。简而言之,参考数据是由系统、应用程序、数据存储、流程和报表以及事务记录和主记录引用的一组值或分类模式。
主数据描述了组织业务中涉及的人员、地点和事物。组织使用主数据来应用质量规则,管理企业事务结构数据以创建单个黄金记录。
三、为什么参考数据很重要
参考数据的引用影响组织的每个部分,因为它有助于为数据提供上下文。它影响数据质量,进而影响数据可用性。有效的参考数据管理是组织实现数据智能化的必要条件。
组织使用参考数据来处理许多场景。例如:
•一致的指标和层次结构
整个组织之间的共识理解有助于建立通用的度量标准和层次结构,可以很容易地利用它们进行有效的运营。
•清晰的数据控制
管理参考数据访问控制有助于建立所有权和问责制。它在改进数据治理方面有很大的帮助,而数据治理对于数据信任至关重要。
•数据质量的信任
一致的引用数据使用有助于在整个组织中构建一个单一的可信数据视图。
•更快地提供数据见解
优化和自动化参考数据管理无缝地将其提供给所有利益相关者。通过访问高质量的参考数据,业务用户可以快速从数据中获得见解,从而为其业务决策提供支持。
四、参考数据管理不善的后果
数据错位和参考数据的手动管理带来了许多挑战和严重后果,例如:
•治理不足
组织通常拥有数十个甚至数百个应用程序,这些应用程序保存着不同人员和不同团队使用的数据。零散的数据和应用程序会导致整个组织错位,并使信息,标准和流程的格式化变得困难。由于大多数组织通常都是手动处理数据治理活动,整个企业内的管理零散,因此导致更改缓慢且容易出错且不一致的参考数据。
•不准确的报告和分析
不一致的代码值会导致不准确和不可信的报告和分析。例如,业务分析师使用基于地区、业务单位或地区的报告来检查数据并为关键决策提供建议,所有这些都表示参考数据。如果每个源使用不同的代码值集,则需要手动干预以确保数据聚合和业务分析的准确性。
•效率低下的操作
为了获得最多的数据,数据管理员需要一致地监控和刷新参考数据。但是,手动参考数据管理速度慢,容易出错,不可扩展。随着组织的发展,这种管理变得越来越重,越来越复杂,从而扩大了业务和财务影响。
五、组织如何管理参考数据
参考数据管理是一种机制,它围绕参考数据定义业务流程,并帮助数据管理员随着时间的推移完善和管理它。参考数据管理需要:
•自动化的工作流以创建新代码和代码集
•向数据用户提供代码和代码集
•数据地图
•比较组织各部门的数据
因此,为了有效地管理参考数据,组织需要制定参考数据管理方案。高效的参考数据管理解决方案必须管理整个企业中的复杂关系。组织必须投资具有本地参考数据管理以及其他沿袭关系管理,管理和工作流功能的数据治理解决方案,以解决数据不一致的问题:
•数据治理
数据治理和参考数据管理齐头并进。具有本机引用数据管理的数据治理工具允许完整的审计跟踪和对流程、所有权和管理角色的完全可见性,以及对引用数据的共享理解。
•数据沿袭
将不同来源的参考数据映射到共享代码集,并将其链接到业务和技术上下文的相关术语的能力
•管理流程
明确定义和自动化的流程,以促进协作和解决数据不一致。
•管理系统
一种管理任务、角色和责任的系统,随着数据生态系统的发展促进管理。
•管理策略
用于创建、审查和更新数据策略的工具,以确保采用和保持合规性的工具。
六、总结
参考数据是组织数据的基础,影响报告的准确性和数据治理成效。传统上由数据管理员处理,随着数据量的爆炸式增长,参考数据管理变得越来越复杂。在企业内外共享参考数据时,保持其质量至关重要。在共享环境下,企业范围内参考数据不一致的使用、可见性、协调和报告的准确性方面的影响将会导致企业运营风险。
有效的参考数据管理必须是数据管理策略的一部分,并且是数据治理解决方案的必要部分,从而管理整个企业的复杂关系,并提供可靠的血统、有效的提升企业管理和运营效率。