数据治理就是以服务组织战略目标为基本原则,通过组织成员的协同努力,流程制度的制定,以及数据资产的梳理、采集、清洗、结构化存储、可视化管理和多维度分析,实现数据资产价值获取、业务模式创新和经营风险控制的过程。
数据治理是长期、复杂的工程,每个数据治理的领域都可作为一个独立方向进行研究,数据治理领域包括但不限于以下内容:数据标准、数据架构、元数据、主数据、数据分布与存储、数据交换、数据生命周期管理、数据资产、数据质量、数据安全等,同时各领域之间又需要有机结合,如数据标准、元数据、主数据、数据质量、数据生命周期等几个领域需要相互协同和依赖。
一、企业数据管理遇到的挑战
1、数据标准不统一,数据质量参差不齐
企业越来越重视管理数据资产,但其实并不是所有数据都是数据资产,数据中也有垃圾数据。由于企业各个业务系统或模块都是按照各自的需要录入数据,业务系统不需要的信息就不录,没有统一的数据录入标准、工具和出口,造成同样的数据在不同的系统有不同的属性信息,数据完整性、一致性、准确性无法得到保障。
2、信息系统孤岛严重,数据共享流通受阻
大多数企业的信息化建设初期缺乏整体规划,大多都是以业务部门驱动的单体架构系统或套装软件,数据分散在这些架构不统一、开发语言不一致、数据库多样化的系统中,导致在企业内部形成了一个个的“信息孤岛”。这些“孤岛”之间缺乏有效的连接通道,数据不能互联互通,不能按照用户的指令进行有意义的交流,于是数据的价值不能充分发挥。
3、缺乏有效管理机制,数据使用责权不明
许多企业尝试通过生产系统的业务流来控制数据流,但由于缺乏有效的管理机制和某些人为的因素,比如平台间数据标准不一,缺少全局规范文档,信息无法对接应用等,在数据流转过程中,导致了大量的垃圾数据。以外,数据责权不明确,管理职责混乱,管理和使用流程不清晰,也是造成数据质量问题的重要因素。
4、安全管理体系不完善,存在数据应用隐患
近年来,随着大数据的发展,诸如此类的数据安全事件多不胜数。数据资产管理上,正在由传统分散式的人工管理向计算机集中化管理方向发展,数据的安全问题愈来愈受到人们的关注。
综上所述,看似表面的数据问题其实会对业务带来严重的影响。数据不真实、不准确、不透明、不共享都将增加企业经营风险、管理难度和复杂度。最终导致跨组织信息共享程度低、资源难于整合。如何更好地管理和控制数据,做好数据标准化和服务体系建设,成为当前各企业迫在眉睫的任务,而数据治理是关键。
二、数据治理框架分析比较
在数据治理框架的研究领域,有很多组织做出持续重要的贡献。它们的主要工作是对原则、范围、促成因素等数据治理要素进行分析、总结和提炼,并在此基础上建立起自成体系的数据治理框架。
1、国际标准化组织(lSO)
ISO38500提出了IT治理框架(包括目标、原则和模型),并认为该框架同样适用于数据治理领域。在目标方面,ISO38500认为IT治理的目标就是促进组织高效、合理地利用IT;在原则方面,ISO38500定义了IT治理的六个基本原则:职责、策略、采购、绩效、符合和人员行为,这些原则阐述了指导决策的推荐行为,每个原则描述了应该采取的措施,但并未说明如何、何时及由谁来实施这些原则;在模型方面,ISO38500认为组织的领导者应重点关注三项核心任务:一是评估现在和将来的IT利用情况,二是对治理准备和实施的方针和计划做出指导,三是建立“评估→指导→监督”的循环模型。
2、国际数据管理协会(DAMA)
国际数据管理协会(DAMAInternational)首先总结了数据管理的十大功能,主要包括数据治理、数据架构管理、数据开发、数据操作管理、数据安全管理、参考数据和主数据管理、数据仓库和商务智能管理,并把数据治理放在核心位置。
3、国际数据治理研究所(DGI)
国际数据治理研究所(DataGovernance Institute,DGI)认为数据治理不同于IT治理,应建立独立的数据治理理论体系。DGI从组织、规则、流程三个层面,总结了数据治理的十大关键要素,创新地提出了DGI数据治理框架。
4、IBM数据治理框架
IBM数据治理委员会结合数据的特性,针对性地提出了数据治理的成熟度模型。在要素模型中,有三个促成因素会影响业务目标实现,即组织结构和认知度、政策和数据相关责任者;在促成因素之外,必须重点关注数据治理的核心要素和支撑要素,具体包括数据质量管理、信息生命周期管理、信息安全和隐私、数据架构、分类和元数据,以及审计、日志和报告。
5、国际信息系统审计和控制协会(ISACA)
国际信息系统审计和控制协会(ISACA)的COBIT5是面向过程的信息系统审计和评价标准,是国际公认的权威信息技术管理和控制框架。COBIT5提出了数据治理的五项基本原则:满足利益相关者需求、端到端覆盖企业、采用单一集成框架、启用一种综合的方法、区分治理与管理。
6、高德纳公司(Gartner)
高德纳公司(Gartner)提出了一个数据管理参考架构,描述了数据管理的所有构成要素及要素间的层级关系,数据治理和信息管理仅是该架构的组成部分。
同时,Gartner还建立了一个数据治理与信息管理的要素模型来描述支撑数据治理方案的基本要素,该模型包含四个部分:规范、规划、构建和运行,它适用于实施数据治理计划的任何组织。
7、DCMM
DCMM(Data Management Capability Maturity Assessment Model,数据管理能力成熟度评估模型)是我国首个数据管理领域国家标准,将组织内部数据能力划分为八个重要组成部分,描述了每个组成部分的定义、功能、目标和标准。
DCMM国家标准结合数据生命周期管理各个阶段的特征,按照组织、制度、流程、技术对数据管理能力进行了分析、总结,提炼出组织数据管理的八大过程域,并对每项能力域进行了二级过程项(28个过程项)和发展等级的划分(5个等级)以及相关功能介绍和评定指标(441项指标)的制定。
虽然众多的国内外研究机构在数据治理领域进行了广泛研究和探索,也贡献了大量卓有成效的研究成果,但成果之间却存在一定的差异,甚至有些矛盾。因此,将现有成果进行研究整合,形成企业相对统一的原则、促成因素、关键域和框架,是当前企业数据治理需要考虑和深思的问题。
三、影响数据治理成效的原因
1、对数据治理内涵认识不到位
企业不仅需要管理数据的系统,更需要一个完整的规则系统以及规章流程。数据治理不仅仅是技术问题,更是一个管理问题。我们经常听到某公司做数据治理项目时候只上了一个工具,虽然几年过去了,数据质量改善并不明显,数据价值也没有效发挥,对数据治理失去了信心。如何让数据治理工具与数据治理思想相匹配才是数据治理项目实施过程中的最大挑战,也才能发挥数据治理的最大的效果。
2、数据管理组织协调很困难
数据治理是一个组织的全局性项目,需要 IT 部门与业务部门的全力合作和协同,需要各个部门站在组织战略目标和组织长远发展的视角来看待数据治理。因此,数据治理项目需要得到组织高层的支持,在条件允许的情况下,成立以组织高层牵头的数据治理管理小组,会让数据治理项目事半功倍。
3、成效难量化投资难度大
组织的投资决策以能够产生可预期的建设成效为前提,但往往综合性的数据治理的成效并不能立马体现,它更像一个基础设施,是以支撑组织战略和长期发展为目标,所以,导致此类项目无法界定明确的边界和目标,从而难以作出明确的投资决策。
4、机制不健全持续推进差
数据治理是以支撑组织战略和长远发展为目标,应当不断吸收新的数据来源,持续追踪数据问题并不断改进,所以数据治理工作不应当是一蹴而就,应当建立长效的数据改进机制,并在有条件的情况下,建立自有的数据治理团队。
5、技术发展速度快选型难
随着数据技术的发展,各种名词层出不穷,令人眼花缭乱,例如:大数据、元数据、主数据、血缘追踪、数据资产、资源目录、Hadoop、Spark、数据湖等等。这里面有针对传统数据库的,有针对大数据数据库的,再加上组织对自身数据资产情况没有一个清晰的认识,这也就导致了数据治理的技术选型困难。
四、六大策略破解数据治理困境
1、建立数据治理战略,为数据治理树立旗帜
数据成为企业重要的战略资产,成为社会和企业的重要生产要素已经成为大多数企业的共识,治理是企业的高级管理活动。因此,有必要在企业战略中将数据治理作为企业重要战略之一,将数据治理提升为战略高度,将数据真正融入到企业的发展要素中,从战略高度开展数据治理工作,才能发挥数据资产价值的重要基础。数据治理作为企业战略才能使数据治理工作有法可依,也是高效推进的战略保障。
2、深挖数据治理需求,为数据治理增添动力
在开展数据治理项目时,要对业务部门和技术应用两个层面深入调研,发现业务部门在数据共享、数据质量、数据应用方面的痛点,技术应用在集成方面、数据不一致等方面的痛点。只有找到数据治理的具体需求,逐步解决业务和管理部门的数据痛点,才能真正增添企业数据治理的动力。就好比我现在要过河,最需要一艘船,你却偏偏给我宝马、法拉利这样的高级汽车,汽车再好都不是我最需要的。经验表明,任何技术、任何工具再好,没有找到真正的需求,效果也难以达到。因此,数据治理的需求挖掘就像引擎一样,是重要的驱动力量。
3、把握因地制宜方法,更好体现数据治理价值
开展数据治理项目一定要因地制宜、因材施教。虽然数据治理的方法论大同小异,但是不同行业、不同企业间的数据治理各有难度、各有特点。所以要按照不同行业的数据问题,不同企业的实际问题开展数据治理项目,即便在同一企业不同业务部门间数据的问题也不一样,所以要在调研后制定针对性的实施策略、方法、计划,才会让客户体验到量身定制的快感,。量身制定、个性服务、着眼痛点、解决问题才能快速体现数据治理的价值。这也是数据治理项目能不断开展的前提。
4、稳定数据治理保障,使数据治理持续成功
数据治理是一项长期开展,持续优化的过程。因此,数据治理要建立组织、制度、流程、运营、优化的长效机制,不但在建设期有资金、组织、制度的保障,更要注重运营期的资金保障、绩效考核、激励机制等保障。数据治理也是典型的三分建设,七分运营的项目。只有数据治理工作稳定持续的开展,才能使数据标准、数据质量、管理流程、专业技能不断的优化提升,才能更加发挥数据资产的价值,使企业更加坚定数据治理的步伐,数据治理才能真正成功。
5、强化数据文化理念,使数据治理深入人心
在数据治理项目实施过程中,要加强数据治理思想和理念的宣贯,形成企业的数据治理文化,只有数据文化深入人心,才能形成企业全员对数据的敬畏感,才能尊重数据、爱护数据、珍惜数据,数据质量必定会有质的飞跃。数据质量提升了,数据要素驱动了企业生产力的发展,数据的价值体现了,人的价值也体现了。企业的协同就实现了人人协同、人机协同、机机协同、人数协同、机数协同的超级协同,也是数据治理对企业数字孪生、企业大脑最大的价值。
6、坚持寻找名医指路,使数据治理健康开展
数据治理就像看病,一定要找真正的专家来诊脉、开药方,在专家的指导下服药,才能药到病除。在数据治理工作开展中,一定要注重诊断数据问题产生的真正原因,数据资产价值不能发挥的真正病灶,到底是标准不完善、组织管控不到位、还是系统支撑能力不行;是主数据的问题、还是元数据的问题;是数据生命周期管理的问题、还是数据集成共享的问题。往往企业的数据问题是系统化的问题,只有找到病灶,才能给出系统化的解决方案。而诊断和开药方一定要找真正的数据治理专家来把脉。企业在开展数据治理前,一定要睁大慧眼,不要让庸医蒙蔽了视听,贻误了数据治理的最佳时机!