谈谈工业企业基于数据质量驱动的数据治理体系建设

本文涉及的产品
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
数据安全中心,免费版
简介: 数据是企业至关重要的资产,数据构成了信息系统运行的细胞,数据质量决定了系统应用的质量,并关系到系统应用价值的体现。

   数据是企业至关重要的资产,数据构成了信息系统运行的细胞,数据质量决定了系统应用的质量,并关系到系统应用价值的体现。对于已实施ERP系统的大型集团来说,ERP系统数据质量低下、缺乏数据标准化和数据控制羸弱已经是一个严重的问题。数据管理工作好的公司已经可以完全依靠正确、完整和一致的数据赋能业务运营。而数据质量差的不得不花费大量的精力来寻找、梳理、清理和利用数据。许多实施ERP较早的公司在数据标准化方面都走过了痛苦的历程。例如,中国石化从2002年始就进行ERP建设同步的物料编码标准体系的反复修订以及新旧物码数据转换并切换上线的艰难历程;PETRONAS历经10年物料主数据标准化建设,建立起严格的标准统一和数据维护收费制度,才达到了稳定运行,可以有效地从大量业务数据中挖掘有价值信息并持续改进优化生产和管理的效果。

a6f6a05a0db108015a2392554fcfff18.jpg

  从全球范围来看,提升数据质量加强数据管理已成为大型工业企业提升管理能力的重要任务。尤其要研究存有大量数据的ERP系统存在的数据质量问题,建设ERP数据质量的体系以及数据治理方案,建立包含组织、标准、流程、质量、安全、技术多个层面的治理架,从而全面提升ERP系统数据质量和数据管理水平,发挥数据要素的关键价值。

   一、数据质量对ERP系统的影响

   1、数据质量的内涵

   “数据”本身是一个多维度的概念,可以是数字、文字、图像,也可以是计算机代码。“数据质量”是指数据资源满足用户需求的程度。近20年来,数据质量指标体系相关研究成果众多,如:Pipino等给出了数据质量的16个维度定义;Wang提出了数据工程中数据质量的需求分析和模型。

   2、数据质量对ERP系统的影响

   数据质量问题涉及到不完整、重复、不正确、不一致和错误业务数据的记录,这些记录将导致采购和销售订单处理不当、财务账实不符、统计报表不可靠等严重后果。针对企业数据管理和应用以及ERP生产系统中通过报表取数与实际业务对比,发现ERP系统数据质量的影响因素主要有以下几个方面:

   (1)企业各业务部门对数据的重视程度低,对数据的重要性认知不足

   大部分企业信息化管理基础相对薄弱,企业从决策层到应用层的人员对基础数据的准确性和实效性与提高ERP应用成功率和企业管理水平的关系还缺乏足够的认识,导致数据质量管理方面人力、物力投入不足,建设滞后。

   (2)数据基础标准缺失

   随着ERP项目建设的深入,许多企业才发现数据标准严重缺失,仓促实施中被动接受或套用顾问公司推荐的模板或行业标准体系,难以完全适用企业实际业务的特点和现状;被动套用之后,相关的标准维护组织和团队建设往往难以及时跟上,进一步影响到标准的滚动更新和改进完善,造成问题的日益积累。

   (3)数据质量管控流程和管理规范分散、权责不明确

   大多数企业都是以部门为单位进行管理,各类基础数据的管理分散到各业务部门中,数据业务质量审核主要由各业务职能部门分头负责,由于对数据的重要性认识程度参差不齐,企业各职能部门或各单位中的基础数据管理往往职责分散,权责不明确,缺乏必要的系统或人员对数据进行审核验证,导致数据不规范、不一致、无法共享和集成等问题。

   (4)数据安全和风险控制力度不足

   数据的管理不仅仅是标准管理和数据质量管理,更主要的是数据的安全管理。目前大部分企业对数据安全的认识依然是集中在数据安全策略、用户授权访问方面,在数据的安全审计、安全事件的处理等方面认识不够,没有完善的数据安全管理内控体系以及识别数据安全级别的标准。

6794ceee88dd54e2790e27af99fec7b8.jpg

   造成数据质量问题的原因很多,但是,人为差错都是导致数据质量问题的主要根源。高质量的数据是保证ERP成功应用和发挥价值的必要条件,数据的规范化、标准化,数据的准确性、及时性、完整性是数据管理的基本要求。

   二、数据质量评估模型

   1、ERP数据环境及数据类型

   一个完整的ERP系统,贯穿销售预测、生产计划的制定、能力需求计划、原料采购、生产排程到产品出库、销售管理等业务流程。这些业务流程通过各种数据支撑运行,根据这些数据的不同功用和特性,通常分为以下几种:

   (1)静态数据。生产活动开始之前要准备的数据,静态数据一般不作处理。如物料清单、成本参数、工艺路线、仓库和货位代码、会计科目的设定等。

   (2)动态数据。生产活动中发生的数据,经常变动。如客户合同、库存记录、完工报告等,建立后需要随时维护。

   (3)中间数据。根据用户对管理工作的需要,系统按照一定的逻辑程序,经过运算形成的各种报表。它是一种经过加工处理的信息,供管理人员掌握经营生产状况、进行分析和决策。如主生产计划和物料需求计划都是根据静态和动态数据加工处理后生成的中间信息。

   除此之外,基础数据还可分为主数据和参考数据。物料、组织机构供应商/客户信息、会计科目等属于主数据;而系统配置的各种参数则是参考数据,如会计期间、货币和汇率、银行主文件、工厂日历、付款方式、计量单位、结算方式、凭证类型等。

   对数据的分类有利于数据的管理,根据数据的不同分类,可以选择不同的数据处理方法,了解不同数据类别间的关系和依赖性,可有助于指导数据质量方面的工作。在ERP系统中基础数据的质量是关键性的,基础数据作为可重复利用的资源,如果质量低劣,将在一次又一次地使用时产生负面结果。

   2、ERP数据质量评价指标

   数据质量评估,是以对数据的准确定义为基础,对数据质量管理的执行提供依据,评议出数据质量关键性指标,实现对数据质量的量化诊断和评价。

   (1)数据标准化

   数据标准化维度的评估是评估是否有收集数据、录入数据等的强制性标准或统 一规范。例如国家会计准则、物资、设备、服务等专业分类标准或者规范等。数据标准化为比较数据质量评估结果提供标准,并为数据录入等提供操作指导,也是数据治理工作的基础。数据标准化测量数据标准、数据模型、业务规划、元数据和参考数据的存在性、完整性、适宜性和有效改进。

   (2)数据完整性

   数据完整性指数据集合中既不缺少应有的数据,也没有多余的数据。ERP数据完整性包括数据缺失程度和数据覆盖程度2个要素。

   数据缺失程度:指数据采集、传输过程中是否出现遗漏,遗漏的程度如何。例如企业通常在HR模块员工主数据中设定较多必输信息,但在实际执行过程中发现缺失情况比较严重。

   数据覆盖程度:指线上已有数据占应捕获数据总体的比例,反映数据的全面性、可用性的测量标准。例如,已上线企业客户主数据记录应包含其所有目标客户的信息,但事实上通常仅反映该公司部分客户的信息。

   (3)数据准确性

   数据准确性是数据质量的基本也是最重要的属性,包含3个要素。

   数据错误率:不满足给定数据集合阀值的域的比率。

   数据可靠度:数据来源的可靠程度。

   标准符合度:数据对于应用不同行业标准和业务规则的符合程度。

   (4)数据唯一性

   数据唯一性是对存在于ERP系统内或子系统间的特定字段、记录或数据集重复的测量标准。例如,物料主数据和供应商主数据重码问题,由于处理数量大,编码规则不明确或者人为判定的影响,导致编码不同但内容相同。

   (5)数据及时性和可用性

   及时性和可用性是数据在预期时段内对特定应用的及时程度和可用程度的测量标准。数据值随时间而不断变化,并且事实发生变化的时间与数据库中表示它的数据更新以及使其对应用可用的时间可能存在时差。例如:销售部门对客户信息的改动必须反映在客户的主数据库中,并在变更的一天之内使其对交易应可用。

   (6)数据易用性

   易用性是指数据能够被访问和使用的程度以及易于被更新、维护和管理的程度的测量标准。在数据使用过程中,数据的易用性和可维护性决定了完成目标的效率。数据库中的数据可以使用,并不等于能够毫不费力地使用它们。例如,ERP系统的运行是以基础数据(物料主文件、物料清单、工艺路线、工作中心、提前期和库存记录)为基础实施计划、物料、生产、库存、成本等的管理,因此ERP系统数据还应包括各种计划、报表。当主管人员需要一个文件或报表时,也许需要小组成员通力合作很长时间才能形成一个看似简单的报表。在很多情况下,如果管理人员知道获取这些数据需要多长时间,那么他们将决定付出的成本是否值得。

   建立数据评价指标体系后,企业即可根据指标体系,确立其质量特性及相应的权重值评价ERP系统数据质量水平,为进一步改进提供方向。

   三、数据治理体系建设

   ERP系统数据质量管理不是一个一次性的项目,也不仅是“校准数据”,它应该贯穿于ERP系统中数据的整个生命周期。当前,提升数据质量加强数据管理已成为企业提升管理能力的重要任务。通过数据评价体系发现ERP数据质量和管理的现状和存在的问题,我们站在数据治理工作全局的角度,建立包含组织、标准、流程、质量、安全、技术多个层面的治理体系,确定中长期数据治理工作的绩效改进目标,规划并推动落实和解决,以达到评估与改进相结合,技术与管控相结合,短期与长期相结合,全面提升ERP系统数据质量和数据管理水平的目的。

c3b715e98c1683f13504d738a3577853.jpg

 1、数据治理总体目标与蓝图规划

   1)组织:建立数据治理组织体系,提升数据战略认知;

   2)标准:统一数据标准体系、设立专职专家团队;

   3)流程:优化数据管控流程、建立数据治理长效机制;

   4)质量:强化数据监控和质量、实现持续优化和跟踪;

   5)安全:数据安全管理,有效控制数据风险;

   6)技术:建立集中的数据管理平台、数据交换平台、管控流程平台。

   2、数据治理目标与措施

   (1)组织机构和管理体系建设

   建立覆盖全集团范围的、集中的数据治理组织体系,持续的提升对数据战略认知程度和重要性。组织体系规划主要包括各类主数据的管理组织架构、运营模式、管控标准流程、角色与职责规划。建立明确的数据治理机构和组织体系,落实各级部门的职责和可持续的数据治理组织与人员,数据治理体系采用三层的组织架构:1)高管级的数据治理指导委员会。2)中层数据治理办公室和专项数据专家团队。3)具体管理数据的业务人员及技术支持人员。

   (2)数据标准化建设

   ①数据标准体系建设

   数据标准的制定是全面提升数据的质量、实现数据规范化的前提,需要制定企业统一的数据标准和规范,开发共用的、标准的数据定义,并定义企业级的数据模型。根据需要,部分数据标准的制定和维护需要专家团队的支持。数据标准的制定主要包括以下方面:

   1)确立数据分类体系:对数据进行分类管理,搭建分类之间的关系,根据数据的重要性划分优先级;

   2)分析评估,制定目标:评估数据的现状,分析数据与业务价值的链接,保证数据标准满足实际业务的要求。按照数据重要性分别制定数据标准的目标;

   3)定义数据标准:按照既定的目标,根据数据标准化,规范化的要求,整合离散的数据,定义制定数据的标准。

   标准制定后需要持续的改进和维护,因为标准不是一成不变的,它会因为企业管理要求、业务需求的变化,也会因为社会的发展、科学的进步而不断的变化和发展。

   ②数据清理

   数据清理是数据治理过程中的关键步骤,也是数据标准应用的关键环节。如何进行现有数据的清理和标准化工作是数据治理的工作难点和重点。确定切实可行的数据清理计划和操作步骤,对现有的各类主数据进行逐步清理,建立物料数据、供应商数据、客户数据、产品数据、设备数据、员工数据、财务数据、项目数据等类型数据的标准和规范化模板,建立集中、统一、科学、规范的统一编码和标准属性库;在不同的业务部门或业务线间建立统一的度量标准,能够有效降低业务部门的操作成本,提高IT系统效率。

   (3)数据质量和安全

   数据的质量控制和数据安全控制是数据治理成果的可靠保证,数据质量和安全主要工作如下:

   1)建立质量控制体系,实现数据的高效监控,通过数据质量的实时跟踪和反馈机制实现对数据的持续优化;

   2)加强数据安全管理,有效控制数据风险,通过建立常态化的基础数据管理安全审计流程,定期开展数据管理平台的安全等级保护及系统的安全测评;

   3)建立数据安全事件管理机制,数据出现异常问题时,制定完善的解决流程及风险应急方案;

   4)定期开展各类安全培训、制度的宣贯,提高大家对基础数据的风险管理认识程度。

   (4)数据管控流程与质量评价体系建设

   ①数据管控体系建设

   通过建立管控流程体系来固化数据管控流程、建立数据治理长效机制。数据管控体系是为了规范数据标准、数据质量、数据安全中的各类管理任务和活动而建立的组织、流程与工具,并实现组织、流程与工具的常态化运转;数据管控体系建立的目标是制定提升数据质量、促进数据标准一致、保障数据共享与使用安全。

   数据全生命周期管理过程中流程的梳理和定义是提升数据质量的重要保证因素,定义持续开展数据治理所需的统一的、集中的业务过程与规则。数据的流程控制包括数据业务控制、数据技术控制和数据逻辑控制。

流程规划包括业务流程管控、风险管控和安全管控等方面。通过流程规划,建立数据质量控制体系,确认质量控制流程,确立数据的长期运维模式,实现数据的持续性治理,稳定的保障数据治理机制的可靠运行。

   ②数据评价体系建设

   建立数据监督和数据质量的评价体系和指标体系,实现量化数据考核,对数据的创建、变更、销毁的过程实现质量管控。

   (5)技术支持

   支持是实现高效的数据治理的保证。通过信息系统实现高度的集成化,支持数据管控流程模型和动态调整,有效的实现数据生命周期的管理。

   信息系统建设应遵循企业数据标准,能够快速支撑企业数据管理流程运作和优化,支持对数据过程的绩效评估和动态管理,实现准确、高效、实时的数据决策支持。

   通过数据集成管理实现高效的数据整合,通过统一的主数据平台把多个业务系统中核心的、最需要共享的数据,集中建立数据的模版、标准,实现对现有数据的清洗和标准化,并且能够以标准集成服务的方式把统一的、完整的、准确的、具有权威性的主数据分发给集团范围内需要使用这些数据的应用系统,包括各个业务系统、业务流程和决策支持系统等。

   通过统一的信息化平台实现数据的集中化管理,建立统一的数据中心,实现唯一的数据源。通过集成策略和分发策略的统一制定,在分散的IT系统间最大限度的保证主数据的完整性、一致性。

   3、数据治理关键影响因素和风险

   影响数据治理成效的关键因素和风险主要有以下几点:

   (1)认知风险

   部分人员和管理者对数据资产的重要性认知不足,数据治理工作应纳入企业数字化转型战略中并予以重视。数据治理是数字化转型的必经之路,其不仅是数据的治理,也是明确数据责任、优化数据管理流程、实现跨部门协同的管理工作。数据治理工作具有专业性强、技术含量高、涉及部门多、管理难度大等特点。

   风险防范对策:应对认知风险需要明确各级数据责任,进一步调整和优化数据管理流程,最终实现跨部门协同数据管理。数据治理是提升数据管理与应用水平的关键举措,是进一步梳理业务及其数据、强化跨部门协同、提高信息系统应用水平的过程。

   数据治理工作需要发挥各个层面的积极性,实现全员参与,并实现业务与信息部门、集团总部和所属单位、管理与技术的协同推进,数据是各业务部门负责的,业务部门对归口管理数据要保证数据质量(及时性、准确性),信息部门在技术上对质量检查、推进提供支撑,因此,业务部门是数据质量提升关键,如何调动业务部门积极性,参与数据质量提升工作是一个挑战、存在不确定的风险因素。

   (2)组织和运营机制风险

   数据治理工作涉及多个相关的业务部门和信息化部门,缺少常态化的运行组织和保证机制,是数据治理工作推进的主要风险,数据治理是一个长期的过程,需要自上而下强力推行。

   风险防范对策:建立持续的数据治理工作的组织和运营体系,是减少组织风险、保证工作质量的有效保障,需要得到集团领导层的高度重视。数据治理工作需要自上而下的大力推动,坚持高标准、严要求,在推进过程中,要强化集团化运作,确保公司各项部署,能够全面落实到各级单位的实际工作中,以强有力的执行力保障数据工作的顺利推进。

28235c942b1cce8bd7ce5f380228236b.jpg

 (3)数据标准制定和实施风险

   数据标准制定和实施工作,是数据治理工作的重点和难点。数据标准的制定和维护是一个长期的过程,数据标准的应用和实施工作,难度大、具有高度的复杂性。

   应对数据标准的制定和实施风险主要有以下措施:

   1)对部分数据例如物料数据需要建立专业的团队,来完成标准的制定、实施、维护,并且需要根据企业的发展变化进行动态的调整。专家团队最好是长期的、稳定的、专职,并且负责维护数据标准使之能够符合企业的实际需求;

   2)数据清理工作是标准化过程中的重要环节,依据数据标准对原有数据进行清理,需要结合数据质量管理和服务要求制定数据清理策略。

   (4)资源投入风险

   数据治理工作设计的单位多、覆盖面广、数据复杂性高,需要与所有相关的信息系统实现集成和数据清理,需要大量的人员投入和资金投入。数据治理工作是一个长期的过程,对资源投入的连续性要有充分的认识。

   风险防范对策:进行全面的、合理的资源投入规划,以“整理规划、分布实施、注重实效”为主要的控制原则;建立清晰的、持续的资金投入规划和人员保障规划,确保数据治理工作的逐步推行。

相关实践学习
MySQL基础-学生管理系统数据库设计
本场景介绍如何使用DMS工具连接RDS,并使用DMS图形化工具创建数据库表。
相关文章
|
7月前
|
数据采集 NoSQL 数据管理
数据治理体系建设
随着信息化的不断发展,数据的数量和质量都呈现了爆发式的增长,数据已经成为核心资源。数据治理是银行实现数字化转型、提升核心竞争力的重要手段,也是银行信息化建设的重要组成部分。
|
2月前
|
监控 安全 测试技术
2024年度云治理企业成熟度发展报告解读(三)五大支柱关键数据解读
本文深入分析了安全、稳定、成本、性能、运行等云治理五大支柱的关键数据,指出身份安全关注度显著提升,成为企业云计算中的核心焦点。
2024年度云治理企业成熟度发展报告解读(三)五大支柱关键数据解读
|
2月前
|
数据采集 存储 大数据
数据治理:数据孤岛是企业信息化发展中难以避免的阶段
数据孤岛是企业信息化发展中难以避免的阶段。企业需要正视这一现象,通过完善数据治理体系、加强部门协作、采用先进技术手段等措施,逐步消除数据孤岛,实现数据的有效整合和利用。只有这样,企业才能在激烈的市场竞争中立于不败之地。
|
2月前
|
机器学习/深度学习 数据采集 存储
CDGA|创新数据治理工具:推动数据治理标准规范化之路
创新数据治理工具在推进数据治理标准规范化方面发挥着重要作用。企业应积极采用这些工具,并制定相应的策略和规范,以确保数据的有效管理和利用。同时,企业还应关注数据治理的最新发展和趋势,不断提升数据治理的能力和水平。
|
2月前
|
数据采集 数据安全/隐私保护
数据治理创新路:建设数据集市,强化数据报送一致性新实践
企业可以通过组织培训课程、提供操作手册等方式,提高数据报送人员的业务水平和数据意识,减少人为因素导致的数据不一致问题。
|
5月前
|
存储 分布式计算 关系型数据库
从零到一建设数据中台 - 功能组织与实现技术
从零到一建设数据中台 - 功能组织与实现技术
293 0
|
存储 安全
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——一、数据建设与治理的现状与诉求
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——一、数据建设与治理的现状与诉求
159 0
|
数据采集 安全 大数据
大型集团企业数据治理方案,以“应用驱动”的数据治理策略 | 行业方案
袋鼠云大型集团企业数据治理方案来啦!该数据治理策略以业务应用带动数据治理的能力建设,以业务创新推动数据治理的价值体现。
397 0
|
机器学习/深度学习 数据采集 存储
「数据战略」业务成果驱动的企业数据战略
「数据战略」业务成果驱动的企业数据战略
|
数据采集 存储 供应链
大型集团企业数据治理实践,推进全域数据资产体系建设 | 数字化标杆
数据治理是推动大型集团企业转型升级、提升竞争优势、实现高质量发展的重要引擎。沉淀了丰富的集团型企业数据治理项目经验,助力客户构建全域数据共享中心,实现数字化升级。
418 0
大型集团企业数据治理实践,推进全域数据资产体系建设 | 数字化标杆