谈谈哪种数据管理模式好

本文涉及的产品
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
简介: 很多组织对更好的数据质量有很高的标准化需求。大多数源自企业内部的活动,如流程优化或源自法律法规的需求。

前言

很多组织对更好的数据质量有很高的标准化需求。大多数源自企业内部的活动,如流程优化或源自法律法规的需求。标准化并不一定意味着组织需要集中所有活动来实现控制。在组织中围绕数据的活动有不同的方法来管理。本文对这一主题作了介绍,并给出了一些实例。

企业内部数据管理活动的绝对净值尚未达到峰值。由于分析、合规、增长和效率的原因,业务部门对高质量数据的需求日益增加。仅出于这个原因,维护他们的关键数据就是我们所处的数字化时代最重要的活动。因此,公司应该认真考虑如何长期定位和实施这些活动,并将其整合到专业的数据管理办公室中。

一 数据管理办公室的演变

随着时间的推移,数据管理办公室的定位有几个明显的趋势。但是在我们继续之前,我们首先需要澄清数据管理办公室的定义。数据管理办公室的定义为“指定数据所有者的数据管理活动的委托职能”。例如,数据维护活动和数据生命周期的管理。下图所示的趋势是跟组织内部数字发展的演变

:•IT职能中的数据管理:当组织第一次开始使用信息化系统(ERP之前)作为管理工具时,数据只是“什么都不做”的记录。当出现问题时,这被视为IT问题。显然,数据的所有权属于IT部门。

迈向业务的第一步:开始意识到数据是许多主要业务流程的燃料,组织将数据管理活动定位于业务的后台办公室。这些活动主要是行政和业务活动,尚未涉及数据的清理或丰富。

标准化和集中化:接下来,组织开始意识到由于各种原因需要对数据管理活动进行标准化甚至集中化。例如,一个ERP的实施,过程集成活动;如优化供应链。在“二级系统”(如文件共享)中收集的文件,大部分时间还是个人随意处置,管理系统并没有真正发挥作用。

混合数据管理组织:目前,许多公司都在努力解决数据集中管理应该走多远的问题。一个集中的数据管理办公室通常意味着很长的准备时间,有时会与业务失去联系。但是分散的数据管理办公室(通常在业务单位内)意味着不一致、整体视图更少、没有业务的具体知识以及对IT基础设施的影响。

bf228751476d2067189f7ef07dbf1ad5.png

换句话说,集中或分散数据管理活动没有对错之分。由于我们讨论数据管理办公室的定位,首先需要对两种说法有一个共同的理解。以下是成功进行数据管理的先决条件:

数据治理需要在战略层面自上而下进行组织。集中或委托数据管理的先决条件是组织良好的数据治理结构。数据治理促进了数据所有权,然后使成功地集中或委派数据管理活动成为可能。

数据应该始终由业务拥有。根据数据管理职能的定位,业务部门始终对其数据负责。因此,共享服务中心或数据管理办公室总是有一个委托的责任来维护主要由业务拥有的数据(例如:G/L帐户由财务拥有,但可以在财务部门之外的共享服务中心维护)。

上面的观点在这里不作进一步讨论,但可以看作是组织数据管理活动的必要条件。接下来,我们首先确定最重要的数据管理办公室类型和最重要的影响因素,然后再详细说明办公室的定位。

二 数据管理办公室的运作模式

如上所述,数据治理需要在战略级别自上而下地组织。大多数数据管理模型的基本事实是,应该将数据治理作为高效数据管理办公室的先决条件。最后,委托的业务活动需要指导。典型的例子是;围绕物料主数据委派数据维护活动需要指导。它不仅管理数据,还基于标准定义和业务规则验证和丰富数据。可以识别出三种运作模式。

1 集中式数据将集中维护。数据管理办公室集中处理所有数据请求,没有其他利益相关方的干预。这通常是业务中数据所有者的委托职责。

2 混合式部分数据集中管理,部分由其他部门管理。但是,完整的端到端数据维护过程是集中管理的。

3 分散式在分散的环境中,所有数据管理活动都是分散管理的。没有全面的数据管理办公室来管理这个过程。

三 管理模式的影响因素

最佳数据管理模型的选择取决于多个影响因素:数据维度、自动化水平和可用的专业知识。在选择数据管理办公室的定位时,首先要做的是确定需要维护的数据维度。例如,数据是否由多个业务职能维护和使用?其次,应该关注需要哪些级别的自动化以及需要哪些流程?最后,应该回答以下问题:在与数据管理相关的业务中,专业知识的级别是多少?他们能在去中心化的层面上保持数据质量吗?

1 数据的维度

在决定集中或分散维护的数据时,数据被分为四个维度:商业数据、共享数据、流程数据和本地数据。关键原因是,从总体角度维护或使用的数据与集中式数据管理活动相关。

1d63841c447ac8a38b78ba6fd219c6c1.png

■商业数据

外部可验证数据被定义为商业数据。对于整个组织来说,真相只有一个版本是有效的。商业数据通常是由外部提供的,例如通过数据供应商获得。此外,该数据可以通过业务关系(客户端、供应商等)交付。在整个组织中只能有一个版本的事实,数据管理活动应该以一种方式组织,例如减少数据不一致和使用过时数据的风险。治理甚至维护最好集中进行。

共享数据

就像商业数据一样,在整个企业中真相只有一个版本。共享数据对整个企业是有效的,并在多个流程中用于多个目的,例如产品的名称/描述。这个描述在整个组织中应该是唯一的。不同之处在于,这些数据是无法从外部验证的。风险与企业数据相同,但需要更多的努力来控制数据质量,因为数据是不可外部验证的。治理和维护最好采用与商业数据相同的方式进行管理。

过程数据

共享数据的一种变体称为过程数据。这是在一个业务流程中在不同的规程上使用的数据。有多个度量单位的材料或产品就是一个很好的例子。一个用于商业目的(定义平面图),一个用于物流目的(托盘或滚筒式集装箱运输),等等。应该集中管理治理,但是操作活动可以分散部署。

本地数据

本地数据只与一个学科、一个流程、一个部门、一个目的相关。如果数据不正确,它只会影响特定的部门,而不会影响整个过程,甚至整个组织。因此,风险相对较低,这意味着不需要直接实施集中治理。

878c442d78f5deffe96b6d0d69533416.png


2 自动化水平和专业知识

有多个因素决定数据应该集中维护还是分散维护。最后,这些因素决定了数据是否可以或应该在业务(数据源)或集中的部门(纯粹关注数据管理活动)中维护。

由于数据是由业务拥有的,最好在靠近源(业务)的地方维护数据。总之,“数据应该在业务中维护,除非……”这句话用于定义这是正确的还是数据应该在一个集中的数据管理办公室中维护。有两个重要的影响因素与组织中与数据管理活动相关的自动化水平和专门知识水平有关。

■自动化的级别定义了活动是否可以分散

组织内的数据管理体系结构与决定数据管理活动是否集中高度相关。如前所述,有三种类型的数据管理架构。这个示例与主数据管理(MDM)有关,MDM是企业数据管理中的一个特定专业领域。

第一个模型指的是整合方法,其中数据在多个应用程序中维护,并在一个MDM环境中整合。纯粹是为了方便合并报告。在第二个模型(混合的体系结构)中,操作维护仍然在几个应用程序中进行。不同之处在于,数据是在后端(MDM)解决方案中集中管理的,并向下游应用程序提供推送功能,以获得黄金记录。第三个模型,集中式MDM解决方案,它使用这些数据为所有相关应用程序提供数据。在最后一种情况下,所有数据维护活动都集中在一个系统中。

ed21ad3161fbd5a4b327246c3e716ab6.png

数据维护过程可以是程序化的,也可以是自动化的(或两者都有)。当数据所有权(数据源)被多个涉众划分时,这一点尤其重要。一个有效和受监控的工作程序或工作流需要到位,以管理结果:完整、准确和及时的数据。因此,在单个系统(源)中集中和自动化的数据维护活动越多,在业务中发生的活动就越多(分散)。主要原因是特定的工具可以提供工作流功能(请求、检查、更新、批准和分发)来管理多个涉众的过程。集中化活动的很多原因在这种情况下都不相关,因为广泛的工作流功能可以减轻很多风险,例如:

•效率:SLA/计时可以在每个工作流步骤中实现;

•质量:数据质量检查可以在每个工作流步骤中实现;

•职责:工作流使过程可见并更容易管理,员工可以更深入地了解他们的活动如何影响其他过程步骤中的其他活动。

如果活动分散在不同的系统中,则需要有一个严格的过程管理程序。在这种情况下,集中这些活动的相关性更大。这是因为效率、质量和责任更难下放管理。

3 可用的专业知识

当然,并不是所有事情都可以自动化。在复杂环境中执行数据管理活动的知识和专业技能不可能完全自动化。因此,应该检查每个数据管理活动,看看执行该活动的知识和专业技能是否可以转移到后台职能。管理数据员应该了解数据维和属性之间的关系,以便能够执行影响分析,了解当引入新数据属性或更改旧数据属性时,数据将受到何种影响。他们应该能够对数据质量执行控制措施,并在人们开始偏离预期的工作方式时采取行动

四 利用决策树决定数据管理办公室的位置

决策树可用于决定数据是应该在业务(分散)中维护还是在数据管理办公室(集中)维护。上面讨论的所有元素都集成在这个决策树中。对于需要维护的每个数据对象,应该分别使用决策树。

89f167f2c5fb4cf090579e3e30081fee.png

开始程序如下:“如果……,则应在业务中维护数据”:

数据维度是本地数据:可以在业务中维护本地数据。不存在在多个规程、部门或流程中使用的不正确数据的风险。本地数据往往是非常具体的,不需要委托或集中数据管理活动数据的维度。可以考虑将商业数据、共享数据和流程数据用于数据管理办公室的集中数据管理。

知识和技能不能被转移(专业知识水平):如果数据管理活动所需的知识和技能是非常复杂的,因此不可能将这种知识转移到一个委托,这些活动应该最好是在业务(源)。

高水平的自动化:高水平的自动化有助于跨多个学科、部门或流程的数据管理。在一个事实和管理的单一来源中,工作流管理和相关元数据可以促进跨多个涉众的数据管理活动。

知识、专业技能和可用性具有连续性:数据管理活动的连续性至关重要。数据管理不再仅仅是数据输入。执行这些任务需要特定的知识和专业技能。例如,执行这些任务的人员的连续性与确定任务是否可以在业务中完成或是否应该集中有关。例如,销售助理在系统中输入他们自己的客户。这些部门的工作轮换非常频繁,一到两年之后,销售助理就会晋升。任务、知识和专业技能都失去了。为了获得可持续的知识和专业技能,连续性在数据管理中非常重要。因此,这可能是将活动集中到一个专门的团队的原因,可以更容易地集成到他们的日常程序中。

速度是必要的:集中式数据管理的所有决策都已经做出。集中化意味着委托,这意味着一个额外的流程步骤。如果数据需要直接使用该怎么办?例如,一个新客户打电话给销售助理请求订单。因此,在决定是否集中管理时,速度的必要性是一个相关的影响因素。

使用决策树的结果并不是一成不变的。决策树是一种思考集中管理原因的工具。该工具可用于每个数据属性(字段)、属性集或实体级别。

dd92b47a016482674ac1140cd2c853b9.png

五 应用实例:产品或材料的数据

在组织中,关于产品或材料的数据管理通常是复杂的。文中给出了一个例子,使决策树的使用更加具体。但首先简要介绍一下组织及其产品或材料数据管理过程中的一些关键好处。

接收外部数据:不同的外部数据源是产品或材料在系统中反映的基础。数据可以来自供应商或外部数据池。这通常是像GLN/EAN这样的公司数据,另外还有一些共享数据,例如,产品和度量单位(重量、度量)的描述。

使用主要过程的内部数据(例如与ERP相关的):组织中与产品或材料相关的每个学科都拥有几个额外的属性,主要是特定于他们的过程:过程数据。这里的例子是定价条件(商务部门)和物流单位/运输单位(物流)。

使用内部数据进行额外的用途(如电子商务):除了用于传统的事务性ERP流程的数据外,公司内部的其他活动可能需要更多的产品或材料数据。这里的例子主要是全渠道活动,例如在线活动。此外,还需要维护商业文本和其他信息。

本例中的数据架构是高度自动化和集中化的。外部数据源与数据管理工具相连接,其中高级工作流功能管理数据的丰富和验证。此外,该组织是一个成熟的业务实体,业务功能波动很小。

由于有多个数据源和复杂的数据管理过程,问题就出现了:我们是应该集中维护数据,还是可以让每个规程维护各自的数据部分?在上表中,展示了如何使用决策树的示例。

六 总结

数据管理办公室的定位没有对错之分。在建立数据管理办公室之前,确定关键数据和组织中的专业水平是很重要的。在实践中,有许多情况组织忘记了第一个,而采取了后者的行动,结果是办公室的人仍然在为他们以前的部门进行正式的数据活动,而对整个组织的数据管理没有做任何事情。我们也看到组织在做第一件事的同时忘记了第二件事,结果是数据管理的高效设计和目标操作模型,但没有部门的承诺,也没有对专用或有能力的资源的承诺。

其次,数据治理仍然是成功的关键先决条件。如果没有数据所有权,人们总是会优先考虑局部利益,而不是整个组织的利益。它应该从上到下执行,以确保标准化、一致性和行动的正确规模。

最后,自动化对实现目标很有帮助,但是IT工具只是应该使用的工具之一。它可以是一个短期的解决方案,但它将成为一个长期的问题。如果没有其他的组织措施,IT部门将再次拥有数据,这是业务部门不再接受的事情。如果使用得当,自动化水平将有助于数据管理更接近业务,业务是数据的实际所有者和来源。了解数据就是拥有数据,而数据管理办公室是关键。

相关实践学习
MySQL基础-学生管理系统数据库设计
本场景介绍如何使用DMS工具连接RDS,并使用DMS图形化工具创建数据库表。
相关文章
|
7月前
|
人工智能 安全 数据管理
DMS产品常见问题之dms变更管控模式报错如何解决
DMS(数据管理服务,Data Management Service)是阿里云提供的一种数据库管理和维护工具,它支持数据的查询、编辑、分析及安全管控;本汇总集中了DMS产品在实际使用中用户常遇到的问题及其相应的解答,目的是为使用者提供快速参考,帮助他们有效地解决在数据管理过程中所面临的挑战。
|
安全 数据库管理
DMS安全协同模式半脱敏要怎么设置
DMS安全协同模式半脱敏要怎么设置啊?
511 3
|
2月前
|
SQL 存储 数据管理
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测
66 2
|
5月前
|
SQL 运维 安全
数据管理DMS操作报错合集之如何解决在安全协同模式中遇到报错:在安全规则中没有找到这个ID
阿里云数据管理DMS提供了全面的数据管理、数据库运维、数据安全、数据迁移与同步等功能,助力企业高效、安全地进行数据库管理和运维工作。以下是DMS产品使用合集的详细介绍。
|
6月前
|
运维 安全 数据管理
数据管理DMS产品使用合集之安全托管模式下,是直接在窗口执行还是走工单
阿里云数据管理DMS提供了全面的数据管理、数据库运维、数据安全、数据迁移与同步等功能,助力企业高效、安全地进行数据库管理和运维工作。以下是DMS产品使用合集的详细介绍。
64 1
|
安全 数据库 数据库管理
DMS用了安全协同模式,给同事开权限该怎么开
DMS用了安全协同模式,给同事开权限该怎么开呢?
100 1
|
7月前
|
SQL 安全 NoSQL
DMS产品常见问题之DMS安全协同模式报错如何解决
DMS(数据管理服务,Data Management Service)是阿里云提供的一种数据库管理和维护工具,它支持数据的查询、编辑、分析及安全管控;本汇总集中了DMS产品在实际使用中用户常遇到的问题及其相应的解答,目的是为使用者提供快速参考,帮助他们有效地解决在数据管理过程中所面临的挑战。
|
存储 设计模式 NoSQL
|
机器学习/深度学习 存储 运维
【数据挖掘】数据挖掘算法 组件化思想 ( 模型或模式结构 | 数据挖掘任务 | 评分函数 | 搜索和优化算法 | 数据管理策略 )
【数据挖掘】数据挖掘算法 组件化思想 ( 模型或模式结构 | 数据挖掘任务 | 评分函数 | 搜索和优化算法 | 数据管理策略 )
542 0
|
数据库管理 数据库 SQL
企业级数据库新型研发模式——数据管理DMS实践
本文整理自数据库专场中阿里云智能技术专家王天振 (为知)的精彩演讲,传统数据库研发模式不仅困难重重,并且效率低下,而基于DMS的企业级数据库新型研发模式却能够做到研发高效,变更稳定和数据安全,本文就为大家介绍阿里巴巴根据自身经验沉淀下来的企业级数据库新型研发模式。

热门文章

最新文章