数据治理框架:数据驱动型企业的基石

本文涉及的产品
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
简介: 要解释数据治理框架,我们必须首先定义数据治理。

随着企业数据呈指数级增长,据统计国外GDPR 执法罚款增加了 40%。而国内如火如荼的数字化转型加速开展。数据价值和数据保护成为重要课题,因此数据治理是数据驱动型企业的一项紧迫战略举措。 到 2026 年,数据治理市场预估价值 52.8 亿美元,高于 2020 年的 18.1 亿美元。

一 什么是数据治理框架

要解释数据治理框架,我们必须首先定义数据治理。

  • 数据治理是指组织如何利用其人员、流程和技术来管理其内部数据。
  • 数据治理框架是一组特定的原则和流程,用于定义如何在组织内收集、存储和使用数据。

有了适当的框架,组织就可以将他们的数据转化为有价值的、强大的资产,可以用来满足或超越企业的目标和目的。

afa0309b7fda1d3e838f83172fe59bcc.png

至少,数据治理框架应为组织中的每个数据资产建立以下策略:

(1)架构

定义如何组织、检索和存储数据

(2)使用

指定哪些员工和第三方可以访问数据

(3)隐私

建立使用参数和限制,以最大程度地降低法律风险,确保消费者数据隐私并遵守法规

(4)分类

将数据分类为敏感度级别,例如内部与公开或分类与受限

(5)标准

建立标准以确保准确性、有效性和可靠性,以便数据可用于决策

二 数据治理框架的 10 个核心要素

人员、流程和技术必须保持一致,数据治理计划才能成功。创建正确的框架来执行该计划也很重要——并且需要专门的 IT 专业人员、业务部门领导和数据利益相关者之间的协作。

以下是数据治理框架中应包含的内容。

(1)数据战略

创建数据战略是建立数据治理框架的关键第一步。数据战略是指组织围绕数据的高级操作标准和要求——通常反映组织内部的文化。例如,您会信任内部用户,还是会更加严格?您会收集尽可能多的数据,还是会更有针对性?

(2)数据管理

建立数据管理的关键流程对于每个数据治理框架都至关重要。典型程序涉及数据共享、数据质量监控和测试、数据问题跟踪等。

(3)数据制度

框架还为企业数据建立了数据治理制度。数据制度的示例包括内部和外部数据共享、法规遵从性、数据存储要求、数据质量等。

(4)数据标准

数据标准定义了确保符合数据策略的总体方法。数据标准的示例包括数据建模标准、命名和缩写标准、元数据管理等。

数据标准最常见的场景是营销分类法——创建每个利益相关者都可以访问的营销数据(活动、资产、标签)的通用蓝图。

(5)数据安全

数据安全是指在整个生命周期内保护企业数据。该框架应详细说明确保数据免受网络攻击、未经授权的访问、数据泄露和盗窃的过程。它还应制定明确的行动计划,以应对所有潜在威胁。  

(6)数据质量

低质量数据有什么问题?数据质量决定了数据集是否能满足其业务目的——因此,在设计数据治理框架时,确保高数据质量应该是首要任务。建立禁止手动输入、要求开放标准和限制数据访问的政策是很好的起点。

这可能是数据治理框架中最重要的组成部分,因为糟糕的数据质量会扼杀的成功。

(7)沟通协作

数据治理是一项战略举措,需要企业范围内的努力。因此,制定计划以传达数据治理团队的行动和成就至关重要。明确定义目标、目的和工具,以促进对数据治理框架的热情支持和广泛采用。

就像数据质量一样,围绕数据共享、沟通和协作的内部文化可以成就或破坏数据驱动的计划以及数据战略本身!这凸显了数据素养的重要性。

(8)数据素养

有时,要使数据治理取得成功,就需要进行重大的文化转变。这可以通过教育或促进数据素养来实现。优先考虑数据民主化或确保所有用户都可以访问、理解和利用数据是教育过程的一部分。

受过教育的用户可以做出更好的决策,最大限度地提高企业数据的价值。

(9)关键绩效指标

数据治理计划需要对人员和资金进行协同投资,因此建立 KPI 来衡量其业务影响至关重要。此外,KPI 应该是可衡量的,并且随着时间的推移始终如一地跟踪,以便为利益相关者提供准确的投资回报 (ROI)。  

(10)技术

为独特需求选择数据治理工具对于组织的数据治理策略至关重要。市场上的解决方案和集成数据平台提供了广泛的功能,因此需要明确企业的需求。

大多数数据治理软件平台都提供基本要素,例如创建业务术语表、基于规则的工作流和自动化。此外,许多提供各种数据功能,包括数据发现、管理、清理和集成。

三 为什么需要数据治理框架

利用、存储和解释数据的能力已将信息转化为宝贵的资产,使组织能够在全球商业环境中变得更加敏捷和更具竞争力。 然而,这种能力伴随着巨大的责任——确保存储的数据受到保护。

尽管法律法规提高了整体数据的安全性和合规性,但暴露消费者个人信息的违规行为继续成为每日新闻。这促使公司采取额外的战略措施来保护他们的数据。

通过实施数据治理计划,企业可以提高安全性并实现其他有价值的业务收益。

以下是有效数据治理的主要好处:

1.更好的决策支持

确保整个组织的数据一致且高质量,从而灌输信心并产生更好的洞察力以支持决策制定。

2.降低风险

促进合规性,降低可能威胁企业寿命和数据安全的风险。

3.改进的可扩展性

无论数据量如何呈指数级增长,都能实现无缝增长。

4.提高效率

为数据战略和管理建立透明的流程和策略,使企业及其 IT 部门更加敏捷和可扩展。

5.降低成本

集中控制数据,降低与分散或孤立的数据管理相关的成本。

6.加强协作

通过在整个组织内提供一致、准确的数据来促进协作文化。

四 哪些业务最能从数据治理中受益

当然,执行良好、全面的数据治理政策会使整个企业受益。但它们也为业务的功能领域提供了特定的好处。

财务:高质量、及时的数据为股东提供准确的财务报告。

营销运营: 客户数据、参与率、潜在客户指标和其他关键营销数据治理指标支持并为销售和营销策略提供信息。

法律:政策和程序可确保合规性和消费者隐私,降低风险并保护业务。

效率:治理工具和流程可实现自动化并提高运营效率。

领导力:一致、准确、高质量的数据提供监督,为战略提供信息,并发现潜在的市场机会。

客户支持:准确、完整和集中的数据使客户服务代表能够以更少的接触点快速解决问题和疑虑。

五 三种数据治理运营模式

在设计数据治理计划时,需要考虑哪种运营模式最适合业务规模和架构。模型应详细说明操作指南、建立监督并为数据所有权和决策提供基础设施。

组织需要评估三种基本模型:集中式、分散式和混合式。

1.集中式

在集中式数据治理模型中,通常会指定一个人作为数据治理负责人,负责制定决策并为项目提供指导。在某些组织中,该人还可能负责管理主数据并根据需要或请求将其分发给用户。其他组织可能会分散分发组件,指派团队负责人开发数据集并向其用户分发信息。

9226dbd9289220a9e3e8d9d44e6044c6.png

好处

更好地专注:团队可以专注于基本任务,而不是收集、管理和分发数据。

质量控制:当整个组织的数据保持一致时,团队可以为业务做出更好的决策

提高安全性:数据更易于跟踪和保护,降低了与数据处理不当相关的风险

成本控制:集中数据需要更少的资源并简化流程。

风险:

作为一种自上而下的方法,集中式模型会助长官僚主义,无法满足业务各个领域的独特需求。

2.分散式

在分散的数据治理模型中,委员会通常设计和管理企业数据治理策略。但是,业务的职能部门创建和管理自己的数据集,并处理向用户分发信息。

a50212053d9401abaff16f98b7d9da3c.png

好处

改进的代表性:考虑业务的所有领域及其独特的挑战。

更好的数据:数据是由将使用它来完成工作的人创建的。

提高效率:设置起来相对容易,更能适应不断变化的业务需求和要求。

共享维护:多个数据所有者共同负责管理和执行数据治理策略。

风险:

去中心化模型可能导致主数据不一致和重复,影响共识、报告和决策。

3.联邦式

在联邦模型中,集中式企业数据治理结构提供了框架、技术和最佳实践以供遵循,但应用程序所有者自主操作。换言之,业务的每个领域都拥有自己的数据和元数据,并且可以自由制定最适合其业务需求的标准、政策和程序。

48c7419e0a2ac20a9d5e749763ae1298.png

好处:

更多自主权:团队可以在不影响其他团队的情况下管理和扩展自己的数据

更快的问题解决:问题在发生的时间和地点得到解决

提高敏捷性:团队可以在业务需求出现时立即对数据进行试验和调整

风险:

必须在每个业务领域拥有深厚的专业知识才能自主运作。而且必须采取额外措施来确保整个组织中团队之间的数据一致性和协调性。

六 如何创建数据治理框架

尽管每个组织都不同,但不必重新创建轮子来建立您的框架。相反,这里有一些数据治理最佳实践来指导您。  

c597da6db6f47dc41c9e1c70860e2fdd.png

1.大处着眼,小处着手

实施健全的数据治理并非一蹴而就——找到满足业务需求并鼓励数据消费者采用的方法需要时间。从速赢开始,例如在几个关键业务流程中提高数据质量,将展示实施公司治理的价值。    

2.培育素养,定拥护者

关键利益相关者了解数据治理的商业利益对于获得支持至关重要。将技术方面转换为有意义的业务术语,以发现业务关键职能领域内的拥护者,从而为成功建立计划。  

3.确定角色,明确职责

在整个业务范围内分配可交付成果和所有权级别,为组织的重大文化和程序转变提供了基础支持。以下是在流程早期建立的标准角色。

  • 执行发起人:了解数据治理愿景并确保计划拥有足够资源的 C 级发起人
  • 数据治理委员会:负责指导项目战略、确定项目和计划的优先级以及批准数据定义、政策和标准的团队
  • 数据治理办公室:负责制定战术实践和政策以利用数据作为业务资产的团队
  • 数据所有者:负责企业内特定功能数据的个人
  • 数据管理员:制定数据治理流程以确保数据元素的质量并为非结构化数据带来秩序和价值的个人
  • 数据消费者:输入和使用数据以执行其分配的工作职责的个人

4.建立案例,获得信任

全身心投入以及投入大量时间和资源对于从数据治理计划中获得企业范围内的收益至关重要。除非您有令人信服的商业案例,否则很难说服利益相关者接受挑战。首先确定基本数据元素和它们支持的关键业务流程。然后详细说明通过当前手动流程管理、集成和验证这些元素的相关成本。突出手动流程失败的潜在业务影响,以证明采用数据治理策略的价值。  

5.建立指标,衡量进度

从一致的跟踪和收集指标中获得的洞察力有助于维持认同并证明数据治理计划的成功。指标还揭示了流程和政策的有效性,并确定了需要改进的领域。  

6.持续激励,加强参与

通过定期更新分享组织的胜利将有助于巩固必要的文化和流程变革,以实现长期成功——当然,激励总是有帮助的。考虑引入基于激励的奖励系统来鼓励采用,这样您就可以从数据治理计划中获得最大收益。  

七 数据治理与数据管理

尽管数据治理和数据管理这两个术语经常互换使用,但还是有区别的。

数据治理涉及企业的整体企业数据战略,建立适当使用、处理和信息存储的策略。高管、利益相关者和数据受托人负责创建组织的数据治理愿景和框架。

a96dab222b79d0e056232de82fd2294f.png

数据管理涉及用于执行数据治理策略的策略,确保数据在其整个生命周期内按照策略进行处理。数据管理还包括数据质量和安全性、主数据管理和数据库操作。数据保管人和管家负责实施和维护技术,并执行数据治理框架中概述的程序和政策。

这两个学科协同工作,以确保企业数据仍然是有价值的业务资产。在云环境中,数据治理和熟练的数据管理对于成功过渡至关重要。

相关实践学习
MySQL基础-学生管理系统数据库设计
本场景介绍如何使用DMS工具连接RDS,并使用DMS图形化工具创建数据库表。
相关文章
|
2月前
|
边缘计算 Cloud Native 安全
构建灵活高效的下一代应用架构 随着企业数字化转型的加速,云原生技术正逐渐成为构建现代化应用程序的关键支柱。
随着企业数字化转型加速,云原生技术逐渐成为构建现代化应用的关键。本文探讨了云原生的核心概念(如容器化、微服务、DevOps)、主要应用场景(如金融、电商、IoT)及未来发展趋势(如无服务器计算、边缘计算、多云架构),并分析了面临的挑战,如架构复杂性和安全问题。云原生技术为企业提供了更灵活、高效的应用架构,助力数字化转型。
81 4
|
7月前
|
机器学习/深度学习 运维 Cloud Native
构建未来:云原生架构在企业数字化转型中的关键作用构建高效机器学习模型的五大策略
【5月更文挑战第31天】 随着企业数字化进程的加速,传统的IT架构日益显示出其局限性。本文将探讨云原生架构如何成为推动企业敏捷性、可扩展性和创新能力的核心力量。通过深入分析云原生技术的基本原理及其在业务连续性、资源优化和跨云协作方面的应用,揭示了其在实现高效、灵活的企业IT环境中所扮演的角色。
|
2月前
|
数据采集 安全 数据管理
通信行业数据治理:如何实现高效、安全的数据管理?
在未来的发展中,通信行业的企业应加强数据治理意识,提高数据治理能力;同时,积极开展跨行业的合作创新,共同推动行业的繁荣与发展。相信在不久的将来,通信行业将迎来更加美好的明天。
|
7月前
|
机器学习/深度学习 Cloud Native Devops
构建未来:云原生技术在企业数字化转型中的关键作用构建高效机器学习模型的五大策略
【5月更文挑战第29天】 随着企业加速数字化进程,云原生技术以其灵活性、可扩展性和敏捷性成为推动创新的重要力量。本文深入探讨了云原生架构的核心组件,包括容器化、微服务、持续集成/持续部署(CI/CD)和DevOps实践,以及它们如何共同促进企业快速响应市场变化,实现技术优势。文章还将分析采用云原生技术的潜在挑战,并提出相应的解决策略,以帮助企业在竞争激烈的环境中保持领先地位。
|
7月前
|
机器学习/深度学习 Cloud Native 持续交付
构建高效机器学习模型的策略与实践构建未来:云原生技术在企业数字化转型中的关键作用
【4月更文挑战第30天】 在机器学习领域,构建一个高效的模型不仅需要深厚的理论基础,还需结合先进的技术手段和策略。本文将探讨一系列提升模型性能的方法,包括数据预处理、特征选择、模型调参以及集成学习等。通过具体案例分析,揭示这些方法如何在实际问题中得以应用,并讨论它们对模型性能的影响。文中还将涉及最新的研究进展,为读者提供前瞻性的指导意义。 【4月更文挑战第30天】随着企业加速其数字化转型之旅,云原生技术已成为推动创新和灵活性的核心。本文深入探讨了云原生架构的原则,包括微服务、容器化、持续集成/持续部署(CI/CD)、以及声明式APIs。分析了这些技术如何共同促进可伸缩性、敏捷性和容错性,同时
|
机器学习/深度学习 分布式计算 搜索推荐
大数据在现代化业务决策中的作用
大数据在现代化业务决策中扮演着不可或缺的角色。通过数据驱动的决策、商业洞见的提取、个性化营销和风险管理等方式,大数据帮助企业更加精准、高效地运营。然而,同时也需要解决数据隐私、质量和人才等挑战。随着技术的不断发展,大数据将继续为企业创造更多的商业价值。
188 1
大数据在现代化业务决策中的作用
「企业架构」通过平台架构方法增强业务能力
「企业架构」通过平台架构方法增强业务能力
|
数据采集 SQL 机器学习/深度学习
DawnSql在数据治理中的优势
DawnSql数据治理平台的优势。1、降低成本 DawnSql 既是分布式数据库,也是离线数仓,也是实时数仓 DawnSql 既支持标准 Sql,也支持 NoSql,还支持自己定义的语言 DawnSql 是分布式缓存,支持对数学的实时反馈,提升业务对实时数据的价值 DawnSql 是分布式的服务平台,可以支持服务的负载均衡和故障转移 DawnSql 支持机器学习和扩展其方法 结论:DawnSql = 传统大数据平台 + MPP平台 + 微服务框架。
DawnSql在数据治理中的优势
|
存储 安全 大数据
构建企业数据银行 发挥数据核心价值
数字经济时代的特征就是数据的爆炸式增长。这些信息为企业的经营和管理带来了便利,但如何更好、更合理地管理和使用这些数据发挥更重要的作用,产生更多的智慧是企业重点关注的问题。
构建企业数据银行 发挥数据核心价值
|
存储 数据采集 SQL
知识点!典型的工业企业大数据分析平台解决方案(含数据治理)
当前,工业企业产生的数据与日俱增,如何利用大数据为企业产生驱动力、竞争力成为工业企业面临的重要问题。
知识点!典型的工业企业大数据分析平台解决方案(含数据治理)