带你读《数据自治》第二章数据治理2.4数据治理应用与发展(一)

简介: 《数据自治》第二章数据治理2.4数据治理应用与发展

2.4       数据治理应用与发展

 

2.4.1         数据治理的应用

 

在以大数据广泛落地和深度应用为主要特征的信息技术革命高速发展的背景下,数据治理是一种有效的建设和完善开放数据的务实模式。从本质上说,数据治理应用与发展必须解决如何控制数据使用者传播或滥用数据的问题,即做到数据既能自治,又能开放,保护数据稀缺性不丧失,保障数据安全和隐私。

(1)数据治理与数据资产

高质量的数据对于任何企业都是战略性资产,随着企业数字化转型进程的推进,有效数据正迅速成为关键的业务差异,但要使数据具有价值,需确保数据的可信任、安全性、可访问性、准确性、共享性和及时性。数据治理有助于增强企业的灵活性,进而最小化决策成本和风险,特别是在数字经济中,数据治理比以往任何时候都显得更重要。数据治理的研究主要源于 IT服务和大数据两个方面。在 IT服务方面,人们在 IT服务管理、IT治理等基础上开展了数据治理相关研究;在大数据方面,人们在大数据参考架构、大数据技术、产品等标准基础上推进了数据交易流通、数据开放共享相关研究。近年来,IT服务方面和大数据方面在数据治理与数据资产方向的研究逐渐融合。

数据资产研究与数据治理、数据开放共享、数据流通交易等有紧密的联系,如2-7所示。数据资产是经过确权和资产化等治理后的有价值数据,具有资产的属性,数据资产相关研究需要参考和引用数据治理的相关研究。数据治理有助于数据的融合应用、开放共享、资产化运营管理。在数据要素的基础上,数据资产管理更强调其资产视角,重点关注成本、定价、收益、价值等维度,数据资产的标准化更加有益于交易流通。

image.png

2-7数据资产研究与数据治理、数据开放共享、数据流通交易的关系

 

数据资产离不开数据治理,数据资产的管理实施分为 3个阶段,每个阶段都需要数据治理进行规范和管控。

•  初级治理:数据质量治理。首先,对数据进行数据标准化、质量管理、元数据管理等处理,提升数据质量,形成数据资产原料。

•  中级治理:数据资产治理。其次,通过数据合规、分类分级、安全管理、共享应用等处理,对数据资产原料进行加工,形成数据资产,此时数据具有可流通、可交易等数据资产的商品属性。

•  高级治理:数据价值治理。最后,通过数据交易、服务、洞察和模式创新等处理方式,促进数据流通,产生数据价值。

(2)数据治理与数据主权

随着信息技术、互联网络的不断发展,地域不再是信息传递的阻碍,数据流动成为信息世界的常态。数据流动有利于数据价值的挖掘,提升了数据的变现能力,为产业带来创新的资源环境,但也会造成数据主体权利的弱化,甚至是数据主体的不明确,尤其是数据的跨境流动,可能会导致数据的提供、管理和使用跨越国家和地区,处于不同的数据管辖体系,造成数据控制上的权利交叉,对数据主权造成巨大威胁。

大数据时代,数据已经成为国家的战略资源,数据主权也成为与军事、国防同样重要的大国博弈的空间,是国家竞争力的重要体现,数据主权的维护势在必行。而作为管理数据跨境流动的重要手段,数据治理也越来越被提升到维护数据主权的高度。

因此,很多国家结合本国国情,建立了有利于本国数据发展的数据治理体系,对数据跨境流动做出了规范和限制,强制企业在特定边界内存储数据或对要传输到境外的数据施加额外要求,以实现其关于数据传输的监管目标。如俄罗斯、澳大利亚等国为了保障数据的最高控制权,严格限制数据出境;欧盟等数据强严管地区,对数据出境目的国的数据监管水平提出了较高的要求[24]。据统计,全球范围内正在实施的关于数据的政策法规已超过 200项,而根据欧洲国际政治经济中心(ECIPE

的数据限制指数测算,全球对数据流动的总体限制在过去10年中翻了一番。

虽然限制数据的流动可能为一个国家或企业带来收益,但收益并没有那么普遍,限制可能不是实现一系列预期监管目标的最佳选择。允许数据流动和实现合法的监管目标之间不一定是零和博弈的关系,使用限制性措施前应更广泛地进行经济、法律和技术等方面的分析,通过构建完善的数据治理体系,从法律体制、经济环境、技术水平等多方面进行规范,实现数据自由流动与保护个人信息、维护网络安全以及保障执法部门基于正当程序访问数据等问题之间的平衡。

(3)数据治理与数据安全

信息技术和大数据应用的发展便捷了人们的工作和生活,但是大数据的广泛传播也带来了一定的风险,推销电话、电信诈骗层出不穷也都是由大家的私人数据被泄露导致的。2019年,Elasticsearch数据库 27亿个电子邮件地址被泄露,是目前网络安全历史上泄露数据规模最大的一次事故,仅在20191月,Elasticsearch数据

库就发生了5起数据泄露事件。数据安全成为大数据时代亟待解决的问题。

要保障数据安全,不仅要提高信息技术水平,还要在数据全生命周期对数据安全进行管理,这就需要构建完善的数据治理体系,从数据采集、治理、应用、运营各个阶段降低数据风险。数据安全管理流程如图 2-8所示。

image.png


2-8数据安全管理流程

 

数据治理通过数据的分类分级管控、严格的权限管理机制、完善的组织架构和监督评估体系,在数据的全生命周期,对数据风险进行评估和防控,完善数据

安全管理体系,提升数据安全管控水平,为数据应用和价值实现提供健康良好的管控环境。

(4)数据治理与共享开放

推动数据开放共享是国家大数据战略的核心内容。但在实施过程中,数据资源的价值具有隐藏性,研究人员需进行深度分析和挖掘,方能发现其潜在的价值。然而目前这一过程受到数据的完整性以及数据的访问权限等条件的制约,使得数据的应用价值受到极大的限制。很明显,只有开放的数据资源才能释放数据的价值。数据开放是大数据发挥其作用的基础。

数据开放共享面临着数据拥有者不愿、不敢、不会开放共享的问题[25]。这里面有政策的原因,更有技术的问题。截至 20144 月,已有 63个国家制定了政府数

据的开放计划,如美国、英国、法国等8个国家签署的《开放数据宪章》。我国国务

2015年印发《促进大数据发展行动纲要》,明确将政府数据的开放排在首位。然而数据开放带来的数据安全和隐私泄露的风险使得数据资源的开放变得越来

越困难。现行的数据管理技术是面向封闭式的数据自治的,不适合数据开放共享,急需开发面向数据开放共享的技术。数据自治开放为数据开放提供了新思路和新的解决办法。数据管理方式的变化将带来数据应用技术的巨大变革。

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
存储 SQL 测试技术
使用ClickHouse进行向量搜索 - 第二部分
本文介绍了如何使用ClickHouse进行向量搜索。总体来说,本文通俗易懂地介绍了如何使用ClickHouse进行向量搜索,包括概念、实现、高级功能和应用示例,对使用ClickHouse进行向量搜索提供了很好的概述。
52507 19
|
3月前
|
人工智能 安全 算法
数据共享又怕泄露?聊聊隐私计算:让数据“可用不可见”的绝活儿
数据共享又怕泄露?聊聊隐私计算:让数据“可用不可见”的绝活儿
556 15
|
10月前
|
存储 SQL 自然语言处理
ClickHouse查询执行与优化
本文详细介绍了SQL语法扩展、执行计划分析及优化策略,涵盖特殊函数与子句(如`WITH`、`ANY JOIN`)、聚合函数扩展(如`uniqCombined`、`quantileTDigest`)以及执行计划优化技巧。同时深入解析了ClickHouse的索引原理,包括主键索引和跳数索引的工作机制与优化方法。针对查询优化,文章提供了过滤条件下推、分布式查询优化和数据预聚合等策略,并探讨了资源管理与并发控制的核心参数(如`max_memory_usage`、`max_threads`)及队列优先级调度机制,助力高效使用ClickHouse。
|
存储 Java 测试技术
ClickHouse Keeper: 一个用 C++ 编写的 ZooKeeper 替代品
ClickHouse Keeper: 一个用 C++ 编写的 ZooKeeper 替代品介绍
71543 34
ClickHouse Keeper: 一个用 C++ 编写的 ZooKeeper 替代品
|
Java 数据库连接 mybatis
成功解决:java.lang.Integer cannot be cast to java.lang.Long
这篇文章讨论了Java中常见的类型转换错误,包括Integer转Long、Integer转String以及在MyBatis中Map接收查询结果时的类型不匹配问题,并提供了相应的解决方法。
|
搜索推荐 安全 数据挖掘
QuickBI行级权限:精细化数据访问控制,轻松实现千人千面
随着企业数据量的快速增长和应用场景的多样化,数据权限管理变得至关重要。QuickBI的行级权限功能通过条件组合授权和用户标签授权两种模式,实现了灵活、精细的数据权限控制。条件组合授权适用于多规则配合场景,如不同部门仅能看到自身产品线数据;用户标签授权则适合大规模个性化权限管理,如按地区限制数据可见性。该功能简化了配置步骤,提高了权限管理效率,确保数据安全合规且有效利用。
832 1
|
关系型数据库 OLAP OLTP
深入剖析 OALP 与 OLTP:概念、区别、技术、场景
本文深入剖析了OLTP(在线事务处理)与OLAP(在线分析处理)的概念、区别、技术及应用场景。OLTP专注于实时业务操作,确保数据一致性和高效性,适用于金融、电商等行业;OLAP则侧重于历史数据分析,支持复杂查询和多维分析,助力企业决策。两者在数据特点、系统设计、用户类型及数据库设计上存在显著差异。合理结合OLTP和OLAP,可提升企业的运营效率和决策水平。
2230 15
|
存储 NoSQL 算法
使用图数据库进行复杂数据建模:探索数据关系的无限可能
【8月更文挑战第17天】图数据库以其高效的关系查询能力、直观的数据表示方式、灵活的数据模型和强大的可扩展性,在复杂数据建模和查询中展现出了巨大的潜力。随着大数据和人工智能技术的不断发展,图数据库的应用领域也将不断拓展和深化。对于需要处理复杂关系网络和数据关联性的场景来说,图数据库无疑是一个值得深入研究和应用的强大工具。
|
Java API
Java 8,如何对 ArrayList 元素进行排序?
【8月更文挑战第16天】
1949 2
Java 8,如何对 ArrayList 元素进行排序?
|
Java
如何使用 Java 8 进行字符串排序?
【2月更文挑战第21天】
842 3