2022云栖精选—云时代的数据库技术趋势 跨域数据管理

本文涉及的产品
数据传输服务 DTS,数据迁移 small 3个月
推荐场景:
MySQL数据库上云
数据传输服务 DTS,数据同步 1个月
数据传输服务 DTS,同步至SelectDB 1个月
简介: 杜小勇中国人民大学明理书院院长中国计算机学会理事数据库专委会资深委员

lQLPJxbcF2cqNBvMiM0FeLCMz4ifcSGHeANpqgFLAEAA_1400_136.png                              

数据库发展主要受三种因素驱动。其一,数据模型发展会带来数据或管理系统变化,此外底层体系架构变化应用需求驱动也会带来数据库系统巨大变革。

东数西算工程,指通过构建数据中心云计算大数据一体化新型算力网络体系,将东部算力需求有序引导到西部利用西部较好自然条件构建数据中心,建构全国性的算力网络。我们有理由相信,东数西算会改变中国算力格局。

东数西算里“数”主要为解决当前普遍存在数据孤岛问题。

数字经济是当下核心话题其主要目的在于释放数据价值。网络界著名定律梅特卡夫定律告诉我们,节点越多,连接越多,价值会越大。数字经济背景下,参与共享和协同数据越多,数据价值也可以得到更大增长。

因此,数字经济核心任务即在于打破数据孤岛。

由于大家“不会、不愿、不想”,使得数据之间共享和协同异常困难。因此,跨域高效、安全数据共享与协同是未来刚需,这催生了数据管理。我们希望算力网络上的数据库之间能够实现有效安全数据共享。

跨域可以从三个方面进行解读。

第一,跨空间域。两个数据集在物理空间上是远距离的,通过算力网络进行连接,主要问题在于网络的不确定性。

第二,跨管辖域。数据库都有自己数据模型不同数据模型之间如何进行数据交换和共享是一大挑战。

第三,跨信任域。数据库系统之间并不是完全相互信任,如何保障数据安全是主要问题。

当前,很多大厂采用了三地五中心分布式架构来支持跨空间域的需求。这其中存在资源浪费,也存在安全性问题。需要解决的问题在于如何在广域网基础上实现跨域有效数据管理,会面临网络的不稳定数据传输延时等挑战。

通常专网络时延10微秒,数据中心内网络时延大概为百微秒级别,而跨空间域网络的时延大约需要10毫秒甚至更高。在较高时延下,如何实现传统分布式数据管理是一大挑战。

其次,相比专用网络和局域网,跨域网络抖动会更严重,网络传输时延也会发生数量级变化。

跨空间域数据管理的挑战覆盖了数据库管理方方面面,比如存储管理、查询处理、事务管理等。

而目前,跨空间域的数据管理技术已经取得了一定的进展。比如通过避免跨域数据访问来解决存储管理的问题通过减少数据传输量解决查询处理的问题事务处理方面包括减少传输次数、减少数据传输量以及降低服务执行的不确定概率等。

未来随着不确定性网络确定性网络转变相关研究也一定会取得更大进展

跨管辖数据管理方面,主要需解决不同数据模型之间数据统计管理和交互。上世纪 80 年代,数据库领域提出了联邦数据库的概念,为了解决公司在并购过程中出现的问题也提出了相关的概念,这些概念在今天也有不同的呈现,比如企业数据中台等场景也有类似的要求。

当前,跨管辖域数据管理面临的挑战主要为面向异构数据的统一高效查询以及多源异构数据的即席语义融合。目前的语义融合多为根据特定任务,offline 构建,可能要花费数月才能完成。我们期待有一种新的技术来支撑ad-hoc语义融合。

当前,跨管辖域的数据管理技术也已取得一定进展,比如统一查询、质量提升以及高时效。

企业、机构为了数据保护形成相对独立的域称为信任域,信任域之间数据共享存在障碍。在背景下,如何实现可信共享安全计算以及隐私保护是重中之重

解决方案主要分为事前、事中、事后。

事前包括用户访问,中主要包括基于区块链合约执行以及面向隐私保护计算技术事后主要为审计技术等

相关方面的研究也已取得一定的进展,比如基于密码学、新硬件以及统计学解决方案。

跨域数据管理背景下,如何技术统一应用起来,仍然存在诸多挑战。

数据要素跨域高效安全共享协同催生了跨域数据管理,也为数据管理带来了全新挑战。

lQLPJxbcF2cqM2TM-M0CnrCgW_7LDpyh1wNpqgFKAPsA_670_248.png

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
相关文章
|
1月前
|
SQL Java 数据库连接
除了JDBC,还有哪些常见的数据库访问技术?
除了JDBC,还有哪些常见的数据库访问技术?
214 2
|
2月前
|
存储 数据可视化 容灾
开发PACS系统的技术难点解析:从数据管理到性能优化
开发PACS系统面临多重技术与合规挑战:海量影像数据的高效存储与分层管理、高并发下的实时调阅性能、DICOM标准的深度兼容、专业级图像处理与Web化可视化、与HIS/RIS/EMR系统的无缝集成、7×24小时高可用与数据安全,以及严格的医疗设备注册与网络安全认证。需融合存储架构、协议解析、临床流程与法规合规,构建稳定可靠的临床级系统,技术壁垒极高。
213 3
|
2月前
|
监控 Java 关系型数据库
HikariCP 高性能数据库连接池技术详解与实践指南
本文档全面介绍 HikariCP 高性能数据库连接池的核心概念、架构设计和实践应用。作为目前性能最优异的 Java 数据库连接池实现,HikariCP 以其轻量级、高性能和可靠性著称,已成为 Spring Boot 等主流框架的默认连接池选择。本文将深入探讨其连接管理机制、性能优化策略、监控配置以及与各种框架的集成方式,帮助开发者构建高性能的数据访问层。
255 8
|
2月前
|
监控 Java 关系型数据库
HikariCP 高性能数据库连接池技术详解与实践指南
本文档全面介绍 HikariCP 高性能数据库连接池的核心概念、架构设计和实践应用。作为目前性能最优异的 Java 数据库连接池实现,HikariCP 以其轻量级、高性能和可靠性著称,已成为 Spring Boot 等主流框架的默认连接池选择。本文将深入探讨其连接管理机制、性能优化策略、监控配置以及与各种框架的集成方式,帮助开发者构建高性能的数据访问层。
170 1
|
2月前
|
SQL 数据管理 BI
数据库操作三基石:DDL、DML、DQL 技术入门指南
本文围绕数据库操作核心语言 DDL、DML、DQL 展开入门讲解。DDL 作为 “结构建筑师”,通过CREATE(建库 / 表)、ALTER(修改表)、DROP(删除)等命令定义数据库结构;DML 作为 “数据管理员”,以INSERT(插入)、UPDATE(更新)、DELETE(删除)操作数据表记录,需搭配WHERE条件避免误操作;DQL 作为 “数据检索师”,通过SELECT结合WHERE、ORDER BY、LIMIT等子句实现数据查询与统计。三者相辅相成,是数据库操作的基础,使用时需注意 DDL 的不可撤销性、DML 的条件约束及 DQL 的效率优化,为数据库学习与实践奠定基础。
|
3月前
|
缓存 关系型数据库 MySQL
MySQL数据库性能调优:实用技术与策略
通过秉持以上的策略实施具体的优化措施,可以确保MySQL数据库的高效稳定运行。务必结合具体情况,动态调整优化策略,才能充分发挥数据库的性能潜力。
187 0
|
5月前
|
存储 人工智能 关系型数据库
诚邀您参加《智启云存:AI时代数据库RDS存储新突破》线上闭门技术沙龙!
诚邀您参加6月11日(周三)14:00在线上举行的《智启云存:AI时代数据库RDS存储新突破》闭门活动。免费报名并有机会获得精美礼品,快来报名吧:https://hd.aliyun.com/form/6162
|
2月前
|
缓存 关系型数据库 BI
使用MYSQL Report分析数据库性能(下)
使用MYSQL Report分析数据库性能
128 3
|
2月前
|
关系型数据库 MySQL 数据库
自建数据库如何迁移至RDS MySQL实例
数据库迁移是一项复杂且耗时的工程,需考虑数据安全、完整性及业务中断影响。使用阿里云数据传输服务DTS,可快速、平滑完成迁移任务,将应用停机时间降至分钟级。您还可通过全量备份自建数据库并恢复至RDS MySQL实例,实现间接迁移上云。

相关产品

  • 数据管理