2022云栖精选—云时代的数据库技术趋势 跨域数据管理

简介: 杜小勇中国人民大学明理书院院长中国计算机学会理事数据库专委会资深委员

lQLPJxbcF2cqNBvMiM0FeLCMz4ifcSGHeANpqgFLAEAA_1400_136.png                              

数据库的发展主要受三种因素驱动。其一,数据模型的发展会带来数据或管理系统的变化,此外底层体系架构的变化和应用需求的驱动也会带来数据库系统的巨大变革。

东数西算工程,指通过构建数据中心、云计算、大数据一体化的新型算力网络体系,将东部算力需求有序引导到西部,利用西部较好的自然条件构建数据中心,建构全国性的算力网络。我们有理由相信,东数西算会改变中国的算力格局。

东数西算里“数”主要为解决当前普遍存在的数据孤岛问题。

数字经济是当下的核心话题,其主要目的在于释放数据价值。网络界的著名定律梅特卡夫定律告诉我们,节点越多,连接越多,则价值也会越大。数字经济背景下,参与共享和协同的数据越多,数据价值也可以得到更大的增长。

因此,数字经济的核心任务即在于打破数据孤岛。

由于大家“不会、不愿、不想”,使得数据之间的共享和协同异常困难。因此,跨域、高效、安全的数据共享与协同是未来的刚需,这也催生了跨域数据管理。我们希望算力网络上的数据库之间能够实现有效、安全的数据共享。

跨域可以从三个方面进行解读。

第一,跨空间域。两个数据集在物理空间上是远距离的,通过算力网络进行连接,主要问题在于网络的不确定性。

第二,跨管辖域。每个数据库都有自己的数据模型,不同数据模型之间如何进行数据交换和共享是一大挑战。

第三,跨信任域。每个数据库系统之间并不是完全相互信任,如何保障数据安全是主要问题。

当前,很多大厂采用了三地五中心的分布式架构来支持跨空间域的需求。这其中存在资源浪费,也存在安全性问题。需要解决的问题在于如何在广域网的基础上实现跨域的有效数据管理,会面临网络的不稳定和数据传输延时等挑战。

通常专用网络的时延为10微秒,数据中心内网络时延大概为百微秒级别,而跨空间域网络的时延大约需要10毫秒甚至更高。在较高时延下,如何实现传统的分布式数据管理是一大挑战。

其次,相比于专用网络和局域网,跨域网络抖动会更严重,网络传输的时延也会发生数量级的变化。

跨空间域数据管理的挑战覆盖了数据库管理的方方面面,比如存储管理、查询处理、事务管理等。

而目前,跨空间域的数据管理技术已经取得了一定的进展。比如通过避免跨域数据访问来解决存储管理的问题;通过减少数据传输量解决查询处理的问题;事务处理方面包括减少传输次数、减少数据传输量以及降低服务执行的不确定概率等。

未来,随着不确定性网络向确定性网络转变,相关研究也一定会取得更大进展。

跨管辖域数据管理方面,主要需解决不同数据模型之间的数据统计管理和交互。上世纪 80 年代,数据库领域提出了联邦数据库的概念,为了解决公司在并购过程中出现的问题,也提出了相关的概念,这些概念在今天也有不同的呈现,比如企业数据中台等场景也有类似的要求。

当前,跨管辖域数据管理面临的挑战主要为面向异构数据的统一高效查询以及多源异构数据的即席语义融合。目前的语义融合多为根据特定任务,offline 构建,可能要花费数月才能完成。我们期待有一种新的技术来支撑ad-hoc语义融合。

当前,跨管辖域的数据管理技术也已取得一定进展,比如统一查询、质量提升以及高时效。

企业、机构为了数据保护形成相对独立的域称为信任域,信任域之间的数据共享存在障碍。在此背景下,如何实现可信的共享、安全的计算以及隐私的保护是重中之重。

解决方案主要分为事前、事中、事后。

事前包括跨域用户的访问,事中主要包括基于区块链的合约执行以及面向隐私保护的计算技术,事后主要为审计技术等。

相关方面的研究也已取得一定的进展,比如基于密码学、新硬件以及统计学的解决方案。

跨域数据管理背景下,如何将技术统一应用起来,仍然存在诸多挑战。

数据要素跨域、高效、安全共享协同催生了跨域数据管理,也为数据管理带来了全新挑战。

lQLPJxbcF2cqM2TM-M0CnrCgW_7LDpyh1wNpqgFKAPsA_670_248.png

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
相关文章
|
SQL Java 数据库连接
除了JDBC,还有哪些常见的数据库访问技术?
除了JDBC,还有哪些常见的数据库访问技术?
1107 2
|
存储 数据可视化 容灾
开发PACS系统的技术难点解析:从数据管理到性能优化
开发PACS系统面临多重技术与合规挑战:海量影像数据的高效存储与分层管理、高并发下的实时调阅性能、DICOM标准的深度兼容、专业级图像处理与Web化可视化、与HIS/RIS/EMR系统的无缝集成、7×24小时高可用与数据安全,以及严格的医疗设备注册与网络安全认证。需融合存储架构、协议解析、临床流程与法规合规,构建稳定可靠的临床级系统,技术壁垒极高。
722 3
|
监控 Java 关系型数据库
HikariCP 高性能数据库连接池技术详解与实践指南
本文档全面介绍 HikariCP 高性能数据库连接池的核心概念、架构设计和实践应用。作为目前性能最优异的 Java 数据库连接池实现,HikariCP 以其轻量级、高性能和可靠性著称,已成为 Spring Boot 等主流框架的默认连接池选择。本文将深入探讨其连接管理机制、性能优化策略、监控配置以及与各种框架的集成方式,帮助开发者构建高性能的数据访问层。
1344 8
|
监控 Java 关系型数据库
HikariCP 高性能数据库连接池技术详解与实践指南
本文档全面介绍 HikariCP 高性能数据库连接池的核心概念、架构设计和实践应用。作为目前性能最优异的 Java 数据库连接池实现,HikariCP 以其轻量级、高性能和可靠性著称,已成为 Spring Boot 等主流框架的默认连接池选择。本文将深入探讨其连接管理机制、性能优化策略、监控配置以及与各种框架的集成方式,帮助开发者构建高性能的数据访问层。
1068 1
|
SQL 数据管理 BI
数据库操作三基石:DDL、DML、DQL 技术入门指南
本文围绕数据库操作核心语言 DDL、DML、DQL 展开入门讲解。DDL 作为 “结构建筑师”,通过CREATE(建库 / 表)、ALTER(修改表)、DROP(删除)等命令定义数据库结构;DML 作为 “数据管理员”,以INSERT(插入)、UPDATE(更新)、DELETE(删除)操作数据表记录,需搭配WHERE条件避免误操作;DQL 作为 “数据检索师”,通过SELECT结合WHERE、ORDER BY、LIMIT等子句实现数据查询与统计。三者相辅相成,是数据库操作的基础,使用时需注意 DDL 的不可撤销性、DML 的条件约束及 DQL 的效率优化,为数据库学习与实践奠定基础。
|
缓存 关系型数据库 MySQL
MySQL数据库性能调优:实用技术与策略
通过秉持以上的策略实施具体的优化措施,可以确保MySQL数据库的高效稳定运行。务必结合具体情况,动态调整优化策略,才能充分发挥数据库的性能潜力。
947 0
|
人工智能 关系型数据库 分布式数据库
媒体声音|从亚太到欧美,阿里云瑶池数据库凭何成为中企出海的技术底气?
在中企出海的时代浪潮中,瑶池数据库正凭借其技术创新、场景化解决方案、智能化能力、全球化布局,成为企业跨越挑战、构建全球竞争力的关键伙伴;同时也以硬核的技术实力证明了中国数据库的国际竞争力。
|
存储 人工智能 关系型数据库
诚邀您参加《智启云存:AI时代数据库RDS存储新突破》线上闭门技术沙龙!
诚邀您参加6月11日(周三)14:00在线上举行的《智启云存:AI时代数据库RDS存储新突破》闭门活动。免费报名并有机会获得精美礼品,快来报名吧:https://hd.aliyun.com/form/6162
|
安全 Apache 数据库
【倒计时3天】NineData x Apache Doris x 阿里云联合举办数据库技术Meetup,5月24日深圳见!
5月24日,NineData联合Apache Doris与阿里云在深圳举办数据库技术Meetup。活动聚焦「数据实时分析」与「数据同步迁移」两大领域,邀请行业专家分享技术趋势、产品实践及解决方案,助力企业构建高效安全的数据管理体系。时间:14:00-17:30;地点:深圳新一代产业园2栋20楼会议室。线下名额有限(80人),速报名参与深度交流!
462 1

相关产品

  • 数据管理