2022云栖精选—云时代的数据库技术趋势 跨域数据管理

本文涉及的产品
数据传输服务 DTS,数据同步 small 3个月
推荐场景:
数据库上云
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
数据传输服务 DTS,数据迁移 small 3个月
推荐场景:
MySQL数据库上云
简介: 杜小勇中国人民大学明理书院院长中国计算机学会理事数据库专委会资深委员

lQLPJxbcF2cqNBvMiM0FeLCMz4ifcSGHeANpqgFLAEAA_1400_136.png                              

数据库发展主要受三种因素驱动。其一,数据模型发展会带来数据或管理系统变化,此外底层体系架构变化应用需求驱动也会带来数据库系统巨大变革。

东数西算工程,指通过构建数据中心云计算大数据一体化新型算力网络体系,将东部算力需求有序引导到西部利用西部较好自然条件构建数据中心,建构全国性的算力网络。我们有理由相信,东数西算会改变中国算力格局。

东数西算里“数”主要为解决当前普遍存在数据孤岛问题。

数字经济是当下核心话题其主要目的在于释放数据价值。网络界著名定律梅特卡夫定律告诉我们,节点越多,连接越多,价值会越大。数字经济背景下,参与共享和协同数据越多,数据价值也可以得到更大增长。

因此,数字经济核心任务即在于打破数据孤岛。

由于大家“不会、不愿、不想”,使得数据之间共享和协同异常困难。因此,跨域高效、安全数据共享与协同是未来刚需,这催生了数据管理。我们希望算力网络上的数据库之间能够实现有效安全数据共享。

跨域可以从三个方面进行解读。

第一,跨空间域。两个数据集在物理空间上是远距离的,通过算力网络进行连接,主要问题在于网络的不确定性。

第二,跨管辖域。数据库都有自己数据模型不同数据模型之间如何进行数据交换和共享是一大挑战。

第三,跨信任域。数据库系统之间并不是完全相互信任,如何保障数据安全是主要问题。

当前,很多大厂采用了三地五中心分布式架构来支持跨空间域的需求。这其中存在资源浪费,也存在安全性问题。需要解决的问题在于如何在广域网基础上实现跨域有效数据管理,会面临网络的不稳定数据传输延时等挑战。

通常专网络时延10微秒,数据中心内网络时延大概为百微秒级别,而跨空间域网络的时延大约需要10毫秒甚至更高。在较高时延下,如何实现传统分布式数据管理是一大挑战。

其次,相比专用网络和局域网,跨域网络抖动会更严重,网络传输时延也会发生数量级变化。

跨空间域数据管理的挑战覆盖了数据库管理方方面面,比如存储管理、查询处理、事务管理等。

而目前,跨空间域的数据管理技术已经取得了一定的进展。比如通过避免跨域数据访问来解决存储管理的问题通过减少数据传输量解决查询处理的问题事务处理方面包括减少传输次数、减少数据传输量以及降低服务执行的不确定概率等。

未来随着不确定性网络确定性网络转变相关研究也一定会取得更大进展

跨管辖数据管理方面,主要需解决不同数据模型之间数据统计管理和交互。上世纪 80 年代,数据库领域提出了联邦数据库的概念,为了解决公司在并购过程中出现的问题也提出了相关的概念,这些概念在今天也有不同的呈现,比如企业数据中台等场景也有类似的要求。

当前,跨管辖域数据管理面临的挑战主要为面向异构数据的统一高效查询以及多源异构数据的即席语义融合。目前的语义融合多为根据特定任务,offline 构建,可能要花费数月才能完成。我们期待有一种新的技术来支撑ad-hoc语义融合。

当前,跨管辖域的数据管理技术也已取得一定进展,比如统一查询、质量提升以及高时效。

企业、机构为了数据保护形成相对独立的域称为信任域,信任域之间数据共享存在障碍。在背景下,如何实现可信共享安全计算以及隐私保护是重中之重

解决方案主要分为事前、事中、事后。

事前包括用户访问,中主要包括基于区块链合约执行以及面向隐私保护计算技术事后主要为审计技术等

相关方面的研究也已取得一定的进展,比如基于密码学、新硬件以及统计学解决方案。

跨域数据管理背景下,如何技术统一应用起来,仍然存在诸多挑战。

数据要素跨域高效安全共享协同催生了跨域数据管理,也为数据管理带来了全新挑战。

lQLPJxbcF2cqM2TM-M0CnrCgW_7LDpyh1wNpqgFKAPsA_670_248.png

相关文章
|
2天前
|
监控 Java 数据库连接
Java开发者必读:连接池技术如何提升数据库连接效率
【6月更文挑战第24天】Java开发中,面对高并发的数据库访问,连接池技术成为性能优化的关键。它预先创建连接池,减少频繁的连接创建/关闭,提升响应速度,节省资源,并增强系统稳定性。例如,HikariCP连接池通过配置实现DB连接管理,简化代码并提升应用性能。
|
2天前
|
SQL Java 数据库连接
打破瓶颈:利用Java连接池技术提升数据库访问效率
【6月更文挑战第24天】Java连接池优化数据库访问性能,减少资源消耗。原理是预创建数据库连接池,复用连接而非频繁建立断开。优势包括性能提升、资源节约和增强稳定性。示例使用HikariCP配置连接池,动态获取和释放连接。通过连接池技术,应用能更高效地处理数据库操作。
|
2天前
|
Java 数据库连接 数据库
优化之路:Java连接池技术助力数据库性能飞跃
【6月更文挑战第24天】Java连接池技术优化数据库性能,减少连接开销,提高响应速度。常见库有HikariCP、C3P0、DBCP。选择时考虑性能、功能和稳定性。以HikariCP为例,配置包括设置URL、用户、密码和最大连接数。优化配置涉及最大连接数调整、连接超时及连接校验。连接池能提升应用效率,确保资源有效利用。
|
2天前
|
SQL Java 关系型数据库
探索Java数据库连接的奥秘:JDBC技术全攻略
【6月更文挑战第24天】Java的JDBC是连接数据库的标准,提供统一API访问多种数据库。本文涵盖JDBC的基本概念、核心组件(如DriverManager、Connection、Statement、PreparedStatement和ResultSet)和最佳实践。示例展示了如何用JDBC连接MySQL,执行查询并处理结果。最佳实践包括使用PreparedStatement防SQL注入,妥善管理资源,处理异常,使用事务以及优化性能。了解和掌握JDBC能提升数据库操作的效率和安全性。
|
2天前
|
SQL 数据库 数据库管理
逆向学习数据库篇:多表查询技术详解
逆向学习数据库篇:多表查询技术详解
4 0
|
2天前
|
SQL 监控 Java
技术实战:Java数据库连接池优化策略解析
【6月更文挑战第24天】Java应用的数据库连接池优化关键在于参数调整、预编译SQL和监控。案例中,高并发购物系统初期使用C3P0,因参数不合理导致性能瓶颈。调整如设置`MinPoolSize`为10,`MaxPoolSize`为50,和`CheckoutTimeout`为3000ms,配合预编译SQL提升执行效率。通过JMX监控连接池状态,动态调优,确保系统响应速度和资源利用。
|
2天前
|
SQL Java 关系型数据库
Java与数据库连接技术JDBC关键核心之PreparedStatement以及SQL注入演示解决和原理
Java与数据库连接技术JDBC关键核心之PreparedStatement以及SQL注入演示解决和原理
6 0
|
2天前
|
存储 关系型数据库 MySQL
关系型数据库MySQL的MyISAM
【6月更文挑战第17天】
21 11
|
1天前
|
SQL 关系型数据库 MySQL
关系型数据库mysql的CSV
【6月更文挑战第18天】
18 6
|
4天前
|
存储 关系型数据库 MySQL

热门文章

最新文章

相关产品

  • 数据管理