达摩院加持,阿里云数据库前沿技术研究获三大国际顶会认可

本文涉及的产品
云数据库 Tair(兼容Redis),内存型 2GB
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
简介: 揭秘阿里云&达摩院前沿数据库技术研究成果

中国数据库前沿研究再获国际认可。2022年度阿里云数据库团队共有15篇论文被数据库三大国际顶级会议SIGMOD、VLDB、ICDE收录。这些高质量的顶会论文是阿里云数据库前沿技术研究与产品商业化服务形成“飞轮效应”的最新例证。SIGMOD、VLDB、ICDE被公认是数据库领域具有最高学术地位的国际性会议,收录论文代表了数据库相关技术的最高水平,也是未来技术发展的重要风向标。


2022年,阿里云数据库团队被收录的15篇论文成果覆盖云原生、分布式、智能化、安全可信、时序时空等数据库前沿研究方向。其中,8篇来自于阿里云和达摩院的独立研究,7篇来自于阿里云与北京大学、浙江大学、香港科技大学等高校紧密合作的联合研究。


雪茗-5.17.png


阿里云自成立以来就十分重视数据库前沿技术研究,并为此成立专门的研究机构——达摩院数据库与存储实验室。过去几年,达摩院的前沿技术研究与阿里云数据库的产品商业化服务形成相互促进的“飞轮”,前沿技术研究保证了数据库产品技术的领先,带给客户更多价值,同时大规模服务客户遇到的丰富场景推动达摩院不断在前沿技术研究领域获得突破。

 

这种良性互动的“飞轮效应”体现在阿里云数据库自研产品PolarDB的云原生数据库技术创新中。

 

PolarDB是阿里自主研发的云原生关系型数据库,采用存储计算分离架构和软硬一体化等创新设计,成本只有传统商用数据库的1/10。正是在大量客户要求持续降低成本的背景之下,PolarDB在业内率先实现了一种全新的架构——计算、内存和存储的三层解耦,首次实现内存池化。这种架构创新能够帮助下一代云原生数据库显著提升性能和弹性,大幅降低成本。

 

在自研技术和业务驱动下,以PolarDB-X为代表的云原生分布式数据库增长式爆发。ICDE 2022收录的一篇论文全面介绍了PolarDB-X的特性:支持将数据动态分布至多个数据节点,提供快照隔离的分布式事务,并具备多数据中心强一致同步、计算存储分离下的弹性扩缩容以及多副本隔离下的HTAP等。PolarDB-X已于2021年10月全内核代码开源

 

同时,在达摩院技术的加持下,PolarDB的产品能力边界取得进一步突破。今年被VLDB和SIGMOD录用的多篇论文分别介绍了达摩院自研的全加密数据库空天数据库引擎Ganos背后的系统设计,以及数据库性能自动调优的智能化能力。阿里云成为全球仅有的两家实现了全加密数据库产品商业化输出的云厂商之一,空天数据库引擎Ganos的加持更是让PolarDB数据库可以高效管理多维、动态、场景化的空间/时空/网格数据,更好地支持数字孪生城市等复杂3D多模态数据管理场景。并且,达摩院丰富的智能算法在数据库领域的深度应用,也让PolarDB等数据库产品拥有了“自动驾驶”能力,方便客户简便、智能、高效地使用。

 

事实上,在类似良性互动中,阿里云数据库收获颇丰。在学术论文方面,过去几年阿里云数据库团队在国际顶级会议上发布的论文数量不断创下新高,从2018年的2篇增长到2022年的15篇;在技术产品化方面,阿里云数据库获得了近千项专利,实现自研数据库拥有存储计算分离、三层解耦、多主架构、HATP、Serverless、一体化分布式、全加密、智能与自治化等创新能力;在商业化落地方面,阿里云数据库经受住了双11最严苛的检验,PolarDB创造峰值1.4亿次/秒数据库处理峰值(TPS)纪录;PolarDB、AnalyticDB、RDS等云原生数据库产品深度服务国家医保信息平台、自然人税收管理系统等重大国计民生项目。

 

阿里云数据库产品事业部和达摩院数据库与存储实验室负责人李飞飞表示:“阿里云数据库是达摩院加持的产品技术团队。这种独特的创新机制,保证阿里云数据库在技术上的前瞻性和创新性,同时阿里云数据库团队强大的产品化能力,也保证了创新技术能够实现大规模落地,为客户带来越来越多的价值。”

 

公开资料显示,阿里云拥有国内最强大和丰富的云数据库产品家族,自主研发了云原生关系型数据库PolarDB、云原生数据仓库AnalyticDB、云原生多模数据库Lindorm等云原生数据库产品技术,可以为企业提供一站式全链路数据管理与服务。2020年和2021年,阿里云作为中国唯一的科技厂商连续两年成功进入Gartner全球数据库领导者象限。目前已服务互联网、政务、零售、金融、电信、制造、物流等多个领域的15万客户。IDC最新数据显示,阿里云位居中国关系型数据库市场第一



2022年阿里云数据库顶会论文列表

(标重点为阿里云 & 达摩院独立研究成果)

  1. Remus: Efficient Live Migration for Distributed Databases with Snapshot Isolation. SIGMOD 2022
  2. ESDB: Processing Extremely Skewed Workloads in Real-time. SIGMOD 2022
  3. Towards Dynamic and Safe Configuration Tuning for Cloud Databases. SIGMOD 2022
  4. PreQR: Pre-training Representation for SQL Understanding. SIGMOD 2022
  5. Towards Practical Oblivious Join. SIGMOD 2022
  6. Operon: An Encrypted Database for Ownership-Preserving Data Management. VLDB 2022
  7. Ganos: A Multidimensional, Dynamic, and Scene-Oriented Cloud-Native Spatial Database Engine. VLDB 2022
  8. Tair-PMem: A Fully Durable Non-Volatile Memory Database. VLDB 2022
  9. CloudJump: Optimizing Cloud Database for Cloud Storage. VLDB 2022
  10. VRE: A Versatile, Robust, and Economical Trajectory Data System. VLDB 2022
  11. Facilitating Database Tuning with Hyper-Parameter Optimization: A Comprehensive Experimental Evaluation. VLDB 2022
  12. PolarDB-X: An Elastic Distributed Relational Database for Cloud-Native Applications. ICDE 2022
  13. PinSQL: Pinpoint Root Cause to Resolve SQL Performance Issues In Cloud Databases. ICDE 2022
  14. A Comparative Study of in-Database Inference Approaches. ICDE 2022
  15. Ubiquitous Verification in Centralized Ledger Databases. ICDE 2022
相关实践学习
快速体验PolarDB开源数据库
本实验环境已内置PostgreSQL数据库以及PolarDB开源数据库:PolarDB PostgreSQL版和PolarDB分布式版,支持一键拉起使用,方便各位开发者学习使用。
相关文章
|
10天前
|
SQL 存储 关系型数据库
【SQL技术】不同数据库引擎 SQL 优化方案剖析
不同数据库系统(MySQL、PostgreSQL、Doris、Hive)的SQL优化策略。存储引擎特点、SQL执行流程及常见操作(如条件查询、排序、聚合函数)的优化方法。针对各数据库,索引使用、分区裁剪、谓词下推等技术,并提供了具体的SQL示例。通用的SQL调优技巧,如避免使用`COUNT(DISTINCT)`、减少小文件问题、慎重使用`SELECT *`等。通过合理选择和应用这些优化策略,可以显著提升数据库查询性能和系统稳定性。
64 9
|
1月前
|
存储 运维 OLAP
【Meetup回顾 第1期】竟是这样的国产数据库,YashanDB技术内幕曝光
YashanDB是一款基于统一内核,支持单机/主备、共享集群、分布式等多种部署方式,覆盖OLTP/HTAP/OLAP交易和分析混合负载场景的新型数据库系统;YashanDB同时提供开发平台、运维平台和迁移平台3大工具平台以满足数据全生命周期管理。
35 2
【Meetup回顾 第1期】竟是这样的国产数据库,YashanDB技术内幕曝光
|
1月前
|
关系型数据库 分布式数据库 数据库
1月17日|阿里云云谷园区,PolarDB V2.0技术沙龙,畅聊国产数据库
为了助力国产化项目顺利推进,阿里云邀请企业开发者和数据库负责人到云谷园区,与PolarDB V2.0技术专家面对面交流。扫描海报二维码报名,我们将根据信息为您申请入园。欢迎参与,共同探讨PolarDB的最新技术和应用!
|
2月前
|
人工智能 物联网 大数据
解密时序数据库的未来:TDengine Open Day技术沙龙精彩回顾
在数字化时代,开源已成为推动技术创新和知识共享的核心力量,尤其在数据领域,开源技术的涌现不仅促进了行业的快速发展,也让更多的开发者和技术爱好者得以参与其中。随着物联网、工业互联网等技术的广泛应用,时序数据库的需求愈发强烈,开源的兴起更是为这一技术的创新与普及提供了强有力的支持。
46 3
|
2月前
|
存储 JSON NoSQL
学习 MongoDB:打开强大的数据库技术大门
MongoDB 是一个基于分布式文件存储的文档数据库,由 C++ 编写,旨在为 Web 应用提供可扩展的高性能数据存储解决方案。它与 MySQL 类似,但使用文档结构而非表结构。核心概念包括:数据库(Database)、集合(Collection)、文档(Document)和字段(Field)。MongoDB 使用 BSON 格式存储数据,支持多种数据类型,如字符串、整数、数组等,并通过二进制编码实现高效存储和传输。BSON 文档结构类似 JSON,但更紧凑,适合网络传输。
82 15
|
3月前
|
SQL Java 数据库连接
在Java应用中,数据库访问常成为性能瓶颈。连接池技术通过预建立并复用数据库连接,有效减少连接开销,提升访问效率
在Java应用中,数据库访问常成为性能瓶颈。连接池技术通过预建立并复用数据库连接,有效减少连接开销,提升访问效率。本文介绍了连接池的工作原理、优势及实现方法,并提供了HikariCP的示例代码。
85 3
|
3月前
|
Java 数据库连接 数据库
深入探讨Java连接池技术如何通过复用数据库连接、减少连接建立和断开的开销,从而显著提升系统性能
在Java应用开发中,数据库操作常成为性能瓶颈。本文通过问题解答形式,深入探讨Java连接池技术如何通过复用数据库连接、减少连接建立和断开的开销,从而显著提升系统性能。文章介绍了连接池的优势、选择和使用方法,以及优化配置的技巧。
79 1
|
SQL Cloud Native 关系型数据库
ADBPG(AnalyticDB for PostgreSQL)是阿里云提供的一种云原生的大数据分析型数据库
ADBPG(AnalyticDB for PostgreSQL)是阿里云提供的一种云原生的大数据分析型数据库
1369 1
|
数据可视化 关系型数据库 MySQL
将 PostgreSQL 迁移到 MySQL 数据库
将 PostgreSQL 迁移到 MySQL 数据库
1825 2
|
SQL 存储 自然语言处理
玩转阿里云RDS PostgreSQL数据库通过pg_jieba插件进行分词
在当今社交媒体的时代,人们通过各种平台分享自己的生活、观点和情感。然而,对于平台管理员和品牌经营者来说,了解用户的情感和意见变得至关重要。为了帮助他们更好地了解用户的情感倾向,我们可以使用PostgreSQL中的pg_jieba插件对这些发帖进行分词和情感分析,来构建一个社交媒体情感分析系统,系统将根据用户的发帖内容,自动判断其情感倾向是积极、消极还是中性,并将结果存储在数据库中。
玩转阿里云RDS PostgreSQL数据库通过pg_jieba插件进行分词