PolarDB在2021 ACM SIGMOD

本文涉及的产品
云原生数据库 PolarDB PostgreSQL 版,企业版 4核16GB
推荐场景:
HTAP混合负载
云原生数据库 PolarDB MySQL 版,Serverless 5000PCU 100GB
简介: 阿里云自研数据库PolarDB在2021 ACM SIGMOD国际数据库顶级会议上发表的论文《PolarDB Serverless: A Cloud Native Database for Disaggregated Data Centers》中,提出了一种基于计算存储分离的最新Serverless技术架构。这一突破性技术被认为是下一代数据库服务的发展方向,标志着我国自研数据库在最新一代架构的探索上更进一步。

阿里云自研数据库PolarDB在2021 ACM SIGMOD国际数据库顶级会议上发表的论文《PolarDB Serverless: A Cloud Native Database for Disaggregated Data Centers》中,提出了一种基于计算存储分离的最新Serverless技术架构。这一突破性技术被认为是下一代数据库服务的发展方向,标志着我国自研数据库在最新一代架构的探索上更进一步。
早期的云上数据库,主要以ECS中的自建数据库和云厂商托管的数据库RDS的形态存在。这些云上数据库架构虽然使用了传统数据库的架构,并运行在云的基础设施上,但并未对数据库本身进行太多改造和适配。这导致其资源利用率受到较大限制,无法充分利用云的红利。以亚马逊Aurora和阿里云PolarDB为代表的第一代云原生数据库,虽然实现了存储和计算分离,并基于此实现了一写多读,一定程度上适配了云架构,但CPU和内存依然强绑定,导致计算要实现真正按需供应非常困难。
PolarDB Serverless的最大创新之处在于,在业内首次实现了内存与计算/存储的解耦,内存进一步池化,形成三层池化,使得弹性能力有数量级的提升。这种设计大幅度降低了成本,实现了完全地按量使用和按需弹性,贴合各种场景。PolarDB Serverless构建了一个全新的数据库形态,即DCaaDB(Datacenter as a Database)。整个IDC形成一个多租户的大数据库,其全部的CPU、内存和存储构成三个独立的资源池。在资源池未耗尽的情况下,任何一个用户(租户)都可以任意的弹性扩展任何一种资源到任何一个规格,用户为其SQL动态消耗的CPU、内存和存储买单,不需要预置任何的规格。
PolarDB Serverless的设计背后,包含了许多技术难点。例如,如何确保系统能正确执行事务,如何高效地执行事务,以及如何构建一个可靠的系统。PolarDB Serverless通过技术创新解决了这些问题,例如使用全局的缓存一致的机制实现全局页锁,使用RDMA和乐观锁技术提高并发性,以及设计了对不同节点类型的单节点崩溃的处理策略等。
PolarDB Serverless的突破性设计,使得数据库性能得到了显著提升,远超预期。这些结果也让我们有理由预测,使用全资源分离的架构来实现云原生的Serverless数据库,会成为下一个五年的云数据库发展趋势。

相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
目录
相关文章
|
2月前
|
关系型数据库 Serverless 分布式数据库
|
19天前
|
存储 关系型数据库 分布式数据库
重磅|顶会最高奖+1,阿里云PolarDB再获SIGMOD最佳论文奖
阿里云斩获SIGMOD 2024最佳论文,PolarDB成功破解经典多主架构难题
重磅|顶会最高奖+1,阿里云PolarDB再获SIGMOD最佳论文奖
|
29天前
|
存储 弹性计算 关系型数据库
PolarDB 开源评测
摘要: 本文介绍了开源PolarDB-X的部署安装步骤,包括下载安装包、环境准备、配置参数、初始化数据库和启动服务。在安装过程中可能遇到的难题有依赖库缺失、配置错误、端口占用和权限问题。建议优化帮助文档、增加错误提示、自动检查端口和改进权限管理。安装命令示例包括wget下载、tar解压、配置参数和启动服务。 另外,还简述了开源PolarDB-PG在阿里云ECS+ESSD云盘共享存储的安装,涉及创建ECS实例、安装PostgreSQL、配置共享存储和部署PolarDB-PG。面临挑战包括网络配置、存储性能和数据同步。建议提供云环境部署指南、性能调优工具和数据同步监控功能。
|
2月前
|
存储 弹性计算 关系型数据库
PolarDB评测
摘要: 本文提供了一份理论上的PolarDB-X和PolarDB-PG部署指南。建议包括:阅读官方文档、处理依赖环境安装、优化PXD工具用户体验、网络配置、ECS与ESSD准备、选择部署方式。提出改进点如详细依赖版本、增强用户指引、网络拓扑示例、存储配置最佳实践、安全配置指导和只读节点同步优化。提供的模拟安装步骤仅供参考,实际操作需参照最新官方文档并注重安全合规。
46 6
|
2月前
|
关系型数据库 分布式数据库 数据库
VLDB顶会论文解读 | PolarDB MySQL高性能强一致集群核心技术详解
在VLDB2023会议上,阿里云瑶池数据库团队的论文介绍了PolarDB-SCC,这是一个创新的云原生数据库系统,确保了低延迟的全局强一致读取。PolarDB-SCC解决了传统主从架构中只读节点可能返回过期数据的问题,实现了在不影响性能的情况下提供强一致性。通过重新设计的主从信息同步机制、线性Lamport时间戳和细粒度修改跟踪,以及利用RDMA优化的日志传输,PolarDB-SCC已经在PolarDB中成功应用超过一年,成为业界首个无感知全局一致性读的云原生数据库解决方案。
67073 0
|
2月前
|
关系型数据库 分布式数据库 数据库
定了!阿里云PolarDB开发者大会,1月17日见,速抢早鸟票!
阿里云PolarDB开发者大会,将于1月17日在北京市朝阳区嘉瑞文化中心举办,超多干货,高能来袭!了不起的开发者们,请上车!
定了!阿里云PolarDB开发者大会,1月17日见,速抢早鸟票!
|
10月前
|
关系型数据库 分布式数据库 数据库
VLDB顶会论文解读|PolarDB MySQL高性能强一致集群核心技术详解
论文中,PolarDB-SCC提出了一个全局强一致的主从架构的云原生数据库。目前该架构已在PolarDB架构中上线一年有余,是业内首个在业务无感知情况下实现全局一致性读的主从架构云原生数据库,解决了一直以来海量客户的一致性痛点。
|
8月前
|
安全 关系型数据库 分布式数据库
记SIGMOD最佳论文的诞生,由PolarDB团队的一次张榜说起
记SIGMOD最佳论文的诞生,由PolarDB团队的一次张榜说起
79 0
|
10月前
|
存储 SQL 机器学习/深度学习
VLDB论文解读|一文剖析阿里云Lindorm数据库在DB for AI领域的探索
论文主要针对大规模监控场景下海量时序数据的存储、访问、分析和管理带来的挑战,描述了阿里云多模数据库 Lindorm 带来的一站式解决方案。
|
10月前
|
人工智能 关系型数据库 分布式数据库
刷新纪录!阿里云数据库17篇论文入选国际顶会VLDB
刷新纪录!阿里云数据库17篇论文入选国际顶会VLDB
388 0