鱼和熊掌如何兼得?一文解析RDS数据库存储架构升级

本文涉及的产品
云原生数据库 PolarDB MySQL 版,Serverless 5000PCU 100GB
云原生数据库 PolarDB 分布式版,标准版 2核8GB
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介: 阿里云RDS率先推出新型存储类型通用云盘,提供低延迟、低成本、高持久性的用户体验。

在2023年云栖大会上,阿里云数据库产品事业部负责人李飞飞主题演讲中提到,瑶池数据库推出“DB+存储”一体化能力,结合人工智能、机器学习、存储等方法和创新能力,实现Buffer Pool Extension能力和智能冷温热数据分层能力。在大会的《云数据库RDS年度发布与最佳实践》演讲中,阿里云RDS及OLAP开源产品部负责人彭祥表示,面对当前越来越丰富且复杂的数据环境,性能、弹性、成本是数据库用户的三大重点诉求;阿里云RDS产品在业界率先推出新型存储类型——通用云盘,将云盘的IOPS与容量彻底解耦,增加缓存扩展的能力,用技术提升RDS产品IO性能,降低存储降本。


👉RDS通用云盘IO加速功能现已全网公测欢迎点击「公测」直达体验。


1. 什么是通用云盘?


介绍通用云盘前,我们先来说说存储。众所周知,数据库架构设计由下至上可分为存储层、引擎层、服务层、网络层。存储层负责数据的持久化存储和读取,处于整个数据库系统架构的最底层。数据存储和数据检索读取是它的两大功能。在数据库中,存储层常见的存储类型,往往有基于物理机本地硬盘的本地盘和基于分布式存储架构的云盘。本地盘存储,数据存储与计算资源位于同一物理服务器节点上,由于数据读写不需要经过网络传输,因此IO延迟通常较低,随机读写性能高,但本地盘的存储容量受限于单个服务器的硬件配置,一旦服务器出现故障,可能影响数据的安全性和可用性,且本地盘存储容量难以独立扩展;云盘基于分布式存储架构,数据存储与计算资源分离,用户可独立地按需调整计算和存储资源,提高了资源的利用率和灵活度,但云盘通过网络为计算节点提供存储服务,多少会对IO延时有所影响,而且,云盘的性能,往往跟其容量绑定,提升性能大部分情况下势必需要提升云盘容量,除此之外,云盘不支持缩容。


而在调研和分析用户业务场景的过程中,我们发现,在多个行业,例如电商行业、新零售行业、游戏行业等,用户业务流量并不是一直持续一个水位,有明显的波峰波谷特征,如何让性能不受容量影响,顺应峰值的到来而提升,如何得到性能(低延迟、高持久)的同时做到完美的成本控制(低成本),已然成为大部分客户在数据库选型中的关注点。阿里云RDS产品,率先推出了通用云盘,同时满足用户关于低成本、低延迟、高持久性的诉求


通用云盘,首先是一种云盘。但与当前业界主流云盘的区别在于,通用云盘深度融合PaaS层和IaaS层的技术创新,改变了传统的数据存储结构,将原有的单一数据存储划分为了三层存储结构:缓存层、数据层、冷存层。热数据存入缓存盘(High Performance Disk),温数据存入数据盘(ESSD云盘),归档数据存入冷存盘(OSS对象存储)。这样的存储结构设计中,将缓存盘作为可扩展的一部分,达到IO加速的效果;基于AliSQL独有的内核能力,轻松应对读写数据库过程中的IO突发情况发生,并支持最小10GB,最大64T的容量空间、云盘缩容以及自动秒级扩容的功能;同时,将不常用的冷数据归档存储于对象存储上,又实现使用成本的节约。通用云盘将IO性能与云盘容量解耦,使得数据层在IO性能与云盘容量两个方面都实现了极致弹性。



2. 三层存储是怎样的一种架构?



通用云盘的架构设计如上图所示,从左至右依次是缓存层、数据层、冷存层。各层存储各司其职,选择不同的存储介质,在对应存储层中发挥价值最大化。


  • 缓存层:处理高IOPS和超低IO时延需求,一般百万级IOPS和微秒级IO时延需求。采用阿里云高速缓存盘(High Performance Disk),结合RDS数据库引擎的缓存技术,实现查询数据库过程中的IO加速功能,带来更高的查询性能。
  • 数据层:处理低IO时延和数据可靠性需求,一般万级IOPS和毫秒级IO时延需求。采用阿里云ESSD云盘,保障数据的高可靠性和安全性,并借助基础设施和AliSQL内核的创新能力,以及RDS数据库的管控架构升级,达到IO性能与云盘容量的解耦,实现数据库读写过程的IO突发功能,提升了IO性能与云盘容量的极致弹性。
  • 冷存层:处理数据持久化和存储低成本需求一般存储在冷存层的数据不常被访问,但有超高的数据库可靠性和持久性需求。采用阿里云对象存储(Object Storage Service,OSS),结合RDS数据库引擎的归档技术,实现了数据库的归档功能,并支持通过ALTER TABLE实现表文件在数据层和冷存层的切换,为不常访问的数据表提供了更低成本的存储选择


表1:RDS通用云盘三层存储介质对比


3. 通用云盘有哪些特征?

在详解特性技术前,我们整理了一张通用云盘三层存储的特性对比表,如下:


表2:RDS通用云盘三层存储特性对比


3.1 缓存层特性——IO加速


IO加速是指提升数据库查询性能的一种特性。该特性主要体现在通用云盘的缓存层,发挥出高速缓存盘的高IO性能优势,从整体上提升数据库的查询性能。相比于ESSD云盘,高速缓存盘具备更高的IOPS上限和带宽上限,以及更低的IO时延。


缓存层通过两种方式实现IO加速:

  • 缓存池扩展(Buffer Pool Extension, BPE):利用高速缓存盘进行缓存池扩展,提高缓存命中率,减少数据层ESSD的访问次数,加快数据库查询速度。
  • 存放临时表/文件:利用高速缓存盘存放临时表/文件,提高临时表/文件的访问速度,进而提高数据库查询性能。


基于此,IO加速特性较适合读负载较高、临时表/文件使用较多的业务场景。当前,RDS的MySQL引擎已支持上述两种方式,RDS的PostgreSQL引擎暂仅支持存放临时表/文件的方式来实现IO加速。


3.1.1 缓存池扩展(Buffer Pool Extension, BPE)

缓存池(Buffer Pool,简称BP)是数据库引擎内存区域的一部分,用于临时存储常用的数据和索引页,从而减少对磁盘的访问次数,提高数据库操作的性能和效率。因此,缓存池越大,缓存命中率就越高,数据库对磁盘的访问次数就越少,整体的查询性能和效率就越高。


但是,缓存池的大小受限于内存资源,而对于数据库系统来说,内存资源的使用往往是比较紧张的。为了能够在不增加内存资源的情况下扩大缓存,并且充分利用高速缓存盘高IO性能的优势,RDS的MySQL引擎实现了缓存池扩展的功能,对内存中的缓存池进行扩充,进一步提高缓存命中率,提升数据库整体查询性能。


图1:缓存池扩展工作原理


缓存池扩展作用原理如上图,一次数据页读取的过程:

  1.  客户端侧发起读取数据页的请求。


  1. 请求进入内存的缓存池中查找指定数据页:
  • 如果在缓存池中找到数据页,则返回结果给客户端侧,查询和读取结束。
  • 如果在缓存池中未找到数据页,则执行步骤3。


  1. 请求进入缓存盘的缓存池拓展中查找指定数据页:
  • 如果在缓存池拓展中找到数据页,则返回数据页给缓存池,再返回结果给客户端侧,查询和读取结束。
  • 如果在缓存池拓展中未找到数据页,则执行步骤4。


  1. 请求进入ESSD的数据表文件中查找指定数据页。找到数据页后返回给缓存池,再返回结果给客户端侧。


  1. 查询和读取请求结束。


3.1.2 存放临时表/文件

对于数据库引擎来说,内存中的缓存池、磁盘中的临时表/文件都会影响数据库的查询性能。临时表/文件用于当前会话或者查询中,存放数据查询过程中产生的中间结果或者超出内存的结果,一般不需要持久化存储到数据文件中,使用后便会被删除。


基于临时表/文件在业务中的无持久化需求,RDS通用云盘,有别于当前的ESSD云盘,更改了临时表/文件的存储位置。之前,RDS数据库的临时表/文件存放于ESSD数据盘中;而推出通用云盘后,临时表/文件可存储于高速缓存盘中,提升了数据库对临时表/文件的访问效率,进而加快数据库查询速度。


以8核16GB规格为例,IO加速功能测试结果如下:

  • read_only QPS提升80%
  • write_only QPS提升33%
  • read_write QPS提升103%



3.2 数据层特性——IO突发和云盘缩容


通用云盘的数据层采用云盘ESSD作为存储介质,借助ESSD云盘的创新能力实现云盘的IO性能与容量解耦,并结合数据库RDS的管控架构优势和数据拷贝能力实现云盘的缩容,为数据库实现IO性能和云盘容量两方面的极致弹性。


3.2.1 IO突发


高IO负载、波动IO负载是较为常见的两种业务场景。RDS数据库之前接入的ESSD云盘(PL1-3),其云盘IO性能与容量深度绑定,IOPS和带宽上限深受存储容量的限制。在这个限制下,应对高IO负载、波动IO负载的高IO洪峰场景时,云盘扩容成为了获得更高云盘IO性能的唯一解。


RDS的通用云盘在数据库通过技术创新,将云盘的IO性能与存储容量解耦,提供IO性能突发能力,并可根据实际业务的使用量动态调整云盘的IO上限。高IO负载时,自动触发IO突发,提升IO上限,IO负载回落后,自动恢复IO上限,实现IO性能的极致弹性,避免IO性能和成本浪费。


如下测试图例,当开启IO突发后,业务IO高峰时,RDS实例的IOPS使用率会突破100%。


图2:RDS通用云盘IO突发测试


目前,RDS通用云盘IO突发功能已支持RDS MySQL、PostgreSQL和SQL Server三款引擎。


3.2.2 云盘缩容

众所周知,云盘不支持缩容。但RDS通用云盘,借助RDS数据库管控架构和AliSQL内核的优势,结合数据拷贝功能,实现了RDS云盘缩容。同时,基于云盘本身的秒级扩容能力,可以让客户根据业务需求自由地调整云盘容量,实现云盘容量的极致弹性。


3.3 冷存层特性——数据归档


通用云盘的冷存层数据层采用对象存储OSS作为存储介质,将表级别数据归档于OSS中,并不影响用户正常查询OSS中归档表数据。开启数据归档功能后,客户可通过ALTER TABLE将表文件在ESSD数据盘与OSS对象存储之间切换,同时在OSS中的归档表支持正常的查询。


OSS存储成本远低于ESSD,所以数据归档功能可以为客户不常访问的表大幅度降低存储成本。数据归档特性较适用于有不常访问或修改的表的业务场景。冷存层通过数据库内核直接访问对象存储和借助JuiceFS访问对象存储OSS两种方式实现数据归档。


3.3.1 数据库内核直接访问对象存储

数据库内核直接访问对象存储是指归档表数据put到OSS中,并通过get访问OSS归档表数据。RDS的MySQL引擎主要采用这种方式。值得注意的是,为确保归档表的兼容性,AliSQL内核采用InnoDB引擎存储格式。因此,缓存池扩展能力(BPE)仍然能够作用于归档表,对其查询性能进行加速。


开启数据归档功能后,可通过执行ALTER TABLE,将正常表上传至OSS转变成归档表,也可通过ALTER TABLE将归档表转为正常表。归档表目前仅支持读操作,用户可通过SELECT语句访问归档表中的内容。MySQL内核会对用户指定的归档表执行具体操作如下:


  • 将数据表对应的ibd文件,按照oss_block_size指定的大小(默认2MB)切分成文件块。
  • 利用OSS的sdk将切分后的文件块上传到OSS中。
  • 在ESSD数据盘上保留space header文件,加速实例的启动和表文件的扫描速度。


图3:RDS MySQL冷存归档数据流

3.3.2 借助JuiceFS访问对象存储


借助JuiceFS访问对象存储OSS的数据归档方式,主要用于RDS PostgreSQL引擎。


这种方式下,开启数据归档功能后,RDS PostgreSQL实例除了数据目录外,会增加归档目录/cold-jfs及对应的表空间rds_oss。客户可通过ALTER TABLE语句将对应的表转移到rds_oss表空间中。处于rds_oss表空间中的数据会借助JuiceFS文件系统上传到OSS上,并不占用ESSD数据盘空间。rds_oss表空间中的所有表均为归档表,客户可以用正常的查询语句查询归档表中的数据。


图4:RDS PostgreSQL冷存归档数据流


RDS MySQL冷存表只读性能测试结果如下:

相比于正常表,冷存表的QPS是正常表的15%左右。


4. 总结

性能、弹性、成本,是客户实际使用数据库过程中关注的三个重要方面。RDS业界率先推出的通用云盘,是PaaS层和IaaS层的深度融合的技术最佳实践,通过三层存储架构设计(缓存层、数据层和冷存层),每一层采用使用不同的存储介质,为客户提供同时满足低成本、低延迟、高持久性的体验。

相关文章
|
12天前
|
Linux 编译器 开发者
Linux设备树解析:桥接硬件与操作系统的关键架构
在探索Linux的庞大和复杂世界时🌌,我们经常会遇到许多关键概念和工具🛠️,它们使得Linux成为了一个强大和灵活的操作系统💪。其中,"设备树"(Device Tree)是一个不可或缺的部分🌲,尤其是在嵌入式系统🖥️和多平台硬件支持方面🔌。让我们深入了解Linux设备树是什么,它的起源,以及为什么Linux需要它🌳。
Linux设备树解析:桥接硬件与操作系统的关键架构
|
21天前
|
SQL 关系型数据库 MySQL
【MySQL技术专题】「问题实战系列」深入探索和分析MySQL数据库的数据备份和恢复实战开发指南(8.0版本升级篇)
【MySQL技术专题】「问题实战系列」深入探索和分析MySQL数据库的数据备份和恢复实战开发指南(8.0版本升级篇)
94 0
|
21天前
|
canal 消息中间件 关系型数据库
【分布式技术专题】「分布式技术架构」MySQL数据同步到Elasticsearch之N种方案解析,实现高效数据同步
【分布式技术专题】「分布式技术架构」MySQL数据同步到Elasticsearch之N种方案解析,实现高效数据同步
66 0
|
26天前
|
运维 Linux Apache
LAMP架构调优(十)——Apache禁止指定目录PHP解析与错误页面优化
LAMP架构调优(十)——Apache禁止指定目录PHP解析与错误页面优化
197 2
|
30天前
|
消息中间件 弹性计算 Kubernetes
Knative 架构解析
【2月更文挑战第29天】Knative作为构建无服务器产品的基础设施,建立在Kubernetes和Istio之上,提供从源代码到服务的编排、流量管理、自动扩缩容和事件绑定等功能,分为Build、Eventing和Serving三个模块,旨在确保编程模型的可移植性。
|
1月前
|
设计模式 存储 API
C++桥接模式大解析:轻松设计与实现高效软件架构
C++桥接模式大解析:轻松设计与实现高效软件架构
160 0
|
1月前
|
存储 SQL 分布式计算
TiDB整体架构概览:构建高效分布式数据库的关键设计
【2月更文挑战第26天】本文旨在全面概述TiDB的整体架构,深入剖析其关键组件和功能,从而帮助读者理解TiDB如何构建高效、稳定的分布式数据库。我们将探讨TiDB的计算层、存储层以及其他核心组件,并解释这些组件是如何协同工作以实现卓越的性能和扩展性的。通过本文,读者将能够深入了解TiDB的整体架构,为后续的学习和实践奠定坚实基础。
|
1月前
|
消息中间件 存储 Cloud Native
深度剖析 RocketMQ 5.0,架构解析:云原生架构如何支撑多元化场景?
了解 RocketMQ 5.0 的核心概念和架构概览;然后我们会从集群角度出发,从宏观视角学习 RocketMQ 的管控链路、数据链路、客户端和服务端如何交互;学习 RocketMQ 如何实现数据的存储,数据的高可用,如何利用云原生存储进一步提升竞争力。
140013 0
|
12天前
|
API 数据库 开发者
构建高效可靠的微服务架构:后端开发的新范式
【4月更文挑战第8天】 随着现代软件开发的复杂性日益增加,传统的单体应用架构面临着可扩展性、维护性和敏捷性的挑战。为了解决这些问题,微服务架构应运而生,并迅速成为后端开发领域的一股清流。本文将深入探讨微服务架构的设计原则、实施策略及其带来的优势与挑战,为后端开发者提供一种全新视角,以实现更加灵活、高效和稳定的系统构建。
18 0
|
10天前
|
Kubernetes 安全 Java
构建高效微服务架构:从理论到实践
【4月更文挑战第9天】 在当今快速迭代与竞争激烈的软件市场中,微服务架构以其灵活性、可扩展性及容错性,成为众多企业转型的首选。本文将深入探讨如何从零开始构建一个高效的微服务系统,覆盖从概念理解、设计原则、技术选型到部署维护的各个阶段。通过实际案例分析与最佳实践分享,旨在为后端工程师提供一套全面的微服务构建指南,帮助读者在面对复杂系统设计时能够做出明智的决策,并提升系统的可靠性与维护效率。

相关产品

  • 云数据库 RDS MySQL 版
  • 推荐镜像

    更多