数据江湖唯快不破 云数据库RDS存储能力进化解析

简介: 数据库是企业IT系统的核心,其性能表现会直接影响整体业务系统的性能表现,而影响数据库性能因素包括系统架构设计、应用程序业务SQL语句、数据库参数优化配置、数据库运行的资源能力。

导读

数据库是企业IT系统的核心,其性能表现会直接影响整体业务系统的性能表现,而影响数据库性能因素包括系统架构设计、应用程序业务SQL语句、数据库参数优化配置、数据库运行的资源能力。

系统架构设计和应用程序业务SQL语句都属于数据库外围,需要从整体业务上去设计优化;数据库的参数配置,核心是要根据数据库上的业务和硬件特点细调参数,丰富的DBA经验对此项影响很大,归属于软件配置内容且随时可调整。

数据库的硬件资源,在传统企业中属于一项固定资产投资,前期投资成本高,后期更换成本更高,云时代虽然能够随时扩容硬件资源和更换,但亦受到数据迁移、业务停服等影响,因此好的硬件资源选择非常重要。

影响性能的硬件包括CPU、内存、磁盘、网络:

  • CPU:计算能力核心,其表现会直接影响数据库的逻辑运算能力,比方说查询计算、数据聚合、存储过程效率等。
  • 内存:对性能非常关键,其核心是缓存频繁使用数据避免系统频繁与磁盘交互,性能表现一般都在纳秒级延迟,一般OLTP数据库建议内存和数据空间比例至少要保持在20%。
  • 磁盘:相比前两者性能最差,因此磁盘性能表现直接影响数据库整体表现。云数据库目前提供两种磁盘,包括本地盘和云盘,本地盘性能高(微秒级延迟)但存储容量有限,云盘更大存储容量但性能受限(毫秒级延迟)。
  • 网络:网络影响主要在于带宽,因此大查询或者大事务,对网络的要求就很高。

重点分析磁盘性能对业务有影响的因素包括:

  • 延迟:延迟越低,系统响应越实时,如对于交易型系统,延迟会影响到每次用户操作是否卡顿。
  • 吞吐量:带宽越高,并发能力越好,多用户同时操作时可以并发处理更多需求,避免排队。
  • IOPS:是磁盘并发能力的直接指标,定义是在特定数据块(如4K)大小下每秒可处理的IO请求数。

上面提到本地盘的性能要好于云盘,那么为什么云数据库RDS的发展要往云盘方向走呢?主要原因除了性能以外,云盘还有诸多企业特性满足各类业务需求,如三副本数据存储可保证业务数据可靠性达到9个9,存储与计算分离,可支持容量更大同时扩容相对更简单等。

而ESSD云盘相对SSD云盘,企业特性有非常大的加强,同时重点性能表现大大提升,达到本地盘能力甚至超越。下面我将重点分析企业级高性能存储ESSD的核心能力。

极致性能极致稳定

ESSD最大实现单实例单盘100万IOPS,并且读写时延降低70%+,最快达到200us,核心能力的技术保障是ESSD首次采用面向未来的架构设计。

首先ESSD云盘采用RDMA网卡,在硬件上保障了网络吞吐能力达到了50Gbps。

其次在软件层面阿里云研发了新一代的底层存储系统,存储引擎2.0,性能表现极致同时坚如磐石,是稳定性能表现的关键,高IOPS场景下响应时间几乎无抖动。最后软件架构层面实现了全用户态协议栈,降低了70%时延。

阿里云自研的存储引擎2.0新架构是性能提升关键,实现了用户态文件系统(FusionEngine)、高性能网络库(OptimizedTCP RDMA)、极致的软件栈优化(实现无锁、无上下文切换、零拷贝),多流映射(吞吐量提升三倍),实现动态切换(99.9%分位延迟降为1/10)等核心技术。

RDS率先支持ESSD存储,第一时间为客户提供高性能的数据库服务,经过实际客户业务测试,MySQL数据库在云盘容量减少60%的前提下,较SSD云盘,ESSD云盘TPS提升200%以上,时延降低60%以上。

image.png

在线扩容业务永续

磁盘容量规划是非常重要的数据库设计内容,云时代客户可以先购买够用的小空间容量,之后根据业务发展弹性扩容空间。

在此之前,云数据库云盘的扩容都会涉及到业务闪断,比如说MySQL5.7高可用版、SQLServer 2016 标准高可用版,用户发起磁盘扩容需求后,RDS管控系统会先在后端扩容备库磁盘空间,然后做主备切换(涉及业务连接闪断),最后再原主库扩容磁盘空间,扩容期间具体的实例主机都会涉及重启,整个过程约花费半小时(但业务影响只有闪断),有时也很难解决燃眉之急。

image.png

ESSD云盘支持在线扩容,此特性确保在数据库接到扩容需求后,立即执行磁盘空间动作,无需主备切换,无需重启数据库实例机器,简单且方便的保障业务连续访问。

快照备份有备无患

image.png

ESSD云盘集成快照特性,最多可支持64个快照,支持跨可用区多副本的数据保护能力。该特性特别适用于数据库的备份需求。

云数据库RDS针对ESSD的急速快照能力,研发了全新一代数据库备份系统,支持利用快照能力备份整个实例,并且支持全量和增量快照能力,备份和恢复速度都大大提升。由于备份效率的提升,RDS可以提供更大容量,满足有大空间需求的用户。

极致安全自助可控

image.png

云数据库RDS通过ESSD的安全加密能力,实现落盘加密功能,并且支持客户自带秘钥,满足全部行业的最严安全合规要求,诸如金融、保险、证券等行业。

另外结合RDS数据链路加密和SQL审计功能,为应用系统运行期间的链路、存储、审计三个维度提供严格的安全保护。

如何购买RDS ESSD版实例

购买RDS高性能存储ESSD版实例过程及其简单,申请开通权限后,用户在购买RDS实例的时候,存储类型就可以选择ESSD后,即可点击购买完成实例生产。
image.png

云数据库RDS存储类型从支持本地盘,到支持SSD云盘,再到支持ESSD云盘,技术路径演进方向明确,存储与计算分离、更高数据可靠性、更强数据安全性、更快性能、更易用企业特性,功能和能力范围不断增强,基于ECS和ESSD的新架构能够充分利用硬件红利,为企业客户提供最好的数据库服务。

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
相关文章
|
存储 JSON 关系型数据库
【干货满满】解密 API 数据解析:从 JSON 到数据库存储的完整流程
本文详解电商API开发中JSON数据解析与数据库存储的全流程,涵盖数据提取、清洗、转换及优化策略,结合Python实战代码与主流数据库方案,助开发者构建高效、可靠的数据处理管道。
|
存储 SQL 关系型数据库
RDS DuckDB技术解析一:当 MySQL遇见列式存储引擎
RDS MySQL DuckDB分析实例以​列式存储与向量化计算​为核心,实现​复杂分析查询性能百倍跃升​,为企业在海量数据规模场景下提供​实时分析能力​,加速企业数据驱动型决策效能。​​
|
存储 缓存 数据库
数据库数据删除策略:硬删除vs软删除的最佳实践指南
在项目开发中,“删除”操作常见但方式多样,主要分为硬删除与软删除。硬删除直接从数据库移除数据,操作简单、高效,但不可恢复;适用于临时或敏感数据。软删除通过标记字段保留数据,支持恢复和审计,但增加查询复杂度与数据量;适合需追踪历史或可恢复的场景。两者各有优劣,实际开发中常结合使用以满足不同需求。
1511 4
|
存储 数据管理 数据库
数据字典是什么?和数据库、数据仓库有什么关系?
在数据处理中,你是否常困惑于字段含义、指标计算或数据来源?数据字典正是解答这些问题的关键工具,它清晰定义数据的名称、类型、来源、计算方式等,服务于开发者、分析师和数据管理者。本文详解数据字典的定义、组成及其与数据库、数据仓库的关系,助你夯实数据基础。
数据字典是什么?和数据库、数据仓库有什么关系?
|
11月前
|
数据采集 关系型数据库 MySQL
python爬取数据存入数据库
Python爬虫结合Scrapy与SQLAlchemy,实现高效数据采集并存入MySQL/PostgreSQL/SQLite。通过ORM映射、连接池优化与批量提交,支持百万级数据高速写入,具备良好的可扩展性与稳定性。
|
11月前
|
人工智能 Java 关系型数据库
使用数据连接池进行数据库操作
使用数据连接池进行数据库操作
268 11
|
存储 关系型数据库 数据库
【赵渝强老师】PostgreSQL数据库的WAL日志与数据写入的过程
PostgreSQL中的WAL(预写日志)是保证数据完整性的关键技术。在数据修改前,系统会先将日志写入WAL,确保宕机时可通过日志恢复数据。它减少了磁盘I/O,提升了性能,并支持手动切换日志文件。WAL文件默认存储在pg_wal目录下,采用16进制命名规则。此外,PostgreSQL提供pg_waldump工具解析日志内容。
1101 0
|
存储 关系型数据库 数据库
高性能云盘:一文解析RDS数据库存储架构升级
性能、成本、弹性,是客户实际使用数据库过程中关注的三个重要方面。RDS业界率先推出的高性能云盘(原通用云盘),是PaaS层和IaaS层的深度融合的技术最佳实践,通过使用不同的存储介质,为客户提供同时满足低成本、低延迟、高持久性的体验。
|
存储 SQL Java
数据存储使用文件还是数据库,哪个更合适?
数据库和文件系统各有优劣:数据库读写性能较低、结构 rigid,但具备计算能力和数据一致性保障;文件系统灵活易管理、读写高效,但缺乏计算能力且无法保证一致性。针对仅需高效存储与灵活管理的场景,文件系统更优,但其计算短板可通过开源工具 SPL(Structured Process Language)弥补。SPL 提供独立计算语法及高性能文件格式(如集文件、组表),支持复杂计算与多源混合查询,甚至可替代数据仓库。此外,SPL 易集成、支持热切换,大幅提升开发运维效率,是后数据库时代文件存储的理想补充方案。

热门文章

最新文章

推荐镜像

更多
  • DNS