数据江湖唯快不破 云数据库RDS存储能力进化解析

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS PostgreSQL,集群系列 2核4GB
简介: 数据库是企业IT系统的核心,其性能表现会直接影响整体业务系统的性能表现,而影响数据库性能因素包括系统架构设计、应用程序业务SQL语句、数据库参数优化配置、数据库运行的资源能力。

导读

数据库是企业IT系统的核心,其性能表现会直接影响整体业务系统的性能表现,而影响数据库性能因素包括系统架构设计、应用程序业务SQL语句、数据库参数优化配置、数据库运行的资源能力。

系统架构设计和应用程序业务SQL语句都属于数据库外围,需要从整体业务上去设计优化;数据库的参数配置,核心是要根据数据库上的业务和硬件特点细调参数,丰富的DBA经验对此项影响很大,归属于软件配置内容且随时可调整。

数据库的硬件资源,在传统企业中属于一项固定资产投资,前期投资成本高,后期更换成本更高,云时代虽然能够随时扩容硬件资源和更换,但亦受到数据迁移、业务停服等影响,因此好的硬件资源选择非常重要。

影响性能的硬件包括CPU、内存、磁盘、网络:

  • CPU:计算能力核心,其表现会直接影响数据库的逻辑运算能力,比方说查询计算、数据聚合、存储过程效率等。
  • 内存:对性能非常关键,其核心是缓存频繁使用数据避免系统频繁与磁盘交互,性能表现一般都在纳秒级延迟,一般OLTP数据库建议内存和数据空间比例至少要保持在20%。
  • 磁盘:相比前两者性能最差,因此磁盘性能表现直接影响数据库整体表现。云数据库目前提供两种磁盘,包括本地盘和云盘,本地盘性能高(微秒级延迟)但存储容量有限,云盘更大存储容量但性能受限(毫秒级延迟)。
  • 网络:网络影响主要在于带宽,因此大查询或者大事务,对网络的要求就很高。

重点分析磁盘性能对业务有影响的因素包括:

  • 延迟:延迟越低,系统响应越实时,如对于交易型系统,延迟会影响到每次用户操作是否卡顿。
  • 吞吐量:带宽越高,并发能力越好,多用户同时操作时可以并发处理更多需求,避免排队。
  • IOPS:是磁盘并发能力的直接指标,定义是在特定数据块(如4K)大小下每秒可处理的IO请求数。

上面提到本地盘的性能要好于云盘,那么为什么云数据库RDS的发展要往云盘方向走呢?主要原因除了性能以外,云盘还有诸多企业特性满足各类业务需求,如三副本数据存储可保证业务数据可靠性达到9个9,存储与计算分离,可支持容量更大同时扩容相对更简单等。

而ESSD云盘相对SSD云盘,企业特性有非常大的加强,同时重点性能表现大大提升,达到本地盘能力甚至超越。下面我将重点分析企业级高性能存储ESSD的核心能力。

极致性能极致稳定

ESSD最大实现单实例单盘100万IOPS,并且读写时延降低70%+,最快达到200us,核心能力的技术保障是ESSD首次采用面向未来的架构设计。

首先ESSD云盘采用RDMA网卡,在硬件上保障了网络吞吐能力达到了50Gbps。

其次在软件层面阿里云研发了新一代的底层存储系统,存储引擎2.0,性能表现极致同时坚如磐石,是稳定性能表现的关键,高IOPS场景下响应时间几乎无抖动。最后软件架构层面实现了全用户态协议栈,降低了70%时延。

阿里云自研的存储引擎2.0新架构是性能提升关键,实现了用户态文件系统(FusionEngine)、高性能网络库(OptimizedTCP RDMA)、极致的软件栈优化(实现无锁、无上下文切换、零拷贝),多流映射(吞吐量提升三倍),实现动态切换(99.9%分位延迟降为1/10)等核心技术。

RDS率先支持ESSD存储,第一时间为客户提供高性能的数据库服务,经过实际客户业务测试,MySQL数据库在云盘容量减少60%的前提下,较SSD云盘,ESSD云盘TPS提升200%以上,时延降低60%以上。

image.png

在线扩容业务永续

磁盘容量规划是非常重要的数据库设计内容,云时代客户可以先购买够用的小空间容量,之后根据业务发展弹性扩容空间。

在此之前,云数据库云盘的扩容都会涉及到业务闪断,比如说MySQL5.7高可用版、SQLServer 2016 标准高可用版,用户发起磁盘扩容需求后,RDS管控系统会先在后端扩容备库磁盘空间,然后做主备切换(涉及业务连接闪断),最后再原主库扩容磁盘空间,扩容期间具体的实例主机都会涉及重启,整个过程约花费半小时(但业务影响只有闪断),有时也很难解决燃眉之急。

image.png

ESSD云盘支持在线扩容,此特性确保在数据库接到扩容需求后,立即执行磁盘空间动作,无需主备切换,无需重启数据库实例机器,简单且方便的保障业务连续访问。

快照备份有备无患

image.png

ESSD云盘集成快照特性,最多可支持64个快照,支持跨可用区多副本的数据保护能力。该特性特别适用于数据库的备份需求。

云数据库RDS针对ESSD的急速快照能力,研发了全新一代数据库备份系统,支持利用快照能力备份整个实例,并且支持全量和增量快照能力,备份和恢复速度都大大提升。由于备份效率的提升,RDS可以提供更大容量,满足有大空间需求的用户。

极致安全自助可控

image.png

云数据库RDS通过ESSD的安全加密能力,实现落盘加密功能,并且支持客户自带秘钥,满足全部行业的最严安全合规要求,诸如金融、保险、证券等行业。

另外结合RDS数据链路加密和SQL审计功能,为应用系统运行期间的链路、存储、审计三个维度提供严格的安全保护。

如何购买RDS ESSD版实例

购买RDS高性能存储ESSD版实例过程及其简单,申请开通权限后,用户在购买RDS实例的时候,存储类型就可以选择ESSD后,即可点击购买完成实例生产。
image.png

云数据库RDS存储类型从支持本地盘,到支持SSD云盘,再到支持ESSD云盘,技术路径演进方向明确,存储与计算分离、更高数据可靠性、更强数据安全性、更快性能、更易用企业特性,功能和能力范围不断增强,基于ECS和ESSD的新架构能够充分利用硬件红利,为企业客户提供最好的数据库服务。

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
2月前
|
消息中间件 存储 缓存
十万订单每秒热点数据架构优化实践深度解析
【11月更文挑战第20天】随着互联网技术的飞速发展,电子商务平台在高峰时段需要处理海量订单,这对系统的性能、稳定性和扩展性提出了极高的要求。尤其是在“双十一”、“618”等大型促销活动中,每秒需要处理数万甚至数十万笔订单,这对系统的热点数据处理能力构成了严峻挑战。本文将深入探讨如何优化架构以应对每秒十万订单级别的热点数据处理,从历史背景、功能点、业务场景、底层原理以及使用Java模拟示例等多个维度进行剖析。
75 8
|
10天前
|
JSON 前端开发 搜索推荐
关于商品详情 API 接口 JSON 格式返回数据解析的示例
本文介绍商品详情API接口返回的JSON数据解析。最外层为`product`对象,包含商品基本信息(如id、name、price)、分类信息(category)、图片(images)、属性(attributes)、用户评价(reviews)、库存(stock)和卖家信息(seller)。每个字段详细描述了商品的不同方面,帮助开发者准确提取和展示数据。具体结构和字段含义需结合实际业务需求和API文档理解。
|
3天前
|
JSON 缓存 API
解析电商商品详情API接口系列,json数据示例参考
电商商品详情API接口是电商平台的重要组成部分,提供了商品的详细信息,支持用户进行商品浏览和购买决策。通过合理的API设计和优化,可以提升系统性能和用户体验。希望本文的解析和示例能够为开发者提供参考,帮助构建高效、可靠的电商系统。
21 12
|
2月前
|
消息中间件 关系型数据库 Kafka
一种小资源情况下RDS数据实时同步StarRocks方案
使用一台4C8 G服务器轻松实现2个MySQL实例中通过负责分库分表规则之后的5000多张表的数据实时同步到StarRocks
174 67
|
7天前
|
存储 分布式计算 Hadoop
基于Java的Hadoop文件处理系统:高效分布式数据解析与存储
本文介绍了如何借鉴Hadoop的设计思想,使用Java实现其核心功能MapReduce,解决海量数据处理问题。通过类比图书馆管理系统,详细解释了Hadoop的两大组件:HDFS(分布式文件系统)和MapReduce(分布式计算模型)。具体实现了单词统计任务,并扩展支持CSV和JSON格式的数据解析。为了提升性能,引入了Combiner减少中间数据传输,以及自定义Partitioner解决数据倾斜问题。最后总结了Hadoop在大数据处理中的重要性,鼓励Java开发者学习Hadoop以拓展技术边界。
34 7
|
2月前
|
数据采集 自然语言处理 搜索推荐
基于qwen2.5的长文本解析、数据预测与趋势分析、代码生成能力赋能esg报告分析
Qwen2.5是一款强大的生成式预训练语言模型,擅长自然语言理解和生成,支持长文本解析、数据预测、代码生成等复杂任务。Qwen-Long作为其变体,专为长上下文场景优化,适用于大型文档处理、知识图谱构建等。Qwen2.5在ESG报告解析、多Agent协作、数学模型生成等方面表现出色,提供灵活且高效的解决方案。
270 49
|
1月前
|
XML JSON JavaScript
HttpGet 请求的响应处理:获取和解析数据
HttpGet 请求的响应处理:获取和解析数据
|
2月前
|
存储 分布式计算 Java
存算分离与计算向数据移动:深度解析与Java实现
【11月更文挑战第10天】随着大数据时代的到来,数据量的激增给传统的数据处理架构带来了巨大的挑战。传统的“存算一体”架构,即计算资源与存储资源紧密耦合,在处理海量数据时逐渐显露出其局限性。为了应对这些挑战,存算分离(Disaggregated Storage and Compute Architecture)和计算向数据移动(Compute Moves to Data)两种架构应运而生,成为大数据处理领域的热门技术。
91 2
|
2月前
|
JavaScript API 开发工具
<大厂实战场景> ~ Flutter&鸿蒙next 解析后端返回的 HTML 数据详解
本文介绍了如何在 Flutter 中解析后端返回的 HTML 数据。首先解释了 HTML 解析的概念,然后详细介绍了使用 `http` 和 `html` 库的步骤,包括添加依赖、获取 HTML 数据、解析 HTML 内容和在 Flutter UI 中显示解析结果。通过具体的代码示例,展示了如何从 URL 获取 HTML 并提取特定信息,如链接列表。希望本文能帮助你在 Flutter 应用中更好地处理 HTML 数据。
146 1
|
2月前
|
数据采集 存储 自然语言处理
基于Qwen2.5的大规模ESG数据解析与趋势分析多Agent系统设计
2022年中国上市企业ESG报告数据集,涵盖制造、能源、金融、科技等行业,通过Qwen2.5大模型实现报告自动收集、解析、清洗及可视化生成,支持单/多Agent场景,大幅提升ESG数据分析效率与自动化水平。
160 0

热门文章

最新文章

推荐镜像

更多