前沿分享|阿里云数据库高级技术专家 宋利兵:阿里云企业级自治数据库RDS详解

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云原生数据库 PolarDB MySQL 版,Serverless 5000PCU 100GB
云原生数据库 PolarDB 分布式版,标准版 2核8GB
简介: 本篇内容为2021云栖大会-企业级云原生数据库最佳实践论坛中,阿里云数据库高级技术专家 宋利兵关于“阿里云企业级自治数据库RDS详解”的分享。

5d88a1bab10ecc516ce869948649d721.jpeg


本文将从2方面为大家介绍企业级的自治的数据库系统。


  • RDS MySQL 产品
  • RDS MySQL 自研内核


33.png


一、RDS MySQL 产品


1)阿里云RDS - 云原生自治数据库


image001.png


阿里云RDS是国内起步最早的RDS服务,基于阿里巴巴的MySQL分支AliSQL。在阿里巴巴完成IOE目标后,阿里巴巴整个电商业务由RDS支撑。RDS的可靠性和稳定性是经过了双十一这样极其苛刻的现实场景的验证的。经过十几年的发展,除了在稳定性、性能等方面有长足的发展之外,阿里云RDS也在坚定的向云原生和智能化的方向迈进,现在RDS整体架构基于云原生K8S进行部署和管理,底层依托于阿里云的高性能ECS和高吞吐的ESSD分布式云存储,真正做到了计算和存储的分离。基于人工智能的技术和专家的经验,实现DAS的 RDS自治能力。


2)RDS MySQL 产品 - 服务高可用


image003.png


从产品层面看,高可用是MySQL生态里经典的架构,通过binlog进行复制,RDS提供跨可用区的高可用,可以做到49的可用性和秒级的切换。


image005.png


除了经典的两节点架构,RDS还基于多数派协议提供了三节点高可架构。在三节点高可用架构中,包括主和备两个数据节点和一个日志节点,让用户的数据0丢失做到RPO等于0。这个复制不是用MySQL原生binlog复制,而是采用自己实现的多数派协议(Consensuse)进行binlog的分发。


image007.png


除了热备、RDS也提供了冷备的能力。RDS可以周期性做全量数据备份、以及实时binlog的备份,并把数据上传到OSS上。如果有数据恢复需求时,可以快速通过OSS进行数据恢复。


3)RDS MySQL 产品 – 资源池化和云原生


image009.png


在计算与存储分离的架构下,RDS实例可以提供高达32TiB的存储量。全量数据备份采用的是快照的方式进行的,无论用户数据有多大,都可以做到秒级备份,真正做到用户无感。基于秒级的数据快照能力,RDS做到了分钟级的实例创建。创建只读实例大概在两三分钟就可以完成。


4)RDS MySQL 产品 – 自动读写分离

image011.png

只读节点是MySQL里经典的架构,通过创建只读实例扩展读的能力,阿里云的RDS上提供中间介让用户应用不做修改自动实现读写分离。提供多地址的读写分离可以把不同的业务用不同的地址访问,好处是业务之间不会互相影响和地址的隔离性能非常好。


5)RDS MySQL 产品 – 企业级数据安全


image013.png


现在安全越来越被重视,云上有很多用户有合规、审计等需求,RDS为用户提供了全链路加密的能力、以及审计日志等安全能力,除此之外,用户还能享受到阿里云网络层面和操作系统层面的安全设施。从整体看,可以做事前、事中、事后非常严格的安全合规要求。


6)RDS MySQL 产品 - 整体架构


image015.png


RDS不只有MySQL的内核还有很多模块一起为用户服务,用户只需通过控制台进行控制,或者通过OpenAPI来创建或者管理实例就可以了,剩下的工作由RDS自动完成。

二、RDS MySQL 自研内核


1)实用性:在线固化SQL执行计划


image017.png


在线上使用RDS的时候会用户会遇到SQL特别慢的情况,因为一些原因SQL可能没有选择到最优执行计划,MySQL提供hint的功能,用户可以在SQL语句里加hint来提示MySQL是否要使用索引,或者是否开启某一项优化器的策略。通过Hint来提高SQL的执行效率。 为什么这个功能用户用得很少?因为当发现SQL慢的时候,应用已经在线运行了。这时修改应用里的SQL、可能需要一个漫长的过程、甚至不可能修改。SQL Outline让用户可以在RDS服务器侧为SQL语句添加Hint。只需要调用一个存储过程。比如加一个Index Hint,只需在add_index_outline中指定这个SQL语句,以及对应的索引策略即可。在做规则匹配时,Where条件中的值会自动忽略掉,同样的语句不同的值,都会匹配到这条规则。用户的应用不需要做任何变化,加上规则后会立即生效,这是非常实用的功能 。


2)实用性:可诊断、可度量


image019.png


我们加了大量的监控和诊断信息,可分为实例级别、对象级别、语句级别三大类。


image021.png


实例级别的指标非常多,把MySQL和系统里的指标以秒为单位存储到表里去,让用户非常方便地通过MySQL语句查询。包括实例的CPU使用情况、内存使用情况、磁盘IO情况、Server层连接数量、网络访问情况,已经InnoDB中的大量状态信息。RDS把这些状态信息以秒为单位记录下来,出现问题时很容易通过状态的变化准确地定位出问题。


image023.png


对象级别添加加了对表使用和Index使用的统计,为我们做数据结构的调整提供了依据。


image025.png


语句级别MySQL有一个语句级别的统计信息表,RDS在这个表里添加了一些非常实用的信息。比如:语句使用CPU的时间,MDLInnoDB锁等待的时间,Mutexspinwait的统计信息,Read/Write IO的统计信息。这些统计项帮助用户准快速精准的定位SQL的问题。


3)稳定性:Buffer Pool优化


image027.png


云原生下需要能够做到在线规格的调整,Buffer Pool就是很重要的资源。当规格、内存变化的时候Buffer Pool也需要跟着变化,MySQL提供在线调整Buffer Pool大小的能力。在测试中,我们发现MySQL Buffer Pool Resize会对业务流量造成一定的影响。业务流量抖动的频率和幅度都很大(绿色线条)。阿里云RDSBuffer Pool Resize上做了优化,优化后、Buffer Pool Resize对业务流量的影响就好了很多(蓝色线条).


4)稳定性:并发控制


image029.png


线上经常碰到某些SQL语句会使用大量的CPU资源或者内存资源。如果不做限制,可能会耗光CPU、内存资源,导致整个实例不稳定。并发控制这个功能可以用来限制特定SQL的并发数量。并发控制的策略可以分为三个维度:操作类型、操作对象、关键字。操作类型指的是SELECTINSERTUPDATEDELETE四种类型。操作对象指的是库、表。并发控制和SQL Outline差不多,都是在RDS服务侧配置的。


5)安全性:透明数据加密


image031.png


透明加密支持AES加密算法和国秘算法SM4。因为有些单位有合规要求,必须使用国密算法。


6)安全性:回收站


image033.png


回收站是表级的数据快速找回的工具。当用户删除表或者Truncate表的时候,表不是直接从磁盘上删除,而是放到回收站里。用户可以设置多长时间后自动在后台把表真正删除,当发生了误操作,错误的删除或者清空了表时,能快速从回收站中找回表。


7)安全性:Flashback Query


image035.png


Flashback Query提供了快速找回数据行的能力。行级数据找回的功能利用了Undo里面的历史数据。RDS可以以秒为单位,为历史数据建立快照。RDS提供了基于时间的快照查询机制,通过Undo的记录回溯到指定时间的历史数据。当发生了误操作、或者有回档需求时,用户可以通过SELECT查询到指定时间点的历史数据。


8)高性能 – Binlog In Redo


image037.png


MySQL在事务提交时要持久化RedoBinlog文件,为了保证Crash Safe两个文件必须顺序进行持久化对性能影响很大。RDS会把Binlog同时写到Redo里面去,因此事务提交时,只要持久化Redo文件。Binlog文件只需要在后台异步持久化就可以了。这个功能在保证数据一致性的同时,对写性能有显著的提升。


image039.png


上图是这个功能的性能测试结果,有30%-40%性能峰值的提升,在小并发的情况下甚至能超过百分之百的性能提升。


9)高性能 – DDL优化


image041.png


当做非Instant DDL操作的时候,往往会处理DDL表的大量的PageMySQL通过扫描Buffer PoolLRU链表来完成这个操作。LRU包含了Buffer Pool中所有的数据页,特别是对大规格的实例,扫描一遍LRU的时间很长,还会影响其他SQL语句的执行。RDS做了优化后,DDL可以直接命中它的Page,不在需要扫描LRU。既能提高性能又能保持实例的稳定性。上图性能测试,是在有业务流量的情况下做一次Export TableExport Table的执行时间从原来的80秒降低到了0.34秒。


image043.png


上图是对Optimize Table的测试,在有业务流量的同时做Optimize Table,这个表有600MB数据,DDL的优化将OPTIMIZE TABLE的性能提升了十几倍,由原来的220秒降低到了17秒时间。


10)高性能 – Faster Query Cache


image045.png


我们基于MySQLQuery Cache做了重构,对并发控制、内存管理、缓存机制都做了大量的修改,在命中率较高的情况下性能得到提升,在命中率较低的情况下对性能没什么影响,缺省的就能打开这个功能。


11)RDS MySQL自研内核: 企业级三节点


image047.png


基于自研的多数派协议来传输BinlogLeader负责把Binlog传输到日志节点或者Follower节点后,到达多数派后在Leader节点上做事务提交,三节点自己选主形成自治的系统,在整个的过程中没有数据丢失做到RTO0

相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
2天前
|
人工智能 Cloud Native 关系型数据库
关系型数据库,阿里云5连冠!
阿里云瑶池连续5年蝉联中国数据库第一
关系型数据库,阿里云5连冠!
|
5天前
|
SQL 弹性计算 API
云服务器 ECS产品使用问题之如何通过API调用阿里云服务器上SQL Server数据库中的数据
云服务器ECS(Elastic Compute Service)是各大云服务商阿里云提供的一种基础云计算服务,它允许用户租用云端计算资源来部署和运行各种应用程序。以下是一个关于如何使用ECS产品的综合指南。
|
15天前
|
关系型数据库 分布式数据库 数据库
阿里云618创新加速季数据库分会场全攻略
2024年阿里云618创新加速季活动已开启,数据库分会场推出多重优惠。RDS MySQL低至1折,部分产品享超值首购优惠,三个月仅需1折,续费也有折扣。此外,每天10点还有限时秒杀活动,云产品低至6.5折。新用户在新人专区购买指定规格可享首年折扣,还有数据库上云组合购优惠和开发者动手实践奖励。企业用户可申请5亿算力补贴,加速数字化转型。更多活动详情和优惠信息,可访问官方活动页面了解。
|
4天前
|
存储 SQL 数据管理
基于阿里云数据库 SelectDB 版内核 Apache Doris 全新分区策略 Auto Partition 应用场景与功能详解
自动分区的出现进一步简化了复杂场景下的 DDL 和分区表的维护工作,许多用户已经使用该功能简化了工作流程,并且极大的便利了从其他数据库系统迁移到 Doris 的工作,自动分区已成为处理大规模数据和应对高并发场景的理想选择。
|
4天前
|
存储 关系型数据库 MySQL
MySQL数据库进阶第三篇(MySQL性能优化)
MySQL数据库进阶第三篇(MySQL性能优化)
|
1天前
|
存储 关系型数据库 MySQL
关系型数据库mysql日志和临时文件
【6月更文挑战第15天】
18 4
|
1天前
|
存储 关系型数据库 MySQL
关系型数据库mysql数据文件存储
【6月更文挑战第15天】
9 4
|
1天前
|
存储 关系型数据库 MySQL
关系型数据库mysql文件系统支持
【6月更文挑战第15天】
19 4
|
2天前
|
存储 自然语言处理 关系型数据库

相关产品

  • 云数据库 RDS MySQL 版