关于MySQL的在线扩容

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
简介:

原文地址:http://bucketli.iteye.com/blog/1294032

主要简单总结下,mysql在线扩容和缩容一般涉及到的内容,主要包括三个方面,1.在线也就意味着需要把增量的数据重新分布到新的拓扑结构中,我们一般称做增量复制,2.原有的数据需要一条不漏的扫出来重新分布到新的拓扑结构中,这个一般叫做全量复制,3.全量做完,增量正在同步,把应用的数据路由拓扑切到新的路由拓扑上来,并且做到无数据丢失,这个我们叫做停写切换。做好这三个方面的工作,能够达到的效果就是应用在最后切换数据分布拓扑的时刻,只要停写非常短的时间(秒级别)就能够做到无数据丢失的扩容和缩容。 

增量同步一般有2种方式,一种是应用端或者数据库前端做trigger,记录变更数据的特征值log(比如pk,sharding key),然后异步复制到新的拓扑结构中。另外一种方式是通过分析mysql的binlog再进行不同数据拓扑的复制。两者本质上来说应该是一样的,后者可能更加简便,并且对应用无侵入,前者虽然也能够做到,实际实现或者推广和操作上都有不少阻力,最起码解析binlog方式是mysql一上去,更新的log已经天然存在与binlog中了。 

增量同步的两种方式如果要考虑到同步的可伸缩性(也就是多台机器可以同时消费相同的变更日志),需要在原数据中添加数据的版本信息防止更新乱序,或者通过唯一键进行复制机器的sharding,也就是不同进程(线程)同时消费相同的更新日志,必须让同一条记录的更新落在同一个线程里面,如果还需要保证复制的事务,那么实现会非常复杂,一般不会去支持多线程下复制的事务。 

全量复制,也就是扫描需要复制的表的数据进行重新分布,主要存在的问题是复制速度和对数据库的写入压力的矛盾,其实能够做到整个拓扑连数据库都全部换掉,来达到对正在使用数据库的0影响,这个是一种可行的方案,另外是分时段调整复制线程数,一般单线程复制对于数据库的影响不会很大,在凌晨再转换成多线程方式达到提速的目标。 

扩容或者缩容在最后阶段如何切换,这个涉及到的问题主要是如何避免新更新进来以至于增量没完没了,方式有很多,最简单的方法就是停掉应用,一般时间只有几分钟是可以接受的。另外一种是逻辑停写,因为我们迁移的时候是有一个规则去重新散列数据,也就是如果新的规则和旧的规则两者算出来的结果不一致,那么这个数据就是需要被迁移的,如果在停写的时刻,向前端抛错即可。逻辑停写最大的好处就是避免PE的介入,并且配合动态的数据路由数据推送,可以完全避免重新发布达到扩容或者缩容,这个就是真正的在线扩容,停写不可避免(等待延迟的增量同步完成),但是不影响读。 

数据扩容或者缩容,我们觉得不应该排入业务的开发日程中,而是由数据管理团队对应用透明地进行这种操作,最后介入的人员只是DBA而已。但是不像一些nosql一样按容量或者完全透明的split,数据库的sharding还是按照应用的数据特性(pk,user_id,gmt_create等等不同字段,自选策略)进行sharding,应用知道他们的某条数据具体存在哪个机器哪张表上,这个无论对于开发还是测试或者DBA都是一件不错的事情。 


相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
3月前
|
存储 关系型数据库 MySQL
mysql 查看数据库及表大小以及数据库扩容评估
mysql 查看数据库及表大小以及数据库扩容评估
87 4
|
关系型数据库 MySQL Shell
Mysql数据库平滑扩容解决高并发和大数据量问题 3
Mysql数据库平滑扩容解决高并发和大数据量问题
87 1
|
关系型数据库 MySQL Java
Mysql数据库平滑扩容解决高并发和大数据量问题 2
Mysql数据库平滑扩容解决高并发和大数据量问题
76 0
|
canal 关系型数据库 MySQL
Mysql数据库平滑扩容解决高并发和大数据量问题 1
Mysql数据库平滑扩容解决高并发和大数据量问题
238 0
|
关系型数据库 MySQL 中间件
MySQL分库分表动态扩容缩容
MySQL分库分表动态扩容缩容
118 0
|
消息中间件 Oracle Java
5大主流方案对比:MySQL千亿级数据线上平滑扩容实战 下
5大主流方案对比:MySQL千亿级数据线上平滑扩容实战 下
|
canal 算法 安全
5大主流方案对比:MySQL千亿级数据线上平滑扩容实战 上
5大主流方案对比:MySQL千亿级数据线上平滑扩容实战 上
|
存储 消息中间件 固态存储
MySQL技术专题之MySQL分布式系统架构设计偏向扩容问题+业务拆分
MySQL技术专题之MySQL分布式系统架构设计偏向扩容问题+业务拆分
98 0
MySQL技术专题之MySQL分布式系统架构设计偏向扩容问题+业务拆分
|
存储 关系型数据库 MySQL
扩容云中MySQL,通过Vitess和Kubernetes
本文讲的是扩容云中MySQL,通过Vitess和Kubernetes,【编者的话】本文作者Anthony Yeh是YouTube的软件工程师。文章主要阐述了YouTube如何使用Vitess和Kubernetes实现缩放MySQL的部署。
2757 0
|
存储 算法 关系型数据库
MySQL数据库水平扩容方案
MySQL数据库水平扩容方案
15690 0