开发者社区> 丁奇> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

一种MySQL主从同步加速方案-改进

简介:
+关注继续查看

上一篇提出了一种改进主从延迟的方案。虽然能够实现主从无延迟同步,但在维护上比较复杂,还存在网络消耗问题,这里是一个改进的版本。

一、之前方案简述及问题分析

方案如图。其中用多个MySQL充当transfer的角色。每个transfer负责同步master的一部分表。在我的试验中有8transfer,也就是有8MySQL实例。

问题: 1维护复杂。在从库及其上需要增加8个实例,增加维护成本,而且不利于加表操作。

2增加网络开销。虽然在transferIO线程作了过滤,减少每个transfer的写盘量和SQL线程的空转,但master还是向每个tranfer发了所有的数据。网络传输的日志量是原来的n倍。

二、改进方案

基于上述的两个问题考虑,考虑将transfer多进程改成多线程

如图:

1、用一个MySQL充当transfer transfer设置为master的主库。IO线程负责接收Master传过来的日志。但不是写到一套relay-log文件,而是SLAVE_THREAD每个表的日志固定分配到一套relay-log

2、相应地起SLAVE_THEADSQL线程,负责读取对应目录下的relaylog,发送给slave

三、方案对比

从上面描述中看出,master发给transfer的日志总量只有一份。只需要增加SLAVE_THREAD slave信息的配置,维护简单。

两个方案的相同点是使用文件队列(多套relaylog),保证在transfer出现异常时不丢数据。

效果对比,原生版本

上个方案

改进方案

说明:改进方案也能保证无延迟同步,性能都是原生版本的7倍左右。由于线程更少,从库的QPS表现很稳定,cpu idle也比上个方案高。

四、两个为什么

1、为什么不直接把transferslave用?

实际上是可以的,作了简单实验发现与“改进方案”的从库QPS相同,好处是减少了一层transfer的逻辑。一般来说这种工具也不会放到和slave一个机器,直接用作slave就少了一个机器。

不过直接改slave的代码还是推广比较麻烦。而且不得不承认的是,这个方案存在一个硬伤:跨表更新的语句顺序无法严格保证。――这也是这两个方案的应用前提:没有跨表语句或者对这种出现的情况要求不严格。

2、为什么不直接写一个工具而用MySQL

其实作transferMySQL并不像想象的那么庞大。不需要的引擎可以都不编译进去,其实只需要框架层的逻辑和一个myisam引擎即可。而它提供了很多管理命令,比如一个现成的客户端,能够方便的stop slavechange master,能够用show slave status看同步状态。这些作为这个工具的基本功能,自己一个个实现重复轮子太多了。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
本地安装并创建MySQL数据库
本地安装并创建MySQL数据库
43 0
同一台服务器上面安装多个mysql数据库
【前言】测试环境中经常需要多台mysql数据库来进行各种环境和场景的模拟,由于测试环境中的资源一般都是比较有限的,也就需要在一台服务器上面搭建多个mysql数据库来完成测试的需求。
1134 0
Windows安装两个mysql数据库步骤
由于新旧项目数据库版本差距太大,编码格式不同,引擎也不同,所以只好装两个数据库。 本次安装两个mysql数据库,版本分别是4.0.18,5.5.36。都是可执行文件直接安装。 本机上之前已经安装完5.5.36版本,单个数据库问题不大,一步一步下去便安装完毕。 另一个版本也直接点击下一步一直安装,要注意的地方是,另外找一个目录。比如: 5.5.36: d:\mysq
1210 0
CentOS 6.5系统上安装MySQL数据库
1、查看系统是否安装了MySQL      使用命令:      #rpm -qa | grep mysql 2、卸载已安装的MySQL       卸载mysql命令如下:        #rpm -e --nodeps  mysql-libs-5.
766 0
mysql数据库的安装以及常见优化设置
原文:mysql数据库的安装以及常见优化设置   本文根据优才网课程整理,面向web开发者,内容以实用为主,专业DBA可以绕行。 如果你在大公司,可能有专门的DBA来做这些事情,如果你在一个小公司当架构师或者技术总监,或者你自己创业,那DBA的活你也得干了。
975 0
windows 安装Go 环境 搭建Mysql数据库连接
在linux 上做go 环境搭建 已经可以了。并且 连接上了 mysql 数据库。   但是 开发 还是 在windows 上面的比较多。所以要研究下 windows 下如何弄 。   需要使用一个 mingw 的环境 。 要使用make 命令     官网: http://www.mingw.org/   下载   http://sourceforge.net/proj
1381 0
Mysql数据库服务器的安装与配置
  一、Mysql简介MySQL是一个小型关系型数据库管理系统,开发者为瑞典MySQLAB公司,在2008年1月16号被Sun公司收购。MySQL被广泛地应用在Internet上的中小型网站中。
961 0
+关注
丁奇
专注于数据存储系统、MySQL源码研究和改进、MySQL性能优化和功能改进,并设计了阿里云高可靠双通道binlog方案。他在业务场景分析、系统瓶颈分析、性能优化方面拥有丰富的经验。微博@淘宝丁奇。
43
文章
18
问答
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载