MyCAT实现MySQL的读写分离

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 RDS MySQL,高可用系列 2核4GB
简介:

在MySQL中间件出现之前,对于MySQL主从集群,如果要实现其读写分离,一般是在程序端实现,这样就带来一个问题,即数据库和程序的耦合度太高,如果我数据库的地址发生改变了,那么我程序端也要进行相应的修改,如果数据库不小心挂掉了,则同时也意味着程序的不可用,而这对很多应用来说,并不能接受。


引入MySQL中间件能很好的对程序端和数据库进行解耦,这样,程序端只需关注数据库中间件的地址,而无需知晓底层数据库是如何提供服务。


作为当前炙手可热的MySQL中间件,MyCAT实现MySQL主从集群的读写分离自是应有之义,其配置也相当简单。


在这里,我用三个实例组成MySQL主从集群,来验证MyCAT的读写分离功能,其实,一主一从就可以满足,之所以用三个,是为了验证MyCAT的分片功能。


集群组成如下:


角色             主机名                      主机IP


master         mysql-server1          192.168.244.145


slave            mysql-server2          192.168.244.146


slave            mysql-server3          192.168.244.144


在这里,还是使用Travelrecord表进行测试。


首先编辑MyCAT的配置文件schema.xml,关于dataHost的配置信息如下:

1
2
3
4
5
6
7
8
9
10
11
12
<dataHost name= "localhost1"  maxCon= "1000"  minCon= "10"  balance= "1"
                 writeType= "0"  dbType= "mysql"  dbDriver= "native"  switchType= "-1"   slaveThreshold= "100" >
                 <heartbeat> select  user()< /heartbeat >
                 <!-- can have multi write hosts -->
                 <writeHost host= "hostM1"  url= "localhost:3306"  user= "root"
                         password= "123456" >
                 < /writeHost >
                 <writeHost host= "hostS1"  url= "192.168.244.146:3306"  user= "root"
                         password= "123456"  />
                 <writeHost host= "hostS2"  url= "192.168.244.144:3306"  user= "root"                      
                         password= "123456"  />
< /dataHost >


这里面,有两个参数需要注意,balance和 switchType。


其中,balance指的负载均衡类型,目前的取值有4种:


1. balance="0", 不开启读写分离机制,所有读操作都发送到当前可用的writeHost上。


2. balance="1",全部的readHost与stand by writeHost参与select语句的负载均衡,简单的说,当双主双从模式(M1->S1,M2->S2,并且M1与 M2互为主备),正常情况下,M2,S1,S2都参与select语句的负载均衡。


3. balance="2",所有读操作都随机的在writeHost、readhost上分发。


4. balance="3",所有读请求随机的分发到wiriterHost对应的readhost执行,writerHost不负担读压力


switchType指的是切换的模式,目前的取值也有4种:


1. switchType='-1' 表示不自动切换


2. switchType='1' 默认值,表示自动切换


3. switchType='2' 基于MySQL主从同步的状态决定是否切换,心跳语句为 show slave status


4. switchType='3'基于MySQL galary cluster的切换机制(适合集群)(1.4.1),心跳语句为 show status like 'wsrep%'。


 


因此,该配置文件中的balance="1"意味着作为stand by writeHost的hostS1和hostS2将参与select语句的负载均衡,这就实现了主从的读写分离,switchType='-1'意味着当主挂掉的时候,不进行自动切换,即hostS1和hostS2并不会被提升为主,仍只提供读的功能。这就避免了将数据写进slave的可能性,毕竟,单纯的MySQL主从集群并不允许将数据读进slave中,除非配置的是双master。


 


验证读写分离


下面来验证一下,


创建Travelrecord表

1
create table travelrecord ( id  bigint not null primary key,user_id varchar(100),traveldate DATE, fee decimal,days int);

插入数据

1
2
3
4
5
mysql> insert into travelrecord( id ,user_id,traveldate,fee,days)  values(1,@@ hostname ,20160101,100,10);
Query OK, 1 row affected, 1 warning (0.02 sec)
 
mysql> insert into travelrecord( id ,user_id,traveldate,fee,days)  values(5000001,@@ hostname ,20160102,100,10);
Query OK, 1 row affected, 1 warning (0.01 sec)


在这里,用了一个取巧的方法,即对user_id插入了当前实例的主机名,这样可直观的观察读写是否分离以及MyCAT的分片功能。能这样做的原因在于我当前的MySQL版本-5.6.26默认是基于statement的复制,如果是基于row的复制,则这个方法将不可取。


查询数据

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
mysql>  select  * from travelrecord;
+---------+---------------+------------+------+------+
id     | user_id       | traveldate | fee  | days |
+---------+---------------+------------+------+------+
|     1 | mysql-server2 | 2016-01-01 |  100 |   10 |
| 5000001 | mysql-server3 | 2016-01-02 |  100 |   10 |
+---------+---------------+------------+------+------+
rows  in  set  (0.01 sec)
 
mysql>  select  * from travelrecord;
+---------+---------------+------------+------+------+
id     | user_id       | traveldate | fee  | days |
+---------+---------------+------------+------+------+
| 5000001 | mysql-server3 | 2016-01-02 |  100 |   10 |
|     1 | mysql-server2 | 2016-01-01 |  100 |   10 |
+---------+---------------+------------+------+------+
rows  in  set  (0.02 sec)
 
mysql>  select  * from travelrecord;
+---------+---------------+------------+------+------+
id     | user_id       | traveldate | fee  | days |
+---------+---------------+------------+------+------+
| 5000001 | mysql-server3 | 2016-01-02 |  100 |   10 |
|     1 | mysql-server3 | 2016-01-01 |  100 |   10 |
+---------+---------------+------------+------+------+
rows  in  set  (0.01 sec)
 
mysql>  select  * from travelrecord;
+---------+---------------+------------+------+------+
id     | user_id       | traveldate | fee  | days |
+---------+---------------+------------+------+------+
| 5000001 | mysql-server3 | 2016-01-02 |  100 |   10 |
|     1 | mysql-server3 | 2016-01-01 |  100 |   10 |
+---------+---------------+------------+------+------+
rows  in  set  (0.01 sec)
 
mysql>  select  * from travelrecord;
+---------+---------------+------------+------+------+
id     | user_id       | traveldate | fee  | days |
+---------+---------------+------------+------+------+
|     1 | mysql-server2 | 2016-01-01 |  100 |   10 |
| 5000001 | mysql-server2 | 2016-01-02 |  100 |   10 |
+---------+---------------+------------+------+------+


从上面的输出结果,可以得出以下两点:


一、该配置已实现读写分离,读出来的数据没有master节点的。


二、MyCAT的随机分发不是基于statement的,即一个select语句查询其中一个节点,另外一个select语句查询另外一个节点。它分发针对的是片的,同一个select语句的结果是有不同dataNode返回的。


不仅如此,从MyCAT日志中也可以获取读写分离的相关信息,当然,前提是MyCAT的日志级别是debug。日志相关信息如下:

576154-20160115124145163-263417526.png

验证mater挂了,slave还能提供读的功能


对于MySQL主从集群,我们的需求是master挂了,slave还能提供读的功能。


下面来测试一下


首先,人为的关闭主库


[root@mysql-server1 ~]# /etc/init.d/mysqld stop


登录MyCAT


[root@mysql-server1 ~]# mysql -utest -ptest -h127.0.0.1 -P8066 -DTESTDB


插入数据

1
2
3
4
5
6
7
8
9
10
mysql> insert into travelrecord( id ,user_id,traveldate,fee,days)  values(10000001,@@ hostname ,20160103,100,10);
ERROR 1184 (HY000): Connection refused
mysql>  select  * from travelrecord;
+---------+---------------+------------+------+------+
id       | user_id       | traveldate | fee  | days |
+---------+---------------+------------+------+------+
|       1 | mysql-server2 | 2016-01-01 |  100 |   10 |
| 5000001 | mysql-server3 | 2016-01-02 |  100 |   10 |
+---------+---------------+------------+------+------+
rows  in  set  (0.02 sec)

可见无法插入数据,但不影响读取数据。


至此,MyCAT实现MySQL的读写分离部署测试完毕。


 


总结:


1. 其实,刚开始配置的是readHost节点,配置如下:

1
2
3
4
5
6
7
8
9
10
<dataHost name= "localhost1"  maxCon= "1000"  minCon= "10"  balance= "1"
                 writeType= "0"  dbType= "mysql"  dbDriver= "native"  switchType= "-1"   slaveThreshold= "100" >
                 <heartbeat> select  user()< /heartbeat >
                 <!-- can have multi write hosts -->
                 <writeHost host= "hostM1"  url= "localhost:3306"  user= "root"
                         password= "123456" >
                         <!-- can have multi  read  hosts -->
                 <readHost host= "hostS1"  url= "192.168.244.146:3306"  user= "root"  password= "123456"  />
                 < /writeHost >
< /dataHost >

但这种方式有个问题,即master挂了以后,slave也不能提供服务,而这违反了MySQL主从集群的初衷。


2. 如果开启了事务模式,即set autocommit=0,则事务内的读走的是master节点,而不是从节点。



本文转自 Mr_sheng 51CTO博客,原文链接:http://blog.51cto.com/sf1314/2063517



相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
1月前
|
负载均衡 监控 关系型数据库
MySQL 官宣:支持读写分离了!!
【10月更文挑战第8天】MySQL的读写分离功能显著提升了数据库性能、可用性和可靠性。通过将读写操作分配至不同服务器,有效减轻单个服务器负载,提高响应速度与吞吐量,并增强系统稳定性。此外,它还支持便捷的扩展方式,可通过增加只读服务器提升读操作性能。实现读写分离的方法包括软件层面(如使用数据库中间件)和硬件层面(使用独立服务器)。使用时需注意数据一致性、负载均衡及监控管理等问题。
118 0
|
2月前
|
关系型数据库 MySQL Java
MySQL主从复制实现读写分离
MySQL主从复制(二进制日志)、 Sharding-JDBC实现读写分离
MySQL主从复制实现读写分离
|
3月前
|
SQL 关系型数据库 MySQL
(二十五)MySQL主从实践篇:超详细版读写分离、双主热备架构搭建教学
在上篇《主从原理篇》中,基本上把主从复制原理、主从架构模式、数据同步方式、复制技术优化.....等各类细枝末节讲清楚了,本章则准备真正对聊到的几种主从模式落地实践,但实践的内容通常比较枯燥乏味,因为就是调整各种配置、设置各种参数等步骤。
570 2
|
3月前
|
SQL 关系型数据库 MySQL
mysql读写分离,主从同步
本文介绍了如何在Laravel项目中配置数据库读写分离,并实现MySQL主从同步。主要步骤包括:在`config/database.php`中设置读写分离配置;为主机授予从机访问权限;配置各MySQL服务器的`/etc/my.cnf`文件以确保唯一的`server-id`;以及通过SQL命令设置主从关系并启动从服务。文章还针对一些常见错误提供了排查方法。最后通过验证确认主从同步是否成功。[原文链接](https://juejin.cn/post/6901581801458958344)。版权所有者为作者佤邦帮主,转载请遵循相关规定。
|
3月前
|
cobar 关系型数据库 MySQL
使用MyCat实现MySQL主从读写分离(一)概述
【8月更文挑战第11天】MySQL读写分离通过主从复制分散负载,主库负责写操作,从库承担读查询,以复制技术确保数据一致性。此策略有效缓解锁竞争,提升查询效能并增强系统可用性。实现方式包括应用层处理,简便快捷但灵活性受限;或采用中间件如MyCAT、Vitess等,支持复杂场景但需专业团队维护。
117 0
|
3月前
|
SQL 关系型数据库 MySQL
基于proxysql实现MySQL读写分离
基于proxysql实现MySQL读写分离
|
14天前
|
SQL 关系型数据库 MySQL
12 PHP配置数据库MySQL
路老师分享了PHP操作MySQL数据库的方法,包括安装并连接MySQL服务器、选择数据库、执行SQL语句(如插入、更新、删除和查询),以及将结果集返回到数组。通过具体示例代码,详细介绍了每一步的操作流程,帮助读者快速入门PHP与MySQL的交互。
29 1
|
16天前
|
SQL 关系型数据库 MySQL
go语言数据库中mysql驱动安装
【11月更文挑战第2天】
30 4
|
1月前
|
存储 关系型数据库 MySQL
Mysql(4)—数据库索引
数据库索引是用于提高数据检索效率的数据结构,类似于书籍中的索引。它允许用户快速找到数据,而无需扫描整个表。MySQL中的索引可以显著提升查询速度,使数据库操作更加高效。索引的发展经历了从无索引、简单索引到B-树、哈希索引、位图索引、全文索引等多个阶段。
64 3
Mysql(4)—数据库索引
|
23天前
|
监控 关系型数据库 MySQL
数据库优化:MySQL索引策略与查询性能调优实战
【10月更文挑战第27天】本文深入探讨了MySQL的索引策略和查询性能调优技巧。通过介绍B-Tree索引、哈希索引和全文索引等不同类型,以及如何创建和维护索引,结合实战案例分析查询执行计划,帮助读者掌握提升查询性能的方法。定期优化索引和调整查询语句是提高数据库性能的关键。
116 1
下一篇
无影云桌面