基于maxscale的读写分离部署笔记

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
简介:

使用maxscale搭建的读写分离架构,后期还可以再结合MHA做master的故障转移,这样业务层面上不需要做任何的改动即可。


wKioL1lggmPgCxkEAASclllqflU160.png

wKiom1lggnPhz_qzAAWSkuYLxpw996.png

wKioL1lggofTVYREAAYnqzfN1L4427.png



基于connect方式的不要使用。从库延迟他还会继续分发请求过去,暂时不适合生产使用。

 

 

 

 

 

 

实验演示:

目前的主从结构:

node93     10.1.20.93 master

node94  10.1.20.94 slave

node95  10.1.20.95 slave

node96  10.1.20.96 maxscale

 

 

先在master主库上创建相关的账户:

在开始配置之前,需要在 master中为MaxScale 创建两个用户,用于监控模块和路由模块。

 

创建监控用户,用于[MySQL Monitor]段的配置中:

> create database maxscale_schema ;    # maxscale监控用的心跳信息会写到这个库里面

> create user scalemon@'%' identified by"111111";

> grant replication slave, replication client on*.* to scalemon@'%';

> grant all on maxscale_schema.* to scalemon@'%';

 

创建路由用户,用于[Read-Write Service]段的配置中:

> create user maxscale@'%' identified by"111111";

> grant select on mysql.* to maxscale@'%';

 

 

maxscale 部署:

rpm -ivh maxscale-2.0.5-1.rhel.6.x86_64.rpm

 

主要生成文件如下:

/etc/maxscale.cnf

/etc/maxscale.cnf.template

/usr/bin/cdc.py

/usr/bin/cdc_kafka_producer.py

/usr/bin/cdc_last_transaction.py

/usr/bin/cdc_users.py

/usr/bin/maxadmin

/usr/bin/maxavrocheck

/usr/bin/maxbinlogcheck

/usr/bin/maxkeys

/usr/bin/maxpasswd

/usr/bin/maxscale

/var

/var/lib

/var/lib/maxscale

 

 

 

 

创建秘钥文件:

[root@maxscale /root ]# maxkeys /var/lib/maxscale

生成加密后的密码:

[root@maxscale /root ]# maxpasswd/var/lib/maxscale/.secrets 123456

上面划掉的这2步骤我们用不到,直接在配置文件/etc/maxscale.cnf里写上明文密码就行了。(这里踩了坑,配置这个参数,导致后面maxscale起来后,无法连接到其他库提示access denied

 

 

vim/etc/security/limits.conf

    * softnofile 65535 

    * hardnofile 65535

 

vim/etc/sysctl.conf :

    fs.file-max=655350

    net.ipv4.ip_local_port_range= 1025 65000

    net.ipv4.tcp_tw_reuse= 1

 

修改完内和参数后,需要重启下服务器。

 

修改配置文件:

cat /etc/maxscale.cnf

[maxscale]

threads=auto

 

ms_timestamp=1             #timestamp精度 

syslog=1                   #将日志写入到syslog   

maxlog=1                   #将日志写入到maxscale的日志文件中 

log_to_shm=0               #不将日志写入到共享缓存中,开启debug模式时可打开加快速度 

log_warning=1              #记录告警信息 

log_notice=1               #记录notice 

log_info=1                 #记录info 

log_debug=0                #不打开debug模式 

log_augmentation=1         #日志递增 

 

# Server definitions

#

# Set the address of the server to the network

# address of a MySQL server.

#

 

需要把masterslave地址都配上,maxscale会自动分辨出哪个是masterslave

[server1]

type=server

address=10.1.20.93

port=3306

protocol=MySQLBackend

 

[server2]

type=server

address=10.1.20.94

port=3306

protocol=MySQLBackend

 

[server3]

type=server

address=10.1.20.95

port=3306

protocol=MySQLBackend

 

# Monitor for the servers

#

# This will keep MaxScale aware of the state of theservers.

# MySQL Monitor documentation:

# https://github.com/mariadb-corporation/MaxScale/blob/master/Documentation/Monitors/MySQL-Monitor.md

 

[MySQL Monitor]

type=monitor

module=mysqlmon

servers=server1,server2,server3    # 这里要把全部server都写上,以便maxscale去监测

user=scalemon 

passwd=111111  

monitor_interval=10000    # 每隔10s检查一次

detect_replication_lag=true     # 检查复制延迟的情况

detect_stale_master=true       # 当所有的slave都不可用时,select查询请求会转发到master

 

# Service definitions

#

# Service Definition for a read-only service and

# a read/write splitting service.

#

 

# ReadConnRoute documentation:

#https://github.com/mariadb-corporation/MaxScale/blob/master/Documentation/Routers/ReadConnRoute.md

 

由于我们使用了 [Read-Write Service],可以删除另一个服务[Read-Only Service],注释掉下面整块儿内容即可。

需要把masterslave地址都配上

#[Read-Only Service]

#type=service

#router=readconnroute

#servers=server1,server2,server3

#user=maxscale           # 读写分离的账户和密码

#passwd=111111           # 读写分离的账户和密码

#router_options=slave

 

# ReadWriteSplit documentation:

# https://github.com/mariadb-corporation/MaxScale/blob/master/Documentation/Routers/ReadWriteSplit.md

 

配置的读写分离,需要把masterslave地址都配上

[Read-Write Service]

type=service

router=readwritesplit

servers=server1,server2,server3

user=maxscale        # 读写分离的账户和密码

passwd=111111       # 读写分离的账户和密码

 

max_slave_connections=100%         # 所有的slave提供select查询服务

max_slave_replication_lag = 5      # slave超时5秒,就把请求转发到其他slave

use_sql_variables_in = all         #

 

# This service enables the use of the MaxAdmininterface

# MaxScale administration guide:

#https://github.com/mariadb-corporation/MaxScale/blob/master/Documentation/Reference/MaxAdmin.md

 

[MaxAdmin Service]

type=service

router=cli

 

# Listener definitions for the services

#

# These listeners represent the ports the

# services will listen on.

#

 

#[Read-Only Listener]

#type=listener

#service=Read-Only Service

#protocol=MySQLClient

#port=4008

 

[Read-Write Listener]

type=listener

service=Read-Write Service

protocol=MySQLClient

port=4006

 

 

[MaxAdmin Listener]

type=listener

service=MaxAdmin Service

protocol=maxscaled

socket=default

 

 

启动maxscale

maxscale -f/etc/maxscale.cnf

 

ss -lnt 可以看到4006端口启动了。

可以使用之前的业务账号连接到maxscale4006端口上,例如:

mysql -utest -ptest -P 4006 -h 10.1.20.96 

wKioL1lggsKSQ8XSAABJEt2GxO4201.png


注意begin;select @@hostname;commit;这种的select会在主库上执行。此外,执行存储过程或者函数时候也是会自动在主库去执行的。

 

执行SQL  > begin;select@@hostname; commit; insert into t2 select 3; select @@hostname; 对应的在/var/log/maxscale/maxscale.log记录如下:

wKiom1lggtehJeHsAADp_RLXWOc748.png

很明显的可以看:开启事务、插入等操作会被转发到主库去处理。而单纯的select则会被转发到某个从库去处理。

 

 

maxscale不能对master进行故障切换,可以配合使用MHA来进行。MHA的故障切换后,maxscale可以自动识别哪台机器是master。然后自动将求发送到新的主从结构中。

 

 

maxscale的延迟检测:

pt-heartbeat的原理类似。maxscale会对masterslavereplication_heartbeat表的master_timestamp时间戳进行对比,相减得出差异。这个差异就是MySQL主从同步的延迟值。

 

select * frommaxscale_schema.replication_heartbeat;

wKioL1lggvbQZiMCAAAfEg6JqYU636.png



从库故障或延迟过大会被自动剔除:

我们可以在192.168.2.12stop slave; 稍等片刻,再执行查询操作的话,会发现请求不会被转发到192.168.2.12mysql上,maxscale里面自动将这个机器踢下线了。如下图:

wKioL1lggyLA4vLlAAAsyi-o3XE349.png


192.168.2.12 出现延迟,则在maxscale日志显示如下:wKioL1lggyOiGgepAAAjNSLjm0E824.png


192.168.2.12 3306端口不通(可能mysqld挂掉或者服务器宕机),则在maxscale日志显示如下:

wKiom1lggyPCDJbBAAAqeLJSkUQ250.png




其他后补充进笔记的,管理maxscale的一些命令

maxadmin -S /tmp/maxadmin.sock 

wKioL1lgg6nCnYGKAACRKPkpOWo658.png

wKiom1lgg6nQZRaXAAAn3qoIKL0430.png

wKioL1lgg6nRDTuBAABZTvFHhw0158.png

wKiom1lgg6qQJ-LZAAAkmjGPzbc802.png

wKiom1lgg6rBfZw_AABR42RE1Yg434.png










本文转自 lirulei90 51CTO博客,原文链接:http://blog.51cto.com/lee90/1945504,如需转载请自行联系原作者
相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
缓存 负载均衡 关系型数据库
Pgpool-II实现高可用+读写分离+负载均衡(一)---- 规划及安装
Pgpool-II是一款工作在PostgreSQL服务器和PostgreSQL数据库客户端之间的中间件。提供了连接池、复制、负载均衡、限制过多连接、看门狗、查询缓存等功能。
|
关系型数据库 MySQL 中间件
企业实战(10)基于Maxscale中间件实现Mysql读写分离实战
企业实战(10)基于Maxscale中间件实现Mysql读写分离实战
227 0
|
4月前
|
cobar 关系型数据库 MySQL
使用MyCat实现MySQL主从读写分离(一)概述
【8月更文挑战第11天】MySQL读写分离通过主从复制分散负载,主库负责写操作,从库承担读查询,以复制技术确保数据一致性。此策略有效缓解锁竞争,提升查询效能并增强系统可用性。实现方式包括应用层处理,简便快捷但灵活性受限;或采用中间件如MyCAT、Vitess等,支持复杂场景但需专业团队维护。
132 0
|
XML SQL 负载均衡
MyCat - 高级 - 读写分离 - 一主一从读写分离配置 | 学习笔记
快速学习MyCat - 高级 - 读写分离 - 一主一从读写分离配置
MyCat - 高级 - 读写分离 - 一主一从读写分离配置 | 学习笔记
|
负载均衡 关系型数据库 网络安全
Pgpool-II实现高可用+读写分离+负载均衡(二)---- 配置篇
Pgpool-II是一款工作在PostgreSQL服务器和PostgreSQL数据库客户端之间的中间件。提供了连接池、复制、负载均衡、限制过多连接、看门狗、查询缓存等功能。本篇介绍详细配置。
|
SQL 存储 运维
MySQL主从复制与读写分离(详细部署案例)
MySQL主从复制与读写分离(详细部署案例)
370 0
|
SQL 关系型数据库 MySQL
MyCat-高级-读写分离-双主双从搭建 | 学习笔记
快速学习 MyCat-高级-读写分离-双主双从搭建
MyCat-高级-读写分离-双主双从搭建 | 学习笔记
|
SQL 存储 关系型数据库
MyCat - 高级 - 读写分离 - 主从复制(一主一从)搭建 | 学习笔记
快速学习 MyCat - 高级 - 读写分离 - 主从复制(一主一从)搭建
MyCat - 高级 - 读写分离 - 主从复制(一主一从)搭建 | 学习笔记
|
关系型数据库 MySQL 中间件
MyCat-高级-读写分离-双主双从架构 | 学习笔记
快速学习 MyCat-高级-读写分离-双主双从架构
MyCat-高级-读写分离-双主双从架构 | 学习笔记
|
SQL 负载均衡 监控
关于Linux下MySQL主备集群负载均衡之读写分离(MaxScale)的一些记笔
分享一些MySQL(MariaDB)集群主从结构数据读写分离的笔记,关于读写分离: 一如果对于读密集型应用,可以容忍从库异步复制延迟导致的脏数据,读写分离是一种不错的负载均衡方式 如果对于脏数据零容忍,不建议这样搞,出了故障还需要考虑这个因素,不太方便定位问题 二是读写分离需要做体量评估,不能为了读写分离去读写分离,系统负载正常,完全没必要,如果扩了资源还是频繁的sql timeout,读写分离是解决方法之一 博文偏实战,内容涉及: 为什么需要负载均衡? MaxScale配置主从集群的读写分离 食用方式:了解Linux,MySQL 理解不足小伙伴帮忙指正
534 0
关于Linux下MySQL主备集群负载均衡之读写分离(MaxScale)的一些记笔