MySQL Proxy实现数据的读写分离

本文涉及的产品
RDS Agent(兼容OpenClaw),2核4GB
RDS AI 助手,专业版
RDS MySQL DuckDB 分析主实例,集群系列 4核8GB
简介:

做MySQL读写分离实验之前,先要搭建MySQL主从复制,可以参考我之前的两篇文章:

MySQL主从配置:http://msiyuetian.blog.51cto.com/8637744/1697288

部署搭建分层次LAMP架构(最后一章节):http://msiyuetian.blog.51cto.com/8637744/1740236

实现了主从复制后,下面我们进行读写分离的安装与配置。环境说明:

Linux发行版本:centos 6.7 x86_64 (三台)

Hostname
IP 备注
mysql-master
192.168.0.109 主MySQL
mysql-slaver 192.168.0.110 从MySQL
mysql-proxy 192.168.0.104 调度服务器

以下所有操若未特殊说明,都是在 mysql-proxy 机器上操作。


1、安装所需软件包

由于mysql-proxy实际上并不需要在本机上运行MySQL实例,所以这里用yum安装

[root@proxy ~]# yum install -y gcc gcc-c++ autoconf mysql-devel libtool pkgconfig ncurses ncurses-devel


2、安装libevent-2.0.22

[root@proxy ~]# cd /usr/local/src/

[root@proxy src]# wget https://github.com/libevent/libevent/releases/download/release-2.0.22-stable/libevent-2.0.22-stable.tar.gz

[root@proxy src]# tar xvf libevent-2.0.22-stable.tar.gz

[root@proxy src]# cd libevent-2.0.22-stable

[root@proxy libevent-2.0.22-stable]# ./configure

[root@proxy libevent-2.0.22-stable]# make

[root@proxy libevent-2.0.22-stable]# make install


3、安装glib-2.20.4

[root@proxy src]# wget http://ftp.gnome.org/pub/gnome/sources/glib/2.20/glib-2.20.4.tar.gz

[root@proxy src]# tar xvf glib-2.20.4.tar.gz

[root@proxy src]# cd glib-2.20.4

[root@proxy glib-2.20.4]# ./configure

[root@proxy glib-2.20.4]# make

[root@proxy glib-2.20.4]# make install


4、安装readline-6.1

[root@proxy src]# wget http://ftp.gnu.org/gnu/readline/readline-6.1.tar.gz

[root@proxy src]# tar xvf readline-6.1.tar.gz

[root@proxy src]# cd readline-6.1

[root@proxy readline-6.1]# ./configure

[root@proxy readline-6.1]# make

[root@proxy readline-6.1]# make install

[root@proxy readline-6.1]# ldconfig -v          //让动态链接库为系统所共享


5、安装 lua-5.1.4

[root@proxy src]# wget http://www.lua.org/ftp/lua-5.1.4.tar.gz

[root@proxy src]# tar xvf lua-5.1.4.tar.gz

[root@proxy src]# cd lua-5.1.4

[root@proxy lua-5.1.4]# vim src/Makefile        //64位系统需加上 -fPIC

CFLAGS= -O2 -Wall -fPIC $(MYCFLAGS)

[root@proxy lua-5.1.4]# make linux

[root@proxy lua-5.1.4]# make install

验证是否安装成功

[root@proxy lua-5.1.4]# /usr/local/lua/bin/lua

Lua 5.1.4  Copyright (C) 1994-2008 Lua.org, PUC-Rio

>


6、更改环境变量

[root@proxy lua-5.1.4]# cp etc/lua.pc /usr/local/lib/pkgconfig/

[root@proxy lua-5.1.4]# export PKG_CONFIG_PATH=$PKG_CONFIG_PATH:/usr/local/lib/pkgconfig

若版本为5.2以上则通过下面方式修改变量:

[root@proxy lua-5.2.3]# vim /etc/profile                              //添加如下

export LUA_CFLAGS="-I/usr/local/lua/include"

export LUA_LIBS="-L/usr/local/lua/lib-llua -ldl"

export LDFLAGS="-L/usr/local/libevent/lib -lm"

export CPPFLAGS="-I/usr/local/libevent/include"

export CFLAGS="-I/usr/local/libevent/include"

[root@proxy lua-5.2.3]# source /etc/profile


7、安装 mysql-proxy

[root@proxy src]# wget http://mirrors.sohu.com/mysql/MySQL-Proxy/mysql-proxy-0.8.4.tar.gz

[root@proxy src]# tar xvf mysql-proxy-0.8.4.tar.gz

[root@proxy src]# cd mysql-proxy-0.8.4

[root@proxy mysql-proxy-0.8.4]# ./configure -prefix=/usr/local/mysql-proxy

[root@proxy mysql-proxy-0.8.4]# make

[root@proxy mysql-proxy-0.8.4]# make install

[root@proxy mysql-proxy-0.8.4]# cp lib/rw-splitting.lua /usr/local/lib/

[root@proxy mysql-proxy-0.8.4]# cp lib/admin.lua /usr/local/lib/


8、新建配置文件

[root@proxy src]# vim /etc/mysql-proxy.cnf

[mysql-proxy]

admin-username = root

admin-password = 123456

admin-lua-script = /usr/local/lib/admin.lua

proxy-read-only-backend-addresses = 192.168.0.110

proxy-backend-addresses = 192.168.0.109

proxy-lua-script = /usr/local/lib/rw-splitting.lua

log-file = /var/log/mysql-proxy.log

log-level = debug

daemon = true

keepalive = true

[root@proxy src]# chmod 660 /etc/mysql-proxy.cnf

说明:

admin-username :指定登入的用户名

admin-password :指定登入的密码

admin-lua-script :指定由admin插件执行的脚本

proxy-address = <ip:port> :mysql-proxy服务端的监听端口,默认是4040,建议改成3306

proxy-read-only-backend-addresses = <ip:port> :指定只读slave的地址和端口,若有多个slave,以逗号分隔

proxy-backend-addresses = <ip:port> :指定远程master的地址和端口,若不指定默认是127.0.0.1:3306

proxy-lua-script :指定一个Lua脚本来控制mysql-proxy的运行和配置

defaults-file :指定mysql-proxy配置文件

log-file :指定日志文件

log-level :指定日志级别

daemon = true :指定mysql-proxy以守护进程方式运行

keepalive = true :开启该功能修正以前mysql-proxy容易死掉的bug


9、给用户授权

主MySQL执行:

mysql> grant all privileges on *.* to 'proxyuser'@'192.168.0.104' identified by '123456' with grant option;

从MySQL执行:

mysql> grant all privileges on *.* to 'proxyuser'@'192.168.0.104' identified by '123456' with grant option;


10、编辑读写分离脚本

[root@proxy src]# vim /usr/local/lib/rw-splitting.lua

找到:

min_idle_connections = 4,

max_idle_connections = 8,

改为:

min_idle_connections = 1,

max_idle_connections = 2,

说明:修改默认连接,进行快速测试,不修改的话要达到连接数为4时才启用读写分离。


11、启动mysql-proxy

[root@proxy src]# /usr/local/mysql-proxy/bin/mysql-proxy -P 192.168.0.104:3306 --defaults-file=/etc/mysql-proxy.cnf


12、测试读写分离

[root@proxy src]# netstat -lnp                                 //查看已启动 mysql-proxy 服务

wKioL1cPRbTjUlFdAABBKVPkTIs375.png


[root@proxy src]# tail /var/log/mysql-proxy.log    //查看日志文件,如下表示成功

2016-04-14 22:32:11: (message) chassis-unix-daemon.c:136: [angel] we try to keep PID=56545 alive

2016-04-14 22:32:11: (debug) chassis-unix-daemon.c:157: waiting for 56545

2016-04-14 22:32:11: (debug) chassis-unix-daemon.c:121: we are the child: 56545

2016-04-14 22:32:11: (critical) plugin proxy 0.8.4 started

2016-04-14 22:32:11: (debug) max open file-descriptors = 1024

2016-04-14 22:32:11: (message) proxy listening on port 192.168.0.104:3306

2016-04-14 22:32:11: (message) added read/write backend: 192.168.0.109

2016-04-14 22:32:11: (message) added read-only backend: 192.168.0.110

wKioL1cPRfLxa7nBAABLlzuGk3s953.png


注意:MySQL Proxy服务启动后,我们可以看到网站页面全是乱码,所以要将主从数据库的配置文件都要加上如下代码以避免这个问题

# vim /etc/my.cnf

[mysqld]

skip-character-set-client-handshake init-connect = 'SET NAMES utf8'

default-character-set = utf8








      本文转自 M四月天 51CTO博客,原文链接:http://blog.51cto.com/msiyuetian/1763892,如需转载请自行联系原作者






相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。 &nbsp; 相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情:&nbsp;https://www.aliyun.com/product/rds/mysql&nbsp;
相关文章
|
12月前
|
缓存 NoSQL 关系型数据库
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
|
10月前
|
SQL 人工智能 关系型数据库
如何实现MySQL百万级数据的查询?
本文探讨了在MySQL中对百万级数据进行排序分页查询的优化策略。面对五百万条数据,传统的浅分页和深分页查询效率较低,尤其深分页因偏移量大导致性能显著下降。通过为排序字段添加索引、使用联合索引、手动回表等方法,有效提升了查询速度。最终建议根据业务需求选择合适方案:浅分页可加单列索引,深分页推荐联合索引或子查询优化,同时结合前端传递最后一条数据ID的方式实现高效翻页。
530 0
|
9月前
|
存储 关系型数据库 MySQL
在CentOS 8.x上安装Percona Xtrabackup工具备份MySQL数据步骤。
以上就是在CentOS8.x上通过Perconaxtabbackup工具对Mysql进行高效率、高可靠性、无锁定影响地实现在线快速全量及增加式数据库资料保存与恢复流程。通过以上流程可以有效地将Mysql相关资料按需求完成定期或不定期地保存与灾难恢复需求。
711 10
|
10月前
|
SQL 存储 缓存
MySQL 如何高效可靠处理持久化数据
本文详细解析了 MySQL 的 SQL 执行流程、crash-safe 机制及性能优化策略。内容涵盖连接器、分析器、优化器、执行器与存储引擎的工作原理,深入探讨 redolog 与 binlog 的两阶段提交机制,并分析日志策略、组提交、脏页刷盘等关键性能优化手段,帮助提升数据库稳定性与执行效率。
273 0
|
关系型数据库 MySQL Linux
在Linux环境下备份Docker中的MySQL数据并传输到其他服务器以实现数据级别的容灾
以上就是在Linux环境下备份Docker中的MySQL数据并传输到其他服务器以实现数据级别的容灾的步骤。这个过程就像是一场接力赛,数据从MySQL数据库中接力棒一样传递到备份文件,再从备份文件传递到其他服务器,最后再传递回MySQL数据库。这样,即使在灾难发生时,我们也可以快速恢复数据,保证业务的正常运行。
557 28
|
存储 SQL 关系型数据库
【YashanDB知识库】MySQL迁移至崖山char类型数据自动补空格问题
**简介**:在MySQL迁移到崖山环境时,若字段类型为char(2),而应用存储的数据仅为&#39;0&#39;或&#39;1&#39;,查询时崖山会自动补空格。原因是mysql的sql_mode可能启用了PAD_CHAR_TO_FULL_LENGTH模式,导致保留CHAR类型尾随空格。解决方法是与应用确认数据需求,可将崖山环境中的char类型改为varchar类型以规避补空格问题,适用于所有版本。
|
存储 SQL 缓存
mysql数据引擎有哪些
MySQL 提供了多种存储引擎,每种引擎都有其独特的特点和适用场景。以下是一些常见的 MySQL 存储引擎及其特点:
315 0
|
SQL 关系型数据库 MySQL
【YashanDB知识库】字符集latin1的MySQL中文数据如何迁移到YashanDB
本文探讨了在使用YMP 23.2.1.3迁移MySQL Server字符集为latin1的中文数据至YashanDB时出现乱码的问题。问题根源在于MySQL latin1字符集存放的是实际utf8编码的数据,而YMP尚未支持此类场景。文章提供了两种解决方法:一是通过DBeaver直接迁移表数据;二是将MySQL表数据转换为Insert语句后手动插入YashanDB。同时指出,这两种方法适合单张表迁移,多表迁移可能存在兼容性问题,建议对问题表单独处理。
【YashanDB知识库】字符集latin1的MySQL中文数据如何迁移到YashanDB
|
缓存 NoSQL 关系型数据库
Redis和Mysql如何保证数据⼀致?
1. 先更新Mysql,再更新Redis,如果更新Redis失败,可能仍然不⼀致 2. 先删除Redis缓存数据,再更新Mysql,再次查询的时候在将数据添加到缓存中 这种⽅案能解决1 ⽅案的问题,但是在⾼并发下性能较低,⽽且仍然会出现数据不⼀致的问题,⽐如线程1删除了 Redis缓存数据,正在更新Mysql,此时另外⼀个查询再查询,那么就会把Mysql中⽼数据⼜查到 Redis中 1. 使用MQ异步同步, 保证数据的最终一致性 我们项目中会根据业务情况 , 使用不同的方案来解决Redis和Mysql的一致性问题 : 1. 对于一些一致性要求不高的场景 , 不做处理例如 : 用户行为数据 ,
|
SQL 关系型数据库 MySQL
基于SQL Server / MySQL进行百万条数据过滤优化方案
对百万级别数据进行高效过滤查询,需要综合使用索引、查询优化、表分区、统计信息和视图等技术手段。通过合理的数据库设计和查询优化,可以显著提升查询性能,确保系统的高效稳定运行。
832 9

推荐镜像

更多