MySQL主从同步与读写分离

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
云数据库 RDS PostgreSQL,高可用系列 2核4GB
简介:

MySQL主从同步
MySQL AB复制
1.对指定库的异地同步。
2.MySQL主-->从复制架构的实现。
3.MySQL服务器的只读控制。

主从:
单向复制时,建议将从库设置为只读。

主从复制的原理:
Master,记录数据更改操作。
-启动binlog日志
-设置binlog日志格式
-设置server_id

Slave,运行2个线程。
-Slave_IO:复制master主机binlog日志文件里的SQL到本机的relay-log文件里。
-Slave_SQL:执行本机relay-log文件里的SQL语句,重现Master的数据操作。

构建主从同步
1.确保数据相同
-从库必须要有主库上的数据。

2.配置主服务器
-启用binlog日志及设置格式,设置server_id,授权用户。

3.配置从服务器
-设置server_id,配置为从数据库服务器。

4.测试同步效果
-客户端连接主库,写入的数据,在访问从库的时候也能够看到。

确保数据相同
Master服务器:
-应包括希望同步的所有库
-对采用MyISAM的库,可离线备份
mysql>reset master; //重置binlog日志
...
#mysqldump -u root -p 123456 -B mysql test > /root/mytest.sql

Slave服务器:
-离线导入有Master提供的备份
-清空同名库(如果存在)
mysql>drop database test; //先清理目标库
#scp master:/root/mytest.sql ./ //直接scp远程拷贝
#mysql -u root -p 123456 < /root/mytest.sql //确保与master的数据相同

配置主服务器
1.启用binlog及允许同步:
vim /etc/my.cnf
[mysqld]
log_bin=master-bin //启用binlog日志
server_id = 10 //指定服务器ID号
binlog_format=mixed //指定日志格式
sync-binlog=1 //允许日志同步
....

#systemctl start mysqld //启动服务

2.授权备份用户:
-允许lisi从192.168.4.0/24网段访问
-对所有库(默认不允许对单个库)有同步权限
mysql>grant replication slave on . to "lisi"@"192.168.4.%" identified by "123456";

3.查看Master状态:
-记住当前的日志文件名、偏移量位置
mysql>show master status\G;
......
File: master-bin.000002 //日志文件名
Position: 334 //偏移量
.....

配置从服务器
1.启用binlog及允许同步,启用只读模式。
vim /etc/my.cnf
[mysqld] 
log_bin=slave-bin //启用binlog日志
server_id = 20 //指定服务器ID号
sync-binlog=1 //允许日志同步
read_only=1 //只读模式,同步及SUPER权限用户例外

#systemctl start mysqld //启动服务

2.指定Master相关参数
mysql>change master to master_host="192.168.4.10",
->master_user="lisi",
->master_password="123456",
->master_log_file="master-bin.000002", //日志文件
->master_log_pos=334; //偏移量

mysql>start slave; //启动复制

Master信息会自动保存到/var/lib/mysql/master.info文件,若要更改Master信息时,应先stop slave;

3.查看Slave状态
-确认IO线程、SQL线程都已运行
mysql>show slave status\G
.....
Slave_IO_Running:Yes //IO线程已运行
Slave_SQL_Running:Yes //SQL线程已运行

从数据库目录下多出文件:
/var/lib/mysql/master.info //连接主服务器信息
/var/lib/mysql/relay-log.info //中继日志信息
/var/lib/mysql/主机名-relay-bin.xxxxxx //中继日志文件
/var/lib/mysql/bogon-relay-bin.index //中继日志索引文件

测试主从同步配置:
1 在主库服务器上添加访问数据的用户
2 在客户端使用授权用户连接主库,产生的数据在从库本机也能够查看的到。

Master服务器常用选项:
binlog_do_db= //只允许复制的库 binlog_do_db=库名1,库名2,库名n
binlog_ignore_db= //不允许复制的库 binlog_ignore_db=库名1,库名2,库名n

Slave服务器常用选项:
relay_log=Slave-relay-bin //指定中继日志文件名
log_slave_updates //记录从库更新,允许链式复制(级联复制)
replicate_do_db=库名1,库名2,库名n //仅复制指定库,其他库将被忽略(省略时复制所有库)
replicate_ignore_db=库名1,库名2,库名n //不复制哪些库,其他库将被忽略

注:replicate_do_db和replicate_ignore_db只需选用其中一种

主从复制的结构
单向渎职:主-->从
链式复制:主-->从-->从
双向复制:主<-->从
放射式复制:从<--主-->从

        MySQL读写分离

读写分离:把客户端访问数据时的查询请求select 和写insert 给不同的数据库服务器处理。
读写分离的原理:
1.多台MySQL服务器
-分别提供读、写服务,均衡流量
-通过主从复制保持一致性
2.由MySQL代理面向客户端
-收到SQL写请求时,交给服务器A处理
-收到SQL读请求时,交给服务器B处理
-具体区分策略由服务设置

构建MySQL读写分离
1.搭建好MySQL主从复制
-Slave为只读

2.添加一台MySQL代理服务器
-部署/启用 maxscale

3.客户端通过代理主机访问MySQL数据库

部署MySQL代理
安装maxscale:
rpm -ivh maxscale-2.1.2-1.rhel.7.x86_64.rpm
rpm -qc maxscale
/etc/maxscale.cnf //主配置文件
....

修改配置文件:
vim /etc/maxscale.cnf
[server1] //定义数据库服务器
type=server
address=192.168.4.10 //master主机ip地址
port=3306
protocol=MySQLBackend

[server2] //定义数据库服务器
type=server
address=192.168.4.20 //slave主机ip地址
port=3306
protocol=MySQLBackend

[MySQL Monitor]
type=monitor
module=mysqlmon
server=server1,server2 //定义的主、从数据库服务器列表
user=lisi //用户名
passwd=123456 //密码
monitor_interval=10000

[Read-Write Service]
type=service
router=readwritesplit
servers=server1,server2 //定义的主、从数据库服务器列表
user=zhangsan //用户名
passwd=123456 //密码
max_slave_connections=100%

在主、从数据库服务器上创建授权用户
mysql>grant replication slave,replication client on . to lisi@'%' identified by "123456" ; //创建监控用户
mysql>grant select on mysql. to zhangsan@'%' identified by "123456"; //创建路由用户 
mysql>grant all on 
.* to admin@'%' identified by "123456"; //创建访问用户

启动maxscale
主要命令:
-启动服务
-查看端口
-停止服务
maxscale --config=/etc/maxscale.cnf //启动服务
或 maxscale -f /etc/maxscale.cnf
netstat -alntpu |grep maxscale 
pkill -9 maxscale //停止服务

读写分离服务使用的端口、管理服务使用的端口
4006 4009

客户端测试
登录MySQL代理:
-mysql -h 代理的ip地址 -p 端口 -u 用户名 -p 密码

测试SQL查询、更新操作
-可成功查询表记录
-可成功写入数据

登录MySQL代理:
mysql -h192.168.4.100 -p4006 -uadmin -p123456
mysql>select @@hostname; //查看当前访问的主机名


     本文转自夜流璃雨 51CTO博客,原文链接:http://blog.51cto.com/13399294/2071492,如需转载请自行联系原作者





相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。 &nbsp; 相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情:&nbsp;https://www.aliyun.com/product/rds/mysql&nbsp;
相关文章
|
12月前
|
安全 关系型数据库 MySQL
如何将数据从MySQL同步到其他系统
【10月更文挑战第17天】如何将数据从MySQL同步到其他系统
1597 0
|
12天前
|
NoSQL 算法 Redis
【Docker】(3)学习Docker中 镜像与容器数据卷、映射关系!手把手带你安装 MySql主从同步 和 Redis三主三从集群!并且进行主从切换与扩容操作,还有分析 哈希分区 等知识点!
Union文件系统(UnionFS)是一种**分层、轻量级并且高性能的文件系统**,它支持对文件系统的修改作为一次提交来一层层的叠加,同时可以将不同目录挂载到同一个虚拟文件系统下(unite several directories into a single virtual filesystem) Union 文件系统是 Docker 镜像的基础。 镜像可以通过分层来进行继承,基于基础镜像(没有父镜像),可以制作各种具体的应用镜像。
144 5
|
7月前
|
关系型数据库 MySQL Shell
MySQL 备份 Shell 脚本:支持远程同步与阿里云 OSS 备份
一款自动化 MySQL 备份 Shell 脚本,支持本地存储、远程服务器同步(SSH+rsync)、阿里云 OSS 备份,并自动清理过期备份。适用于数据库管理员和开发者,帮助确保数据安全。
|
8月前
|
SQL 关系型数据库 MySQL
如何实现 MySQL 的读写分离?
本文介绍了 MySQL 读写分离的实现方式及其主从复制原理,解释了如何通过主从架构提升读并发能力。重点分析了主从同步延时问题及解决方案,如半同步复制、并行复制等技术手段,并结合实际案例探讨了高并发场景下的优化策略。文章还提醒开发者在编写代码时需谨慎处理插入后立即查询的情况,避免因主从延时导致的数据不一致问题。
1007 44
如何实现 MySQL 的读写分离?
|
负载均衡 监控 关系型数据库
MySQL 官宣:支持读写分离了!!
【10月更文挑战第8天】MySQL的读写分离功能显著提升了数据库性能、可用性和可靠性。通过将读写操作分配至不同服务器,有效减轻单个服务器负载,提高响应速度与吞吐量,并增强系统稳定性。此外,它还支持便捷的扩展方式,可通过增加只读服务器提升读操作性能。实现读写分离的方法包括软件层面(如使用数据库中间件)和硬件层面(使用独立服务器)。使用时需注意数据一致性、负载均衡及监控管理等问题。
528 0
|
10月前
|
监控 关系型数据库 MySQL
Flink CDC MySQL同步MySQL错误记录
在使用Flink CDC同步MySQL数据时,常见的错误包括连接错误、权限错误、表结构变化、数据类型不匹配、主键冲突和
417 17
|
消息中间件 canal 关系型数据库
Maxwell:binlog 解析器,轻松同步 MySQL 数据
Maxwell:binlog 解析器,轻松同步 MySQL 数据
1270 11
|
SQL 存储 关系型数据库
Mysql主从同步 清理二进制日志的技巧
Mysql主从同步 清理二进制日志的技巧
128 1
|
关系型数据库 MySQL Java
MySQL主从复制实现读写分离
MySQL主从复制(二进制日志)、 Sharding-JDBC实现读写分离
MySQL主从复制实现读写分离
|
SQL 存储 关系型数据库
实时计算 Flink版产品使用问题之同步MySQL多张表的过程中,内存释放依赖于什么
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。

推荐镜像

更多