mysql主从复制及半同步

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
日志服务 SLS,月写入数据量 50GB 1个月
云数据库 RDS PostgreSQL,高可用系列 2核4GB
简介:

简介:主从复制原理、机制

要实施复制,首先必须打开Master端的binary logbin-log)功能,否则无法实现。因为整个复制过程实际上就是SlaveMaster端获取该日志然后再在自己身上完全顺序的执行日志中所记录的各种操作。

复制的基本过程如下:

1)Slave上面的IO_thread连接上Master,并请求从指定日志文件的指定位置(或者从最开始的日志)之后的日志内容;

2)Master接收到来自SlaveIO_thread的请求后,通过负责复制的IO进程根据请求信息读取制定日志指定位置之后的日志信息,返回给Slave IO_thread。返回信息中除了日志所包含的信息之外,还包括本次返回的信息已经到Master端的bin-log file的以及bin-log pos

3)SlaveIO_thread接收到信息后,将接收到的日志内容依次添加到Slave端的relay-log文件的最末端,并将读取到的Master端的 bin-log的文件名和位置记录到master-info文件中,以便在下一次读取的时候能够清楚的告诉Master“我需要从某个bin-log的哪 个位置开始往后的日志内容,请发给我”;

4)SlaveSql_thread检测到relay-log中新增加了内容后,会马上解析relay-log的内容成为在Master端真实执行时候的那些可执行的内容,并在本机上回放。

总结:mysql主从架构最重要的就是bin_log和relay_log日志,全局事务ID


一,mysql主从设置

主节点开启二进制日志,从节点开始中继日志,从节点如果有必要可以不开启二进制日志。另外注意从节点一定要开启只读锁read_only=on。如果需要备份表等高级操作就需要innodb_file_per_table=on给每个表单独一个命名空间。

master    192.168.100.100

wKiom1Z2dFaQTHzCAAAZTc80_2M084.png

wKiom1Z2ezfCZnkcAAAZVu4Ux_c629.png

创建超级管理员

1
GRANT ALL ON *.* to  'test-001' @ '192.168.%.%'  IDENTIFIED BY  '123' ;

创建复制权限用户

1
2
3
GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO  'test-002' @ '192.168.%.%'  IDENTIFIED BY  'test-002' ;
 
注意:要在创建用户之前show master status;这样才能把创建的账户也同步到从节点上。

slave

wKiom1Z2eYjh7lRCAAAZ_77C204747.png

关闭从节点上的二进制日志,同步过程的二进制日志保存完全是没有必要的

1
2
SET sql_log_bin=off;
SHOW VARIABLES LIKE  'sql_log%' ;

从服务建立与master的联系

1
  CHANGE MASTER TO MASTER_HOST= '192.168.100.100' ,MASTER_USER= 'test-002' ,MASTER_PASSWORD= 'test-002' ,MASTER_LOG_FILE= 'mysql-bin.000003' ,MASTER_LOG_POS=245;


启动sql和IO线程

1
START SLAVE;

wKiom1Z2fo_jTYWlAAAplayH3tQ498.png

给从节点施加全局锁:

1
FLUSH TABLES WITH READ LOCK;

至此mysql主从设置完成;

查看主从复制延迟

1
2
SHOW SLAVE STATUS
Seconds_Behind_Master: 0  落后主服务多长时间

延迟处理:半同步或灰度备份恢复重新复制。



二、半同步设置(建立在主从基础上)

半同步复制利用了插件

/usr/lib64/mysql/plugin/semisync_master.so

/usr/lib64/mysql/plugin/semisync_slave.so

[mysqld]默认不设置

plugin_dir=/path/to/plugin/directory  插件目录设置

master:

装载插件

mysql> INSTALL PLUGIN rpl_semi_sync_master SONAME 'semisync_master.so';

检查插件装载情况

show plugins;

rpl_semi_sync_master           | ACTIVE   | REPLICATION        | semisync_master.so | GPL

启用是否是版同步的主节点

mysql> SET GLOBAL rpl_semi_sync_master_enabled=1;

mysql> SHOW GLOBAL VARIABLES LIKE '%semi%';

mysql> SHOW GLOBAL STATUS LIKE '%semi%';

MariaDB [(none)]> show variables like '%semi%';

+------------------------------------+-------+

| Variable_name               | Value |

+------------------------------------+-------+

| rpl_semi_sync_master_enabled     | ON   |启用是否是版同步的主节点

| rpl_semi_sync_master_timeout     | 10000 |

| rpl_semi_sync_master_trace_level  | 32   |跟踪级别32

| rpl_semi_sync_master_wait_no_slave | ON   |是否允许master 每个事物提交后都要等待slave的receipt信号。

+------------------------------------+-------+


slave:

mysql> INSTALL PLUGIN rpl_semi_sync_slave SONAME 'semisync_slave.so';

mysql> SET GLOBAL rpl_semi_sync_slave_enabled=1;





测试

关闭从节点,创建一个数据库,观测

wKiom1Z2jgWTkHOUAABA-9czXQU769.png

观察从节点上的状态

wKiom1Z2jnODUjoXAAAeVhELHng585.png



如果出现这样的问题解决

master:

mysql> SET GLOBAL rpl_semi_sync_master_enabled=1;

slave:

mysql> SET GLOBAL rpl_semi_sync_slave_enabled=1;

mysql> STOP SLAVE;

mysql> START SLAVE;



本文转自 吃草的青蛙 51CTO博客,原文链接:http://blog.51cto.com/tlinux/1726605,如需转载请自行联系原作者

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
相关文章
|
11月前
|
安全 关系型数据库 MySQL
如何将数据从MySQL同步到其他系统
【10月更文挑战第17天】如何将数据从MySQL同步到其他系统
1524 0
|
6月前
|
关系型数据库 MySQL Shell
MySQL 备份 Shell 脚本:支持远程同步与阿里云 OSS 备份
一款自动化 MySQL 备份 Shell 脚本,支持本地存储、远程服务器同步(SSH+rsync)、阿里云 OSS 备份,并自动清理过期备份。适用于数据库管理员和开发者,帮助确保数据安全。
|
7月前
|
SQL 网络协议 关系型数据库
MySQL 主从复制
主从复制是 MySQL 实现数据冗余和高可用性的关键技术。主库通过 binlog 记录操作,从库异步获取并回放这些日志,确保数据一致性。搭建主从复制需满足:多个数据库实例、主库开启 binlog、不同 server_id、创建复制用户、从库恢复主库数据、配置复制信息并开启复制线程。通过 `change master to` 和 `start slave` 命令启动复制,使用 `show slave status` 检查同步状态。常见问题包括 IO 和 SQL 线程故障,可通过重置和重新配置解决。延时原因涉及主库写入延迟、DUMP 线程性能及从库 SQL 线程串行执行等,需优化配置或启用并行处理
205 40
|
7月前
|
关系型数据库 MySQL 数据库
RDS用多了,你还知道MySQL主从复制底层原理和实现方案吗?
随着数据量增长和业务扩展,单个数据库难以满足需求,需调整为集群模式以实现负载均衡和读写分离。MySQL主从复制是常见的高可用架构,通过binlog日志同步数据,确保主从数据一致性。本文详细介绍MySQL主从复制原理及配置步骤,包括一主二从集群的搭建过程,帮助读者实现稳定可靠的数据库高可用架构。
404 9
RDS用多了,你还知道MySQL主从复制底层原理和实现方案吗?
|
7月前
|
SQL 存储 关系型数据库
MySQL主从复制 —— 作用、原理、数据一致性,异步复制、半同步复制、组复制
MySQL主从复制 作用、原理—主库线程、I/O线程、SQL线程;主从同步要求,主从延迟原因及解决方案;数据一致性,异步复制、半同步复制、组复制
671 11
|
9月前
|
关系型数据库 MySQL 数据库
docker高级篇(大厂进阶):安装mysql主从复制
docker高级篇(大厂进阶):安装mysql主从复制
207 24
|
9月前
|
NoSQL 关系型数据库 Redis
《docker高级篇(大厂进阶):1.Docker复杂安装详说》包括:安装mysql主从复制、安装redis集群
《docker高级篇(大厂进阶):1.Docker复杂安装详说》包括:安装mysql主从复制、安装redis集群
239 14
|
9月前
|
监控 关系型数据库 MySQL
Flink CDC MySQL同步MySQL错误记录
在使用Flink CDC同步MySQL数据时,常见的错误包括连接错误、权限错误、表结构变化、数据类型不匹配、主键冲突和
402 17
|
11月前
|
存储 关系型数据库 MySQL
MySQL主从复制原理和使用
本文介绍了MySQL主从复制的基本概念、原理及其实现方法,详细讲解了一主两从的架构设计,以及三种常见的复制模式(全同步、异步、半同步)的特点与适用场景。此外,文章还提供了Spring Boot环境下配置主从复制的具体代码示例,包括数据源配置、上下文切换、路由实现及切面编程等内容,帮助读者理解如何在实际项目中实现数据库的读写分离。
1102 1
MySQL主从复制原理和使用
|
11月前
|
SQL 关系型数据库 MySQL
Mysql中搭建主从复制原理和配置
主从复制在数据库管理中广泛应用,主要优点包括提高性能、实现高可用性、数据备份及灾难恢复。通过读写分离、从服务器接管、实时备份和地理分布等机制,有效增强系统的稳定性和数据安全性。主从复制涉及I/O线程和SQL线程,前者负责日志传输,后者负责日志应用,确保数据同步。配置过程中需开启二进制日志、设置唯一服务器ID,并创建复制用户,通过CHANGE MASTER TO命令配置从服务器连接主服务器,实现数据同步。实验部分展示了如何在两台CentOS 7服务器上配置MySQL 5.7主从复制,包括关闭防火墙、配置静态IP、设置域名解析、配置主从服务器、启动复制及验证同步效果。
362 0
Mysql中搭建主从复制原理和配置

推荐镜像

更多