RDS用多了,你还知道MySQL主从复制底层原理和实现方案吗?

本文涉及的产品
云数据库 RDS SQL Server,基础系列 2核4GB
云原生数据库 PolarDB 分布式版,标准版 2核8GB
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
简介: 随着数据量增长和业务扩展,单个数据库难以满足需求,需调整为集群模式以实现负载均衡和读写分离。MySQL主从复制是常见的高可用架构,通过binlog日志同步数据,确保主从数据一致性。本文详细介绍MySQL主从复制原理及配置步骤,包括一主二从集群的搭建过程,帮助读者实现稳定可靠的数据库高可用架构。

1.概述

随着数据量的增长和业务的扩展,数据库的高可用性和性能需求变得尤为重要,但与此同时单个数据库服务无法再满足日常的大量使用需求,负载过重。这时候就必须把数据库从单一部署调整为集群模式,实现负载均衡、读写分离从而保证系统的高可用。MySQL 主从复制 是一种常见的高可用架构,不仅可以分担主库的读压力,还能为数据备份和故障恢复提供保障。本文将详细介绍 MySQL 主从复制的实现原理,并提供完整的配置操作教程。

2.主从复制实现原理

MySQL本身提供了主从复制的技术支持,所以无需通过第三方技术来协助实现。主从复制的过程主要基于binlog日志完成的,binlog(binary log 即二进制日志文件) 主要记录了 MySQL 数据库中数据的所有变化(数据库执行的所有 DDL 和 DML 语句)。因此,我们根据主库的 binlog 日志就能够将主库的数据同步到从库中。

步骤流程如下:

  1. 客户端提交写请求,主库master更新数据,并记录binlog

  2. 从库slave连接主库master:也就是在从库slave上执行change master 命令,设置主库 A 的 IP、端口、用户名、密码,以及要从哪个位置开始请求 binlog,这个位置包含文件名和日志偏移量;开启数据复制同步,即在从库slave上执行start slave命令,这时候备库会启动两个线程,就是图中的 io_thread 和 sql_thread。其中 io_thread 负责与主库建立连接。主库会创建一个 binlog dump 线程来发送 binlog,通过show processlist可以看到:

  3. binlog变化之后 dump线程会读取主库master节点上的binlog日志,然后将binlog日志发送给从库slave节点上的I/O线程

  4. 从库slave的 I/O 线程将接收的 binlog 写入到 relay log 中

  5. 从库slave节点上的SQL线程,会来读取relaylog中的binlog日志,将其解析成具体的增删改操作,把这些在master节点上进行过的操作,重新在slave节点上也重做一遍,达到数据还原的效果,这样就可以保证master节点和slave节点的数据一致性了。.

3.主从复制搭建

主从架构的形式多种多样,有一主多从,也有多主多从的,这里我们以一主多从为例部署一个一主二从的集群,先准备三台机器如下:

master  10.10.0.10
slave1  10.10.0.14
slave2  10.10.0.22

接下来我们使用docker部署这3个MySQL实例,先部署主库master:

docker run -p 3306:3306 --name mysql \
-v /mydata/mysql/log:/var/log/mysql \
-v /mydata/mysql/data:/var/lib/mysql \
-v /mydata/mysql/conf:/etc/mysql \
-e MYSQL_ROOT_PASSWORD=root \
-d mysql:5.7

可以看到我们部署版本是5.7,这里我已经提前拉取过MySQL5.7的镜像了,没拉取的先拉取下镜像再执行上面的命令, -v就是将容器内目录文件挂载到宿主机对应的目录文件,对docker不太熟悉的,可以看看之前我们总结的:docker使用入门教程

/mydata/mysql/conf下新增MySQL配置文件my.cnf,内容如下:

[mysql]
default-character-set=utf8
[mysqld]
init_connect='SET collation_connection = utf8_unicode_ci'
init_connect='SET NAMES utf8'
character-set-server=utf8
collation-server=utf8_unicode_ci
skip-character-set-client-handshake
skip-name-resolve
# 配置时间
default-time_zone = '+8:00'

# 打开binlog
log-bin=mysql-bin
# 选择ROW(行)模式
binlog-format=ROW
# 配置MySQL replaction需要定义,不能slave的server_id重复
server_id=1

大体上就是配置了一下字符集、时间和开启binlog并设置为row格式,同时设置在主从架构中唯一的server_id。

重启MySQL服务让配置生效

docker restart mysql

当然你也可以先去宿主机/mydata/mysql/conf配置好my.conf,再执行上面的部署命令,这样一次搞定,不用重启了,反正都可以的,怎么舒服怎么来。

紧接着按照上面同样的操作部署从库slave1,配置文件和上面也差不多,修改server_id=2,保证与主库master不一样,并配置中继日志relaylog即可

server_id=2
#启用中继日志
relay-log=mysql-relay

启动成功之后,我们就可以按照上面的主从复制原理进行数据同步了。

首先在主库master创建一个用于复制的用户账号并赋权:

CREATE USER 'slave-user'@'%' IDENTIFIED BY '126289';
GRANT REPLICATION SLAVE ON *.* TO 'slave-user'@'%';
FLUSH PRIVILEGES;

接着查看主库master的binlog文件名和位置:

show master status;

然后来从库slave1上执行复制配置命令:

CHANGE MASTER TO
MASTER_HOST='10.10.0.10',
MASTER_USER='slave-user',
MASTER_PASSWORD='126289',
MASTER_LOG_FILE='mysql-bin.000001',
MASTER_LOG_POS=751;

开启复制:

start slave;

查看复制状态:

show slave status;

重点关注下我圈出来的参数:Slave_IO_RunningSlave_SQL_Running都是Yes,说明主从配置成功,否则就说明主从同步有问题,就需要看看Last_Error报错信息了,比如说由于主从数据不一致导致的表不存在等:

最后一个圈出的参数Seconds_Behind_Master代表的就是主从延迟时长,需要重点关注的参数。

现在你就可以在主库master上操作数据,从库slave1很快就同步了,由于都是新部署的实例,这里我在mater新增一个数据库db_test和一张表tb_user:

可以看到slave1很快就同步了master新增的数据库和表,还可以在master插入tb_user数据,验证下slave1是否同步,你自己可以试试。

现在是一主一从的架构,但是随着业务系统使用时间的推移,数据库压力开始越来越大,这时候就需要部署更多的从节点来分担压力,于是乎就有了slave2,部署过程和上面一样,只是要稍微注意下复制配置如下:

CHANGE MASTER TO
MASTER_HOST='10.10.0.10',
MASTER_USER='slave-user',
MASTER_PASSWORD='126289',
MASTER_LOG_FILE='mysql-bin.000001',
MASTER_LOG_POS=1;

MASTER_LOG_FILE是指定从库开始同步的主库 二进制日志文件名,告诉从库从哪个日志文件开始读取数据。

MASTER_LOG_POS是指定从库从二进制日志的 特定位置 开始读取数据。

上面我们是通过show master status;获得mater的binlog最新日志文件名和位置,然后去同步,这种情况是在master和slave1数据一致的情况是可以的,因为两个都是新部署的没有任何操作,但是部署slave2的是master已经使用一段时间了,这两个参数的值就不能从show master status;中获取了,可能binlog都产生好几个文件了,slave2要想全量同步复制master的数据,就必须从最早的binlog文件的最初位置开始同步,这也是上面slave2同步参数由来。如果master有很多数据,你就会注意到slave2的Seconds_Behind_Master主从延迟值不再是0

到这里,我们的一主二从的主从复制架构环境就算搭建完成了。

4.总结

MySQL 主从复制是提升数据库性能和可用性的有效手段,通过合理的配置和优化,可以有效实现读写分离、数据备份和故障恢复。本文从主从复制的原理入手,详细讲解了配置步骤和常见问题解决方案,希望能帮助你搭建稳定可靠的 MySQL 高可用架构。如果本文对你有帮助的话,麻烦给个一键三连(点赞、在看、转发分享)支持一下,感谢Thanks♪(・ω・)ノ

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
22天前
|
自然语言处理 搜索推荐 关系型数据库
MySQL实现文档全文搜索,分词匹配多段落重排展示,知识库搜索原理分享
本文介绍了在文档管理系统中实现高效全文搜索的方案。为解决原有ES搜索引擎私有化部署复杂、运维成本高的问题,我们转而使用MySQL实现搜索功能。通过对用户输入预处理、数据库模糊匹配、结果分段与关键字标红等步骤,实现了精准且高效的搜索效果。目前方案适用于中小企业,未来将根据需求优化并可能重新引入专业搜索引擎以提升性能。
|
1月前
|
关系型数据库 MySQL Linux
MySQL原理简介—6.简单的生产优化案例
本文介绍了数据库和存储系统的几个主题: 1. **MySQL日志的顺序写和数据文件的随机读指标**:解释了磁盘随机读和顺序写的原理及对数据库性能的影响。 2. **Linux存储系统软件层原理及IO调度优化原理**:解析了Linux存储系统的分层架构,包括VFS、Page Cache、IO调度等,并推荐使用deadline算法优化IO调度。 3. **数据库服务器使用的RAID存储架构**:介绍了RAID技术的基本概念及其如何通过多磁盘阵列提高存储容量和数据冗余性。 4. **数据库Too many connections故障定位**:分析了MySQL连接数限制问题的原因及解决方法。
|
1月前
|
SQL 网络协议 关系型数据库
MySQL 主从复制
主从复制是 MySQL 实现数据冗余和高可用性的关键技术。主库通过 binlog 记录操作,从库异步获取并回放这些日志,确保数据一致性。搭建主从复制需满足:多个数据库实例、主库开启 binlog、不同 server_id、创建复制用户、从库恢复主库数据、配置复制信息并开启复制线程。通过 `change master to` 和 `start slave` 命令启动复制,使用 `show slave status` 检查同步状态。常见问题包括 IO 和 SQL 线程故障,可通过重置和重新配置解决。延时原因涉及主库写入延迟、DUMP 线程性能及从库 SQL 线程串行执行等,需优化配置或启用并行处理
103 40
|
1月前
|
SQL 存储 关系型数据库
MySQL原理简介—9.MySQL索引原理
本文详细介绍了MySQL索引的设计与使用原则,涵盖磁盘数据页的存储结构、页分裂机制、主键索引设计及查询过程、聚簇索引和二级索引的原理、B+树索引的维护、联合索引的使用规则、SQL排序和分组时如何利用索引、回表查询对性能的影响以及索引覆盖的概念。此外还讨论了索引设计的案例,包括如何处理where筛选和order by排序之间的冲突、低基数字段的处理方式、范围查询字段的位置安排,以及通过辅助索引来优化特定查询场景。总结了设计索引的原则,如尽量包含where、order by、group by中的字段,选择离散度高的字段作为索引,限制索引数量,并针对频繁查询的低基数字段进行特殊处理等。
MySQL原理简介—9.MySQL索引原理
|
1月前
|
存储 关系型数据库 MySQL
MySQL底层概述—6.索引原理
本文详细回顾了:索引原理、二叉查找树、平衡二叉树(AVL树)、红黑树、B-Tree、B+Tree、Hash索引、聚簇索引与非聚簇索引。
MySQL底层概述—6.索引原理
|
1月前
|
SQL 监控 关系型数据库
MySQL原理简介—12.MySQL主从同步
本文介绍了四种为MySQL搭建主从复制架构的方法:异步复制、半同步复制、GTID复制和并行复制。异步复制通过配置主库和从库实现简单的主从架构,但存在数据丢失风险;半同步复制确保日志复制到从库后再提交事务,提高了数据安全性;GTID复制简化了配置过程,增强了复制的可靠性和管理性;并行复制通过多线程技术降低主从同步延迟,保证数据一致性。此外,还讨论了如何使用工具监控主从延迟及应对策略,如强制读主库以确保即时读取最新数据。
MySQL原理简介—12.MySQL主从同步
|
1月前
|
SQL 缓存 关系型数据库
MySQL原理简介—7.redo日志的底层原理
本文介绍了MySQL中redo日志和undo日志的主要内容: 1. redo日志的意义:确保事务提交后数据不丢失,通过记录修改操作并在系统宕机后重做日志恢复数据。 2. redo日志文件构成:记录表空间号、数据页号、偏移量及修改内容。 3. redo日志写入机制:redo日志先写入Redo Log Buffer,再批量刷入磁盘文件,减少随机写以提高性能。 4. Redo Log Buffer解析:描述Redo Log Buffer的内存结构及刷盘时机,如事务提交、Buffer过半或后台线程定时刷新。 5. undo日志原理:用于事务回滚,记录插入、删除和更新前的数据状态,确保事务可完整回滚。
130 22
|
1月前
|
SQL 缓存 关系型数据库
MySQL原理简介—8.MySQL并发事务处理
这段内容深入探讨了SQL语句执行原理、事务并发问题、MySQL事务隔离级别及其实现机制、锁机制以及数据库性能优化等多个方面。
|
1月前
|
SQL 关系型数据库 MySQL
MySQL原理简介—11.优化案例介绍
本文介绍了四个SQL性能优化案例,涵盖不同场景下的问题分析与解决方案: 1. 禁止或改写SQL避免自动半连接优化。 2. 指定索引避免按聚簇索引全表扫描大表。 3. 按聚簇索引扫描小表减少回表次数。 4. 避免产生长事务长时间执行。
|
1月前
|
SQL 存储 关系型数据库
MySQL原理简介—10.SQL语句和执行计划
本文介绍了MySQL执行计划的相关概念及其优化方法。首先解释了什么是执行计划,它是SQL语句在查询时如何检索、筛选和排序数据的过程。接着详细描述了执行计划中常见的访问类型,如const、ref、range、index和all等,并分析了它们的性能特点。文中还探讨了多表关联查询的原理及优化策略,包括驱动表和被驱动表的选择。此外,文章讨论了全表扫描和索引的成本计算方法,以及MySQL如何通过成本估算选择最优执行计划。最后,介绍了explain命令的各个参数含义,帮助理解查询优化器的工作机制。通过这些内容,读者可以更好地理解和优化SQL查询性能。

相关产品

  • 云数据库 RDS MySQL 版
  • 云数据库 RDS