mysql主从复制原理及存在的问题

本文涉及的产品
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
云数据库 RDS MySQL Serverless,价值2615元额度,1个月
简介: 主从复制的原理 当从库执行CHANGE MASTER TO 后从库生成两个线程I/O thread和SQL thread。I/O线程与主库进行连接,请求主库的binlog。

这里写图片描述
主从复制的原理
当从库执行CHANGE MASTER TO 后

  • 从库

    • 生成两个线程I/O thread和SQL thread。
    • I/O线程与主库进行连接,请求主库的binlog。接收到binlog后,会存储到relay log中(中继日志)
    • SQL线程会解析中继日志,并在从库上进行应用
  • 主库

    • 接到I/O线程的请求,会生成一个binlog dump thread。负责把binlog给从库的I/O线程。

查看主库的线程

mysql> show processlist\G
*************************** 1. row ***************************
     Id: 5
   User: repl
   Host: miles22:44755
     db: NULL
Command: Binlog Dump
   Time: 1777
  State: Master has sent all binlog to slave; waiting for binlog to be updated
   Info: NULL
...

查看从库的线程

mysql> show processlist\G
...
#I/O线程
*************************** 2. row ***************************
     Id: 9
   User: system user
   Host: 
     db: NULL
Command: Connect
   Time: 1911
  State: Waiting for master to send event
   Info: NULL
#SQL线程
*************************** 3. row ***************************
     Id: 10
   User: system user
   Host: 
     db: NULL
Command: Connect
   Time: 1252
  State: Slave has read all relay log; waiting for the slave I/O thread to update it
   Info: NULL

查看从库的中继日志

#miles-relay-bin为中继日志
[root@miles22 mysql]# ll
total 112512
-rw-rw----. 1 mysql mysql       56 Dec  3 13:54 auto.cnf
drwx------. 2 mysql mysql     4096 Dec  5 17:39 db1
-rw-rw----. 1 mysql mysql    20933 Dec  5 17:54 error.log
-rw-rw----. 1 mysql mysql 12582912 Dec  5 18:00 ibdata1
-rw-rw----. 1 mysql mysql 50331648 Dec  5 18:00 ib_logfile0
-rw-rw----. 1 mysql mysql 50331648 Dec  3 13:49 ib_logfile1
-rw-rw----. 1 mysql mysql      129 Dec  5 18:05 master.info
-rw-rw----. 1 mysql mysql        6 Dec  3 14:00 miles.pid
-rw-rw----. 1 mysql mysql      173 Dec  5 17:54 miles-relay-bin.000001
-rw-rw----. 1 mysql mysql      870 Dec  5 18:05 miles-relay-bin.000002
-rw-rw----. 1 mysql mysql       50 Dec  5 17:54 miles-relay-bin.index
drwx------. 2 mysql mysql     4096 Dec  5 17:39 mysql
-rw-rw----. 1 mysql mysql    65420 Dec  3 13:49 mysql-bin.000001
-rw-rw----. 1 mysql mysql  1176237 Dec  3 13:49 mysql-bin.000002
-rw-rw----. 1 mysql mysql      143 Dec  3 13:54 mysql-bin.000003
-rw-rw----. 1 mysql mysql      120 Dec  3 14:00 mysql-bin.000004
-rw-rw----. 1 mysql mysql     2063 Dec  3 20:29 mysql-bin.000005
-rw-rw----. 1 mysql mysql   626058 Dec  5 17:39 mysql-bin.000006
-rw-rw----. 1 mysql mysql      174 Dec  3 20:29 mysql-bin.index
drwx------. 2 mysql mysql     4096 Dec  3 13:49 performance_schema
-rw-rw----. 1 mysql mysql       59 Dec  5 18:05 relay-log.info

[root@miles22 mysql]# more master.info
23
mysql-bin.000013
1115
192.168.137.21
repl
beijing
3333
60
0





0
1800.000

0
831d7c7e-982b-11e5-adcc-00505638f3db
86400


0

[root@miles22 mysql]# more relay-log.info
7
./miles-relay-bin.000002 #中继日志位置点
870
mysql-bin.000013
1115 #从库复制到这
0
0
1

主从复制存在的问题

  • 主库宕机后,数据可能丢失
mysql主从复制是异步的,不需要等待从库复制成功后再返回。
  • 从库只有一个SQL线程,主库写压力大,复制很可能延时
从库应用日志的线程只有SQL线程一个,而主库同时接受很多线程进行读写。当主库压力大时,从库很可能落后主库
  • 解决方法:
    • 半同步复制(可有效解决数据丢失的问题)
    • 并行复制 (可以让从库同时启动更多的线程去应用binlog)
相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
1月前
|
关系型数据库 MySQL Java
MySQL的主从复制 && SpringBoot整合Sharding-JDBC解决读写分离
MySQL的主从复制 && SpringBoot整合Sharding-JDBC解决读写分离
39 0
|
1月前
|
SQL 关系型数据库 MySQL
Mysql 的binlog日志的原理【4月更文挑战第1天】
【4月更文挑战第1天】 MySQL的binlog(二进制日志)是一个记录数据库更改的日志文件,它主要用于复制和恢复操作。以下是binlog日志的工作原理的简要概述: **事件写入**:当MySQL服务器执行一个事务时,它会将该事务中所有对数据库的修改操作(如INSERT、UPDATE和DELETE等)记录为一个事件(event)。这些事件包含了修改操作的相关信息,如操作类型、涉及的表、修改的行等。
|
1月前
|
SQL 关系型数据库 MySQL
MySQL中主从复制的原理和配置命令
要原因包括提高性能、实现高可用性、数据备份和灾难恢复。了解两大线程( I/O 和 SQL)I/O线程:目的:I/O线程主要负责与MySQL服务器之外的其他MySQL服务器进行通信,以便复制(replication)数据。 功能: 当一个MySQL服务器作为主服务器(master)时,I/O线程会将变更日志(binary log)中的事件传输给从服务器(slave)。从服务器上的I/O线程负责接收主服务器的二进制日志,并将这些事件写入本地的中继日志(relay log)。 配置: 在MySQL配置文件中,你可以通过配置参数如和来启用二进制日志和指定服务器ID。log-bin server
MySQL中主从复制的原理和配置命令
|
1月前
|
负载均衡 容灾 关系型数据库
mysql主从复制
mysql主从复制
44 1
|
12天前
|
运维 DataWorks 关系型数据库
DataWorks产品使用合集之DataWorks还有就是对于mysql中的表已经存在数据了,第一次全量后面增量同步的步骤如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
28 2
|
3天前
|
存储 算法 关系型数据库
MySQL连接的原理⭐️4种优化连接的手段性能提升240%🚀
MySQL连接的原理⭐️4种优化连接的手段性能提升240%🚀
|
3天前
|
SQL canal 运维
MySQL高可用架构探秘:主从复制剖析、切换策略、延迟优化与架构选型
MySQL高可用架构探秘:主从复制剖析、切换策略、延迟优化与架构选型
|
3天前
|
SQL 存储 关系型数据库
MySQL查询原理,看这一篇就够了!
MySQL查询原理,看这一篇就够了!
|
4天前
|
运维 负载均衡 关系型数据库
MySQL高可用解决方案演进:从主从复制到InnoDB Cluster架构
MySQL高可用解决方案演进:从主从复制到InnoDB Cluster架构
|
12天前
|
设计模式 容灾 关系型数据库
MySQL 主从复制架构
MySQL 主从复制架构