mysql主从复制原理及存在的问题

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: 主从复制的原理 当从库执行CHANGE MASTER TO 后从库生成两个线程I/O thread和SQL thread。I/O线程与主库进行连接,请求主库的binlog。

这里写图片描述
主从复制的原理
当从库执行CHANGE MASTER TO 后

  • 从库

    • 生成两个线程I/O thread和SQL thread。
    • I/O线程与主库进行连接,请求主库的binlog。接收到binlog后,会存储到relay log中(中继日志)
    • SQL线程会解析中继日志,并在从库上进行应用
  • 主库

    • 接到I/O线程的请求,会生成一个binlog dump thread。负责把binlog给从库的I/O线程。

查看主库的线程

mysql> show processlist\G
*************************** 1. row ***************************
     Id: 5
   User: repl
   Host: miles22:44755
     db: NULL
Command: Binlog Dump
   Time: 1777
  State: Master has sent all binlog to slave; waiting for binlog to be updated
   Info: NULL
...

查看从库的线程

mysql> show processlist\G
...
#I/O线程
*************************** 2. row ***************************
     Id: 9
   User: system user
   Host: 
     db: NULL
Command: Connect
   Time: 1911
  State: Waiting for master to send event
   Info: NULL
#SQL线程
*************************** 3. row ***************************
     Id: 10
   User: system user
   Host: 
     db: NULL
Command: Connect
   Time: 1252
  State: Slave has read all relay log; waiting for the slave I/O thread to update it
   Info: NULL

查看从库的中继日志

#miles-relay-bin为中继日志
[root@miles22 mysql]# ll
total 112512
-rw-rw----. 1 mysql mysql       56 Dec  3 13:54 auto.cnf
drwx------. 2 mysql mysql     4096 Dec  5 17:39 db1
-rw-rw----. 1 mysql mysql    20933 Dec  5 17:54 error.log
-rw-rw----. 1 mysql mysql 12582912 Dec  5 18:00 ibdata1
-rw-rw----. 1 mysql mysql 50331648 Dec  5 18:00 ib_logfile0
-rw-rw----. 1 mysql mysql 50331648 Dec  3 13:49 ib_logfile1
-rw-rw----. 1 mysql mysql      129 Dec  5 18:05 master.info
-rw-rw----. 1 mysql mysql        6 Dec  3 14:00 miles.pid
-rw-rw----. 1 mysql mysql      173 Dec  5 17:54 miles-relay-bin.000001
-rw-rw----. 1 mysql mysql      870 Dec  5 18:05 miles-relay-bin.000002
-rw-rw----. 1 mysql mysql       50 Dec  5 17:54 miles-relay-bin.index
drwx------. 2 mysql mysql     4096 Dec  5 17:39 mysql
-rw-rw----. 1 mysql mysql    65420 Dec  3 13:49 mysql-bin.000001
-rw-rw----. 1 mysql mysql  1176237 Dec  3 13:49 mysql-bin.000002
-rw-rw----. 1 mysql mysql      143 Dec  3 13:54 mysql-bin.000003
-rw-rw----. 1 mysql mysql      120 Dec  3 14:00 mysql-bin.000004
-rw-rw----. 1 mysql mysql     2063 Dec  3 20:29 mysql-bin.000005
-rw-rw----. 1 mysql mysql   626058 Dec  5 17:39 mysql-bin.000006
-rw-rw----. 1 mysql mysql      174 Dec  3 20:29 mysql-bin.index
drwx------. 2 mysql mysql     4096 Dec  3 13:49 performance_schema
-rw-rw----. 1 mysql mysql       59 Dec  5 18:05 relay-log.info

[root@miles22 mysql]# more master.info
23
mysql-bin.000013
1115
192.168.137.21
repl
beijing
3333
60
0





0
1800.000

0
831d7c7e-982b-11e5-adcc-00505638f3db
86400


0

[root@miles22 mysql]# more relay-log.info
7
./miles-relay-bin.000002 #中继日志位置点
870
mysql-bin.000013
1115 #从库复制到这
0
0
1

主从复制存在的问题

  • 主库宕机后,数据可能丢失
mysql主从复制是异步的,不需要等待从库复制成功后再返回。
  • 从库只有一个SQL线程,主库写压力大,复制很可能延时
从库应用日志的线程只有SQL线程一个,而主库同时接受很多线程进行读写。当主库压力大时,从库很可能落后主库
  • 解决方法:
    • 半同步复制(可有效解决数据丢失的问题)
    • 并行复制 (可以让从库同时启动更多的线程去应用binlog)
相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
2月前
|
SQL 关系型数据库 MySQL
mysql主从复制概述和配置
【10月更文挑战第22天】MySQL 主从复制是一种将主服务器的数据复制到一个或多个从服务器的技术,实现读写分离,提高系统性能和可用性。主服务器记录变更日志,从服务器通过 I/O 和 SQL 线程读取并应用这些变更。适用于读写分离、数据备份和恢复、数据分析等场景。配置步骤包括修改配置文件、创建复制用户、配置从服务器连接主服务器并启动复制进程。
|
2月前
|
监控 关系型数据库 MySQL
深入了解MySQL主从复制:构建高效稳定的数据同步架构
深入了解MySQL主从复制:构建高效稳定的数据同步架构
130 1
|
9天前
|
SQL 存储 关系型数据库
MySQL进阶突击系列(01)一条简单SQL搞懂MySQL架构原理 | 含实用命令参数集
本文从MySQL的架构原理出发,详细介绍其SQL查询的全过程,涵盖客户端发起SQL查询、服务端SQL接口、解析器、优化器、存储引擎及日志数据等内容。同时提供了MySQL常用的管理命令参数集,帮助读者深入了解MySQL的技术细节和优化方法。
|
2月前
|
存储 关系型数据库 MySQL
MySQL主从复制原理和使用
本文介绍了MySQL主从复制的基本概念、原理及其实现方法,详细讲解了一主两从的架构设计,以及三种常见的复制模式(全同步、异步、半同步)的特点与适用场景。此外,文章还提供了Spring Boot环境下配置主从复制的具体代码示例,包括数据源配置、上下文切换、路由实现及切面编程等内容,帮助读者理解如何在实际项目中实现数据库的读写分离。
MySQL主从复制原理和使用
|
2月前
|
缓存 算法 关系型数据库
Mysql(3)—数据库相关概念及工作原理
数据库是一个以某种有组织的方式存储的数据集合。它通常包括一个或多个不同的主题领域或用途的数据表。
69 5
Mysql(3)—数据库相关概念及工作原理
|
2月前
|
存储 缓存 关系型数据库
MySQL事务日志-Redo Log工作原理分析
事务的隔离性和原子性分别通过锁和事务日志实现,而持久性则依赖于事务日志中的`Redo Log`。在MySQL中,`Redo Log`确保已提交事务的数据能持久保存,即使系统崩溃也能通过重做日志恢复数据。其工作原理是记录数据在内存中的更改,待事务提交时写入磁盘。此外,`Redo Log`采用简单的物理日志格式和高效的顺序IO,确保快速提交。通过不同的落盘策略,可在性能和安全性之间做出权衡。
1674 14
|
2月前
|
SQL 关系型数据库 MySQL
Mysql中搭建主从复制原理和配置
主从复制在数据库管理中广泛应用,主要优点包括提高性能、实现高可用性、数据备份及灾难恢复。通过读写分离、从服务器接管、实时备份和地理分布等机制,有效增强系统的稳定性和数据安全性。主从复制涉及I/O线程和SQL线程,前者负责日志传输,后者负责日志应用,确保数据同步。配置过程中需开启二进制日志、设置唯一服务器ID,并创建复制用户,通过CHANGE MASTER TO命令配置从服务器连接主服务器,实现数据同步。实验部分展示了如何在两台CentOS 7服务器上配置MySQL 5.7主从复制,包括关闭防火墙、配置静态IP、设置域名解析、配置主从服务器、启动复制及验证同步效果。
Mysql中搭建主从复制原理和配置
|
2月前
|
SQL 关系型数据库 MySQL
阿里面试:MYSQL 事务ACID,底层原理是什么? 具体是如何实现的?
尼恩,一位40岁的资深架构师,通过其丰富的经验和深厚的技術功底,为众多读者提供了宝贵的面试指导和技术分享。在他的读者交流群中,许多小伙伴获得了来自一线互联网企业的面试机会,并成功应对了诸如事务ACID特性实现、MVCC等相关面试题。尼恩特别整理了这些常见面试题的系统化解答,形成了《MVCC 学习圣经:一次穿透MYSQL MVCC》PDF文档,旨在帮助大家在面试中展示出扎实的技术功底,提高面试成功率。此外,他还编写了《尼恩Java面试宝典》等资料,涵盖了大量面试题和答案,帮助读者全面提升技术面试的表现。这些资料不仅内容详实,而且持续更新,是求职者备战技术面试的宝贵资源。
阿里面试:MYSQL 事务ACID,底层原理是什么? 具体是如何实现的?
|
2月前
|
存储 SQL 关系型数据库
mysql中主键索引和联合索引的原理与区别
本文详细介绍了MySQL中的主键索引和联合索引原理及其区别。主键索引按主键值排序,叶节点仅存储数据区,而索引页则存储索引和指向数据域的指针。联合索引由多个字段组成,遵循最左前缀原则,可提高查询效率。文章还探讨了索引扫描原理、索引失效情况及设计原则,并对比了InnoDB与MyISAM存储引擎中聚簇索引和非聚簇索引的特点。对于优化MySQL性能具有参考价值。
|
3月前
|
存储 关系型数据库 MySQL
分析MySQL主从复制中AUTO_INCREMENT值不一致的问题
通过对 `AUTO_INCREMENT`不一致问题的深入分析和合理应对措施的实施,可以有效地维护MySQL主从复制环境中数据的一致性和完整性,确保数据库系统的稳定性和可靠性。
118 6