mysql 主从复制的 工作原理

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
日志服务 SLS,月写入数据量 50GB 1个月
简介: mysql 主从复制原理主从形式 mysql主从复制 灵活一主一从主主复制一主多从---扩展系统读取的性能,因为读是在从库读取的;多主一从---5.7开始支持联级复制---  用途及条件 mysql主从复制用途实时灾备,用于故障切换读写分离,...

mysql 主从复制原理


主从形式


 

mysql主从复制 灵活

  • 一主一从

  • 主主复制

  • 一主多从---扩展系统读取的性能,因为读是在从库读取的;

  • 多主一从---5.7开始支持

  • 联级复制---

spacer.gif

 

 

用途及条件


 

mysql主从复制用途

  • 实时灾备,用于故障切换

  • 读写分离,提供查询服务

  • 备份,避免影响业务

 

主从部署必要条件:

  • 主库开启binlog日志(设置log-bin参数)

  • 主从server-id不同

  • 从库服务器能连通主库

 

主从原理


mysql主从复制原理

spacer.gif

 

 

从库生成两个线程,一个I/O线程,一个SQL线程;

 

i/o线程去请求主库 的binlog,并将得到的binlog日志写到relay log(中继日志) 文件中;

主库会生成一个 log dump 线程,用来给从库 i/o线程传binlog;

 

SQL 线程,会读取relay log文件中的日志,并解析成具体操作,来实现主从的操作一致,而最终数据一致;

 

问题及解决方法


 

mysql主从复制存在的问题:

  • 主库宕机后,数据可能丢失

  • 从库只有一个sql Thread,主库写压力大,复制很可能延时

 

解决方法:

  • 半同步复制---解决数据丢失的问题

  • 并行复制----解决从库复制延迟的问题

 

半同步复制


 

mysql semi-sync(半同步复制)

半同步复制:

  • 5.5集成到mysql,以插件的形式存在,需要单独安装

  • 确保事务提交后binlog至少传输到一个从库

  • 不保证从库应用完这个事务的binlog

  • 性能有一定的降低,响应时间会更长

  • 网络异常或从库宕机,卡主主库,直到超时或从库恢复

 

主从复制--异步复制原理

 

spacer.gif

半同步复制原理:

spacer.gif

 

 

并行复制


 

mysql并行复制

  • 社区版5.6中新增

  • 并行是指从库多线程apply binlog

  • 库级别并行应用binlog,同一个库数据更改还是串行的(5.7版并行复制基于事务组)

设置

set global slave_parallel_workers=10;

设置sql线程数为10

 

 

其他


 

部分数据复制

主库添加参数:

binlog_do_db=db1
binlog_ignore_db=db1
binlog_ignore_db=db2

或从库添加参数

replicate_do_db=db1
replicate_ignore_db=db1
replicate_do_table=db1.t1
replicate_wild_do_table=db%.%replicate_wild_ignore_table=db1.%

 

联级复制(常用)

A->B->C

B中添加参数:

log_slave_updates
B将把A的binlog记录到自己的binlog日志中

 

复制的监控:

show  slave status \G

 

复制出错处理

常见:1062(主键冲突),1032(记录不存在)

解决:

  • 手动处理

  • 跳过复制错误:set global sql_slave_skip_counter=1

 

 

 

总结


 

  • 主从形式


    • 一主一从

    • 一主多从--扩展系统读取性能

    • 多主一从--5.7开始支持

    • 主主复制

    • 联级复制

  • 用途:实时灾备的故障切换,读写分离,备份

  • 原理


    • i/o线程接受读取binlog,并写入relay log文件

    • sql线程从relay log 文件中读取binlog并持久化

    • 主:log dump线程传binlog;


  • 问题及解决


    • 并行复制

    • 半同步复制

    • 主库宕机后,数据丢失


    • 主库写压力大,因从库只有一个sql 线程来持久化,复制可能延迟


  • 半同步复制:


    • 事务在主库写完binlog后需要从库返回一个已接受,才放回给客户端;

    • 原理


    • 5.5集成到mysql,以插件的形式存在,需要单独安装

    • 确保事务提交后binlog至少传输到一个从库

    • 不保证从库应用完成这个事务的binlog

    • 性能有一定的降低

    • 网络异常或从库宕机,卡主库,直到超时或从库恢复

  • 并行复制


    • 原理:从库多线程apply binlog

    • 在社区5.6中新增

    • 库级别并行应用binlog,同一个库数据更改还是串行的

    • 5.7版本并行复制基于事务组

  • 部分数据复制

  • 联级复制(常用)


    • A->B->C

    • B中添加参数log_slave_updates

    • B将把A的binlog记录到自己的binlog日志中

  • 复制的监控


    • show slave status

  • 复制出错处理


    • 手动处理

    • 跳过复制错误:set global sql_slave_skip_counter=1

    • 常见:1062(主键冲突),1032(记录不存在)

    • 解决:


  • mysql主从复制是mysql高可用性,高性能(负载均衡)的基础

  • 简单,灵活,部署方式多样,可以根据不同业务场景部署不同复制结构

  • 复制过程中应该时刻监控复制状态,复制出错或延时可能给系统造成影响

  • mysql主从复制目前也存在一些问题,可以根据需要部署复制增强功能


相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
26天前
|
SQL 关系型数据库 MySQL
说一下MySQL主从复制的原理?
【8月更文挑战第24天】说一下MySQL主从复制的原理?
47 0
|
1月前
|
SQL 关系型数据库 MySQL
Mysql原理与调优-事务与MVCC
【8月更文挑战第19天】
|
1月前
|
存储 SQL 关系型数据库
深入MySQL锁机制:原理、死锁解决及Java防范技巧
深入MySQL锁机制:原理、死锁解决及Java防范技巧
|
2月前
|
存储 SQL 关系型数据库
(六)MySQL索引原理篇:深入数据库底层揭开索引机制的神秘面纱!
《索引原理篇》它现在终于来了!但对于索引原理及底层实现,相信大家多多少少都有了解过,毕竟这也是面试过程中出现次数较为频繁的一个技术点。在本文中就来一窥`MySQL`索引底层的神秘面纱!
206 5
|
1月前
|
SQL canal 关系型数据库
(二十四)全解MySQL之主从篇:死磕主从复制中数据同步原理与优化
兜兜转转,经过《全解MySQL专栏》前面二十多篇的内容讲解后,基本对MySQL单机模式下的各方面进阶知识做了详细阐述,同时在前面的《分库分表概念篇》、《分库分表隐患篇》两章中也首次提到了数据库的一些高可用方案,但前两章大多属于方法论,并未涵盖真正的实操过程。接下来的内容,会以目前这章作为分割点,开启MySQL高可用方案的落地实践分享的新章程!
637 1
|
2月前
|
SQL 关系型数据库 MySQL
(七)MySQL事务篇:ACID原则、事务隔离级别及事务机制原理剖析
众所周知,MySQL数据库的核心功能就是存储数据,通常是整个业务系统中最重要的一层,可谓是整个系统的“大本营”,因此只要MySQL存在些许隐患问题,对于整个系统而言都是致命的。
|
2月前
|
SQL 算法 关系型数据库
(十)全解MySQL之死锁问题分析、事务隔离与锁机制的底层原理剖析
经过《MySQL锁机制》、《MySQL-MVCC机制》两篇后,咱们已经大致了解MySQL中处理并发事务的手段,不过对于锁机制、MVCC机制都并未与之前说到的《MySQL事务机制》产生关联关系,同时对于MySQL锁机制的实现原理也未曾剖析,因此本篇作为事务、锁、MVCC这三者的汇总篇,会在本章中补全之前空缺的一些细节,同时也会将锁、MVCC机制与事务机制之间的关系彻底理清楚。
|
1月前
|
canal 关系型数据库 MySQL
"揭秘阿里数据同步黑科技Canal:从原理到实战,手把手教你玩转MySQL数据秒级同步,让你的数据处理能力瞬间飙升,成为技术界的新晋网红!"
【8月更文挑战第18天】Canal是一款由阿里巴巴开源的高性能数据同步系统,它通过解析MySQL的增量日志(Binlog),提供低延迟、可靠的数据订阅和消费功能。Canal模拟MySQL Slave与Master间的交互协议来接收并解析Binary Log,支持数据的增量同步。配置简单直观,包括Server和Instance两层配置。在实战中,Canal可用于数据库镜像、实时备份等多种场景,通过集成Canal Client可实现数据的消费和处理,如更新缓存或写入消息队列。
257 0
|
3月前
|
存储 关系型数据库 MySQL
MySQL Change Buffer 深入解析:概念、原理及使用
MySQL Change Buffer 深入解析:概念、原理及使用
MySQL Change Buffer 深入解析:概念、原理及使用
|
2月前
|
存储 关系型数据库 MySQL
MySQL系列: undo和redo工作原理
MySQL系列: undo和redo工作原理

热门文章

最新文章