深入理解MySQL主从原理专栏 发布

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: 相信作为一名DBA来讲MySQL主从一直都是一个绕不开的话题,我们在很多高可用构架中都能看到它的身影。在我们心中一定都或多或少的产生过一些疑问,比如: 主从延迟为什么会高? 主从延迟为什么一直不动? 主从延迟为什么瞬间跳动? 延迟为0就一定代表没有延迟吗? 从库异常重启为什么会报错? 从库能和主库一样利用索引吗? MTS是如何提高从库应用效率的? 为什么会有那么多和从库相关的sync参数,我该怎么配置? mysql.gtid_executed表有什么用?...... 这个系列就是想通过描述主从原理,抽丝剥茧解开大家对这些问题的疑惑。

相信作为一名DBA来讲MySQL主从一直都是一个绕不开的话题,我们在很多高可用构架中都能看到它的身影。在我们心中一定都或多或少的产生过一些疑问,比如:

  • 主从延迟为什么会高?
  • 主从延迟为什么一直不动?
  • 主从延迟为什么瞬间跳动?
  • 延迟为0就一定代表没有延迟吗?
  • 从库异常重启为什么会报错?
  • 从库能和主库一样利用索引吗?
  • MTS是如何提高从库应用效率的?
  • 为什么会有那么多和从库相关的sync参数,我该怎么配置?
  • mysql.gtid_executed表有什么用?
    ......

这个系列就是想通过描述主从原理,抽丝剥茧解开大家对这些问题的疑惑。我认为如果要深入学习主从原理需要按照一定的顺序进行学习,如果不知道GTID、不知道Event、不知道主库如何生成Event的,那么肯定不能深入理解主从原理 ,因此本系列按照这种顺序讲解。本系列一共分为5个部分如下:

第一部分 GTID相关 第1节: GTID的基本概念
第2节: mysql.gtid_executed表/gtid_executed变量/gtid_purged变量的更改时机
第3节: GTID模块初始化简介和参数binlog_gtid_simple_recovery
第4节: GTID中的运维
第二部分 Event相关 第5节: Binary log Event 的总体格式
第6节: 重点Event FORMAT_DESCRIPTION_EVENT/PREVIOUS_GTIDS_LOG_EVENT
第7节: 重点Event GTID_LOG_EVENT
第8节: 重点Event QUERY_EVENT/MAP_EVENT
第9节: 重点Event WRITE_ROWS_EVENT/DELETE_ROWS_EVENT
第10节:重点Event UPDATE_ROWS_EVENT/XID_EVENT
第11节:参数binlog_row_image的影响
第12节:巧用Event发现问题
第三部分 主库相关 第13节:binlog cache简介
第14节:事务Event的生成和写入流程
第15节:MySQL层事务提交流程简析
第16节:基于WRITESET的并行复制方式
第17节:主库的DUMP线程
第18节:DUMP线程查找和过滤GTID的基本算法
第四部分 从库相关 第19节:从库MTS多线程并行回放(一)
第20节:从库MTS多线程并行回放(二)
第21节:MTS中GAP测试和参数slave_preserve_commit_order
第22节:从库的IO线程
第23节:从库的SQL线程(MTS协调线程)和参数sql_slave_skip_counter
第24节:从库数据的查找和参数slave_rows_search_algorithms
第25节:从库的关闭和恢复流程
第26节:合理的从库设置
第27节:从库Seconds_Behind_Master的计算方式
第28节:从库Seconds_Behind_Master延迟总结
第五部分 其他 第29节:线程简介和MySQL调试环境搭建
第30节:Delete与Insert 死锁案例分析
第31节:Innodb Buffer Pool的三种Page和链表
第32节:利用performance_schema获取造成死锁的语句

其中:

  • 前面29节由我独自编写。
  • 第30节和第31节分别由我的朋友杨奇龙和王航威编写,他们都是有赞的DBA,在平时的交流中我感到他们涉猎之广是我不能及的。
  • 第32节由我的同事田兴椿编写,在平时的工作和学习中他总是能找到一些让我诧异的案例,然后一起学习研究。

讨论范围和约定

本系列使用源码版本为Percona 5.7.22,因此讨论的范围肯定是5.7版本。
本系列虽然包含了主从中的大部分知识点,但是仍然有部分内容没有覆盖,如下:

  • 不覆盖半同步。
  • 只考虑master_info_repository和relay_log_info_repository设置为‘table’的情况。
  • 只考虑binlog_format设置为‘row’的情况。

本系列约定如下:

  • 行格式:binlog_format设置为‘row’。
  • 语句格式:binlog_format设置为‘statement’。
  • binary log:这里代表是我们常说的binlog物理文件。
  • order commit:代表的是‘MYSQL_BIN_LOG::ordered_commit’函数,因为本系列中使用频率很高因此做了简化。将会在15节详细它的流程。
  • GTID AUTO_POSITION MODE:代表主从使用的是GTID同时使用了master_auto_position=1。
  • POSITION MODE:代表主从使用的是传统的位点模式。
  • 单SQL线程:用来和MTS进行区分,代表只有一个SQL线程进行Event的应用。
  • MTS:‘multi-threaded slaves’的简称,包含一个协调线程和多个工作线程,Event由工作线程应用。

编写方式

在编写之初有些朋友建议我不写源码而有些朋友建议我多贴些代码,因此我做了一下综合,整个系列中我会给出一些源码接口和必要的源码证明,但是不会贴很多源码和栈帧。有些章节会包含一个笔记放到我的简书,这个笔记就是我学习的时候记录的源码调用顺序和一些栈帧供自己复习之用也供想了解源码的朋友查看,但是可读性不是那么好。如果对源码不感兴趣的朋友可以跳过这些源码接口和代码,我认为这并不会影响阅读的连续性。


从2016年开始八怪(本名高鹏)经常向我请教一些源码问题,可见八怪是一个对源码非常执着的人。纵观整个目录覆盖了主从的方方面面,希望他的这个系列能够让大家对主从原理有更加深入的理解。

————翟卫祥(网名印风) 阿里云智能数据库产品事业部高级MySQL内核专家


和八怪(本名叫高鹏)认识,源于他的一位同事参加了知数堂的MySQL课程,学习之余和八怪有些交流互动,对一些观点有些探讨,然后就顺理成章的认识了。八怪原本是ORACLE DBA,但他接触MySQL之后,开始对MySQL各种深入探究,这种学习的态度和方法令我折服,也反过来促进我更深入理解MySQL。
为了更好理解InnoDB引擎,八怪还曾经开发了bctool、bcview和innblock等几个工具(还有些是我不知道的),其中innblock工具的开发我也作为“产品经理”帮忙提了一些建议,这个工具发布后,也在我的公众号帮忙隆重的推了一波:innblock | InnoDB page观察利器。
自从听闻八怪要写专栏,我就一直关注着进展,偶尔也会帮忙提些建议。这个专栏主要内容是MySQL主从复制相关的内容,从源码层面深入解析MySQL主从复制的方方面面,略有遗憾的是本书没有涉及半同步复制、组复制这两方面的热门内容,期待八怪在未来能有精力增加这两大块知识点。

————叶金荣 MySQL ACE、知数堂联合创始人


高鹏是一位做事非常专注而且动手能力超强的人。其中有一件事情我印象特别深刻,在通过和我交流MGR高可用节点选择后,不到两周时间,又给我讲他实现了一个MGR vip漂移的Python脚本。他先后实现了InnoDB的Page分析,MySQL InnoDB加锁分析,又开始转战努力写作本系列,通过本系列的目录可以看到高鹏基本把复制相关原理做了一个彻底的分析,对于想深入理解MySQL复制及Binlog相关内容的朋友来说是一个不可多得的学习资料。

————吴炳锡 知数堂联合创始人


作为一个曾今混迹于itpub的老人,拜读过不少高鹏的Oracle方面的文章。偶然之间发现其转战MySQL领域,并攥写了大量原理性剖析的文章,印象较为深刻的是几篇关于MDL lock的源码层面的解析,读完后感觉豁然开朗。开源数据库目前越来越火,尤其以MySQL表现最为抢眼,如果要深入学习MySQL主从原理,本系列实在是不可多得的资料,强烈推荐之!

————李真旭 Oracle ACE 云和恩墨服务产品群总经理


认识高鹏源于ITPUB blog 专家推荐,初识于Oracle技术,随后MySQL技术兴起,大家转战MySQL,高鹏兄侧重源码剖析,对各种疑难杂症分析入木三分,热心帮助很多网友解决各种问题。现在他将自己对MySQL 主从复制部分源码的解读汇总成系列文章分享给大家。细细品读,必定受益良多。

————杨奇龙 杭州有赞科技DBA,公众号yangyidba作者

购买可联系我 wx:gaopp_22389860

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
9天前
|
关系型数据库 MySQL Linux
MySQL原理简介—6.简单的生产优化案例
本文介绍了数据库和存储系统的几个主题: 1. **MySQL日志的顺序写和数据文件的随机读指标**:解释了磁盘随机读和顺序写的原理及对数据库性能的影响。 2. **Linux存储系统软件层原理及IO调度优化原理**:解析了Linux存储系统的分层架构,包括VFS、Page Cache、IO调度等,并推荐使用deadline算法优化IO调度。 3. **数据库服务器使用的RAID存储架构**:介绍了RAID技术的基本概念及其如何通过多磁盘阵列提高存储容量和数据冗余性。 4. **数据库Too many connections故障定位**:分析了MySQL连接数限制问题的原因及解决方法。
|
2月前
|
存储 SQL 关系型数据库
MySQL进阶突击系列(03) MySQL架构原理solo九魂17环连问 | 给大厂面试官的一封信
本文介绍了MySQL架构原理、存储引擎和索引的相关知识点,涵盖查询和更新SQL的执行过程、MySQL各组件的作用、存储引擎的类型及特性、索引的建立和使用原则,以及二叉树、平衡二叉树和B树的区别。通过这些内容,帮助读者深入了解MySQL的工作机制,提高数据库管理和优化能力。
|
10天前
|
SQL Java 关系型数据库
MySQL原理简介—3.生产环境的部署压测
本文介绍了Java系统和数据库在高并发场景下的压测要点: 1. 普通系统在4核8G机器上每秒能处理几百个请求 2. 高并发下数据库建议使用8核16G或更高配置的机器 3. 数据库部署后需进行基准压测,以评估其最大承载能力 4. QPS和TPS的区别及重要性 5. 压测时需关注IOPS、吞吐量、延迟 6. 除了QPS和TPS,还需监控CPU、内存、磁盘IO、网络带宽 7. 影响每秒可处理并发请求数的因素包括线程数、CPU、内存、磁盘IO和网络带宽 8. Sysbench是数据库压测工具,可构造测试数据并模拟高并发场景 9. 在增加线程数量的同时,必须观察机器的性能,确保各硬件负载在合理范围
113 72
|
12天前
|
SQL 存储 关系型数据库
MySQL原理简介—1.SQL的执行流程
本文介绍了MySQL驱动、数据库连接池及SQL执行流程的关键组件和作用。主要内容包括:MySQL驱动用于建立Java系统与数据库的网络连接;数据库连接池提高多线程并发访问效率;MySQL中的连接池维护多个数据库连接并进行权限验证;网络连接由线程处理,监听请求并读取数据;SQL接口负责执行SQL语句;查询解析器将SQL语句解析为可执行逻辑;查询优化器选择最优查询路径;存储引擎接口负责实际的数据操作;执行器根据优化后的执行计划调用存储引擎接口完成SQL语句的执行。整个流程确保了高效、安全地处理SQL请求。
132 75
|
7天前
|
SQL 存储 关系型数据库
MySQL原理简介—9.MySQL索引原理
本文详细介绍了MySQL索引的设计与使用原则,涵盖磁盘数据页的存储结构、页分裂机制、主键索引设计及查询过程、聚簇索引和二级索引的原理、B+树索引的维护、联合索引的使用规则、SQL排序和分组时如何利用索引、回表查询对性能的影响以及索引覆盖的概念。此外还讨论了索引设计的案例,包括如何处理where筛选和order by排序之间的冲突、低基数字段的处理方式、范围查询字段的位置安排,以及通过辅助索引来优化特定查询场景。总结了设计索引的原则,如尽量包含where、order by、group by中的字段,选择离散度高的字段作为索引,限制索引数量,并针对频繁查询的低基数字段进行特殊处理等。
MySQL原理简介—9.MySQL索引原理
|
5天前
|
存储 关系型数据库 MySQL
MySQL底层概述—6.索引原理
本文详细回顾了:索引原理、二叉查找树、平衡二叉树(AVL树)、红黑树、B-Tree、B+Tree、Hash索引、聚簇索引与非聚簇索引。
MySQL底层概述—6.索引原理
|
7天前
|
SQL 监控 关系型数据库
MySQL原理简介—12.MySQL主从同步
本文介绍了四种为MySQL搭建主从复制架构的方法:异步复制、半同步复制、GTID复制和并行复制。异步复制通过配置主库和从库实现简单的主从架构,但存在数据丢失风险;半同步复制确保日志复制到从库后再提交事务,提高了数据安全性;GTID复制简化了配置过程,增强了复制的可靠性和管理性;并行复制通过多线程技术降低主从同步延迟,保证数据一致性。此外,还讨论了如何使用工具监控主从延迟及应对策略,如强制读主库以确保即时读取最新数据。
MySQL原理简介—12.MySQL主从同步
|
9天前
|
SQL 缓存 关系型数据库
MySQL原理简介—7.redo日志的底层原理
本文介绍了MySQL中redo日志和undo日志的主要内容: 1. redo日志的意义:确保事务提交后数据不丢失,通过记录修改操作并在系统宕机后重做日志恢复数据。 2. redo日志文件构成:记录表空间号、数据页号、偏移量及修改内容。 3. redo日志写入机制:redo日志先写入Redo Log Buffer,再批量刷入磁盘文件,减少随机写以提高性能。 4. Redo Log Buffer解析:描述Redo Log Buffer的内存结构及刷盘时机,如事务提交、Buffer过半或后台线程定时刷新。 5. undo日志原理:用于事务回滚,记录插入、删除和更新前的数据状态,确保事务可完整回滚。
|
8天前
|
SQL 缓存 关系型数据库
MySQL原理简介—8.MySQL并发事务处理
这段内容深入探讨了SQL语句执行原理、事务并发问题、MySQL事务隔离级别及其实现机制、锁机制以及数据库性能优化等多个方面。
|
11天前
|
存储 SQL 缓存
MySQL原理简介—2.InnoDB架构原理和执行流程
本文介绍了MySQL中更新语句的执行流程及其背后的机制,主要包括: 1. **更新语句的执行流程**:从SQL解析到执行器调用InnoDB存储引擎接口。 2. **Buffer Pool缓冲池**:缓存磁盘数据,减少磁盘I/O。 3. **Undo日志**:记录更新前的数据,支持事务回滚。 4. **Redo日志**:确保事务持久性,防止宕机导致的数据丢失。 5. **Binlog日志**:记录逻辑操作,用于数据恢复和主从复制。 6. **事务提交机制**:包括redo日志和binlog日志的刷盘策略,确保数据一致性。 7. **后台IO线程**:将内存中的脏数据异步刷入磁盘。