【阿里数据库面试题解】MySQL高可用原理(上)

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
简介: 在一个主备关系中,每个备库接收主库的binlog并执行。正常情况下,只要主库执行更新生成的所有binlog,都可以传到备库并被正确执行,备库就能达到跟主库一致的状态,这就是最终一致性。

在一个主备关系中,每个备库接收主库的binlog并执行。

正常情况下,只要主库执行更新生成的所有binlog,都可以传到备库并被正确执行,备库就能达到跟主库一致的状态,这就是最终一致性

但MySQL要提供高可用能力,只有最终一致性还不够。为什么呢?

  • MySQL主备切换流程–双M结构
  • 12.png

主备延迟

主备切换可能是:

  • 主动运维动作
    比如软件升级、主库所在机器按计划下线等
  • 被动操作
    比如主库所在机器掉电。

同步延迟

与数据同步有关的时间点主要包括以下三个:

  1. 主库A执行完成一个事务,写入binlog,该时刻记为t1
  2. 之后传给备库B,备库B接收完该binlog的时刻记为t2
  3. 备库B执行完成该事务,该时刻记为t3

主备延迟,就是同一事务,在 备库执行完成的时间主库执行完成的时间 之间的差值,即t3-t1。

可以在备库执行show slave status,它的返回结果会显示SBM(简称 SBM),表示当前备库延迟了多少s。

SBM 计算方法:

  1. 每个事务的binlog都有一一个时间字段,以记录主库上写入的时间
  1. 备库取出当前正在执行的事务的时间字段的值,计算它与当前系统时间的差值,得到SBM

其实SBM就是t3-t1。所以,可以用SBM作为主备延迟的值,这个值的时间精度是s。

  • 若主备库机器的系统时间设置不一致,不会导致主备延迟的值不准吗?
    不会的。因为,备库连接到主库时,会通过执行SELECT UNIX_TIMESTAMP()函数获得当前主库系统时间。若此时发现主库系统时间与自己不一致,备库在执行SBM计算时,会自动扣掉该差值。

在网络正常时,日志从主库传给备库所需时间很短,即t2-t1非常小。即网络正常情况下,主备延迟的主要来源是备库接收完binlog和执行完该事务之间的时间差。

所以主备延迟最直接的表现是,备库消费中转日志(relay log)的速度,比主库生产binlog的速度要慢。这可能是由哪些原因导致的呢?

主备延迟的来源

备库所在机器的性能 < 主库所在的机器性能

部署的人会想,反正备库没有请求,所以可以用差点儿的机器。或把20个主库放在4台机器,而把备库集中在一台机器。


但更新请求对IOPS的压力,在主库和备库上是无差别的。所以,做这种部署时,一般都会将备库设置为“非双1”模式。


但实际上,更新过程中也会触发大量读操作。所以,当备库主机上的多个备库都在争抢资源时,就可能导致主备延迟。


这种部署现在少了。因为主备可能发生切换,备库随时可能变成主库,所以主备库必须选用相同规格机器,并且做对称部署。

我们也做了对称部署,但还有延迟,为啥?

很可能备库的压力大。主库既然提供了写能力,那么备库可以提供一些读能力。或一些运营后台需要的分析语句,不能影响正常业务,所以只能在备库上跑。

由于主库直接影响业务,大家使用起来会比较克制,反而忽视了备库的压力控制。结果备库上的查询耗费大量CPU,影响同步速度 =》主备延迟。

这时一般可以这么处理:

  • 一主多从
    除了备库外,可以多接几个从库,让这些从库来分担读压力。大多采用该方案,因为数据库系统必须保证有定期全量备份能力。而从库,很适合用来做备份。
  • 通过binlog输出到外部系统
    比如Hadoop,让外部系统提供统计类查询的能力。


从库和备库在概念上其实差不多。一般把会在HA过程中被选成新主库的,称为备库,其他的称为从库。

我们也采用了一主多从,保证备库压力不会超过主库,但还主备延迟,为啥?

可能就是大事务了。因为在主库,必须等事务执行完成才会写binlog,再传给备库。所以,若一个主库的语句执行10min,则该事务可能就会导致从库延迟10min。


delete一次性删除太多数据

比如,一些归档类数据,平时没有注意删除历史数据,等空间快满,SE要一次性删大量历史数据。又要避免在高峰期,所以会在

晚上执行这些大量数据删除。

结果,DBA半夜收到延迟报警。然后,DBA要求你后续再删数据时,要控制每个事务删除的数据量,分成多次删除。

大表DDL

计划内的DDL,建议使用gh-ost方案

我们主库也没大事务,怎么还主备延迟?

可能因为备库的并行复制能力。

其他情况

TODO。

由于主备延迟的存在,所以在主备切换时,就有不同

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
29天前
|
存储 关系型数据库 MySQL
阿里面试:为什么要索引?什么是MySQL索引?底层结构是什么?
尼恩是一位资深架构师,他在自己的读者交流群中分享了关于MySQL索引的重要知识点。索引是帮助MySQL高效获取数据的数据结构,主要作用包括显著提升查询速度、降低磁盘I/O次数、优化排序与分组操作以及提升复杂查询的性能。MySQL支持多种索引类型,如主键索引、唯一索引、普通索引、全文索引和空间数据索引。索引的底层数据结构主要是B+树,它能够有效支持范围查询和顺序遍历,同时保持高效的插入、删除和查找性能。尼恩还强调了索引的优缺点,并提供了多个面试题及其解答,帮助读者在面试中脱颖而出。相关资料可在公众号【技术自由圈】获取。
|
9天前
|
SQL 关系型数据库 MySQL
阿里面试:1000万级大表, 如何 加索引?
45岁老架构师尼恩在其读者交流群中分享了如何在生产环境中给大表加索引的方法。文章详细介绍了两种索引构建方式:在线模式(Online DDL)和离线模式(Offline DDL),并深入探讨了 MySQL 5.6.7 之前的“影子策略”和 pt-online-schema-change 方案,以及 MySQL 5.6.7 之后的内部 Online DDL 特性。通过这些方法,可以有效地减少 DDL 操作对业务的影响,确保数据的一致性和完整性。尼恩还提供了大量面试题和解决方案,帮助读者在面试中充分展示技术实力。
|
11天前
|
SQL 关系型数据库 MySQL
12 PHP配置数据库MySQL
路老师分享了PHP操作MySQL数据库的方法,包括安装并连接MySQL服务器、选择数据库、执行SQL语句(如插入、更新、删除和查询),以及将结果集返回到数组。通过具体示例代码,详细介绍了每一步的操作流程,帮助读者快速入门PHP与MySQL的交互。
26 1
|
13天前
|
SQL 关系型数据库 MySQL
go语言数据库中mysql驱动安装
【11月更文挑战第2天】
29 4
|
20天前
|
监控 关系型数据库 MySQL
数据库优化:MySQL索引策略与查询性能调优实战
【10月更文挑战第27天】本文深入探讨了MySQL的索引策略和查询性能调优技巧。通过介绍B-Tree索引、哈希索引和全文索引等不同类型,以及如何创建和维护索引,结合实战案例分析查询执行计划,帮助读者掌握提升查询性能的方法。定期优化索引和调整查询语句是提高数据库性能的关键。
95 1
|
22天前
|
关系型数据库 MySQL Linux
在 CentOS 7 中通过编译源码方式安装 MySQL 数据库的详细步骤,包括准备工作、下载源码、编译安装、配置 MySQL 服务、登录设置等。
本文介绍了在 CentOS 7 中通过编译源码方式安装 MySQL 数据库的详细步骤,包括准备工作、下载源码、编译安装、配置 MySQL 服务、登录设置等。同时,文章还对比了编译源码安装与使用 RPM 包安装的优缺点,帮助读者根据需求选择最合适的方法。通过具体案例,展示了编译源码安装的灵活性和定制性。
65 2
|
25天前
|
存储 关系型数据库 MySQL
MySQL vs. PostgreSQL:选择适合你的开源数据库
在众多开源数据库中,MySQL和PostgreSQL无疑是最受欢迎的两个。它们都有着强大的功能、广泛的社区支持和丰富的生态系统。然而,它们在设计理念、性能特点、功能特性等方面存在着显著的差异。本文将从这三个方面对MySQL和PostgreSQL进行比较,以帮助您选择更适合您需求的开源数据库。
96 4
|
7天前
|
运维 关系型数据库 MySQL
安装MySQL8数据库
本文介绍了MySQL的不同版本及其特点,并详细描述了如何通过Yum源安装MySQL 8.4社区版,包括配置Yum源、安装MySQL、启动服务、设置开机自启动、修改root用户密码以及设置远程登录等步骤。最后还提供了测试连接的方法。适用于初学者和运维人员。
64 0
|
21天前
|
监控 关系型数据库 MySQL
数据库优化:MySQL索引策略与查询性能调优实战
【10月更文挑战第26天】数据库作为现代应用系统的核心组件,其性能优化至关重要。本文主要探讨MySQL的索引策略与查询性能调优。通过合理创建索引(如B-Tree、复合索引)和优化查询语句(如使用EXPLAIN、优化分页查询),可以显著提升数据库的响应速度和稳定性。实践中还需定期审查慢查询日志,持续优化性能。
49 0
|
3月前
|
存储 Java
【IO面试题 四】、介绍一下Java的序列化与反序列化
Java的序列化与反序列化允许对象通过实现Serializable接口转换成字节序列并存储或传输,之后可以通过ObjectInputStream和ObjectOutputStream的方法将这些字节序列恢复成对象。
下一篇
无影云桌面