阿里三面当场懵逼:MySQL执行更新语句时做了什么?

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 RDS PostgreSQL,集群系列 2核4GB
简介: 阿里三面当场懵逼:MySQL执行更新语句时做了什么?

1 事前

  • 创建一个示例表
  • image.png
  • 插俩条数据
  • image.png
  • 更新一条数据
  • image.png

2 SQL语句基本执行流程

同样适用于更新语句。

  1. 执行语句前,先通过连接器连接DB
  2. 表上有更新时,此表有关查询缓存就会失效,所以该语句就会把表中的所有缓存置空
  3. 分析器通过词法、语法解析,哦原来这是一条更新语句
  4. 优化器决定使用id索引
  5. 执行器负责具体执行,找到这一行,更新之

与查询流程不同的是更新过程涉及两个日志模块:

  • redo log(重做日志)
  • binlog(归档日志)

3 redo log

赊账或还账时,一般有两种做法:

  • 直接拿出小本本,把这次赊的账加上或扣掉
  • 先在借条记下这次的账,等晚上下班了,再把小本本翻出来核算

在日常 996 强度下,我们肯定选后者,因为前者太麻烦:


首先,得从一堆记录找到这个人的赊账记录

找到了,再拿出计算器计算

最后,再将结果写回小本本

所以还是先在借条记一下方便。若我没有借条,每次记账都拿出小本本,效率岂不是低死啦?


MySQL也面对这种问题:若每次更新操作都直接写进磁盘,然后磁盘也要找到对应记录,然后再更新,整个过程I/O成本、搜索成本都很高。

何解?就采用我的借条思路。


借条和小本本的协作过程,就是MySQL的WAL(Write-Ahead Logging)。关键就在于:


先写日志(先写借条)

再写磁盘(不忙时,写小本本)

当一条记录需要更新,InnoDB先把记录写到redo log(借条),并更新内存,更新就算完成了。

InnoDB在适当时,将操作记录更新到磁盘,而这个更新往往是在系统比较空闲的时候做,这就像打烊以后掌柜做的事。


若今天欠钱的不多,我可以忙完了再整理。若某天欠钱的多了,借条写满了,怎么办?

放下手中活儿,把借条一部分欠款记录更新到账本,然后把这些记录从借条擦掉,为记新账腾出空间。


类似的InnoDB的redo log固定大小,比如可配置为一组4个文件,每个文件的大小是1GB,那么这块“借条”总共就可以记录4GB的操作。


从头开始写,写到末尾就又回到开头循环写

image.png

write pos是当前记录位置,一边写一边后移,写到第3号文件末尾后回到0号文件开头

checkpoint是当前要擦除位置,往后推移并且循环,擦除记录前要把记录更新到数据文件

write pos和checkpoint之间是“借条”上还空着的部分,用来记录新操作。若write pos追上checkpoint,“借条”满,不能再执行新的更新,得停下来先擦掉一些记录,checkpoint推进。

redo log可以保证即使数据库发生异常重启,不会丢失之前提交的记录,这叫crash-safe。

只要欠款记录记在借条或写在小本本上,之后即使我忘记了,比如突然停业,恢复生意后依然可以通过账本和粉板上的数据明确赊账账目。

4 binlog

  • MySQL Server层,负责MySQL功能层面
  • 引擎层,负责存储相关
  • 借条redo log是InnoDB引擎特有的日志,而Server层也有自己的日志,称为binlog(归档日志)。


为什么需要两份日志?

最开始MySQL并无InnoDB,自带的是MyISAM,没有crash-safe能力,binlog只能用于归档。

InnoDB是另一个公司以插件形式引入MySQL,只依靠binlog没有crash-safe,所以InnoDB使用另外一套日志系统redo log实现crash-safe能力。

日志对比

  • redo log是InnoDB引擎特有;binlog是MySQL的Server层实现的,所有引擎都可以使用
  • redo log是物理日志,记录的是“在某个数据页上做了什么修改”;binlog是逻辑日志,记录的是这个语句的原始逻辑,比如“给ID=2这一行的c字段加1 ”

redo log是循环写的,空间固定会用完;binlog是可以追加写入的。“追加写”是指binlog文件写到一定大小后会切换到下一个,并不会覆盖以前的日志。

看执行器和InnoDB引擎在执行这个简单的update语句时的内部流程。


执行器先找引擎取id=2这行。id是主键,引擎直接用b+树搜索。这一行所在数据页本就在内存,则直接返回给执行器;否则先从磁盘读入内存,再返回

执行器拿到引擎给的行数据,把这个值加1,得到新的一行数据,再调用引擎接口写入这行新数据

引擎将这行新数据更新到内存,同时将更新操作记录到redo log,此时redo log处prepare态。然后告知执行器执行完成,随时可以提交事务

执行器生成这个操作的binlog,并把binlog写入磁盘

执行器调用引擎的提交事务接口,引擎把刚刚写入的redo log改成提交(commit)状态,更新完成

2.png

  1. 浅色框表示是在InnoDB内部执行
    深色框表示是在执行器执行

最后三步看上去有点“绕”,将redo log的写入拆成了两个步骤:prepare和commit,这就是"两阶段提交"。

两阶段提交

为什么必须有“两阶段提交”?

为了让两份日志之间的逻辑一致。

思考怎样让数据库恢复到半个月内任意一秒的状态?


binlog会记录所有的逻辑操作,并且采用“追加写”。如果DBA承诺说半个月内可以恢复,那么备份系统中一定会保存最近半个月的所有binlog,同时系统会定期做整库备份。

“定期”取决于系统的重要性,可以是一天一备,也可以是一周一备。

数据恢复过程

当需要恢复到指定秒时,比如某天下午两点发现中午十二点有次误删表,需要找回数据:

  1. 找到最近的一次全量备份。若运气好,可能就是昨天晚上备份的,从这个备份恢复到临时库
  1. 从备份时间点开始,将备份的binlog依次取出来,重放到中午误删表之前的那个时刻

这样你的临时库就跟误删之前的线上库一样了,然后你可以把表数据从临时库取出来,按需要恢复到线上库去。

为什么需要“两阶段提交”

由于redo log和binlog是两个独立的逻辑,如果不用两阶段提交,要么就是先写完redo log再写binlog,或者反序。

假设当前ID=2的行,字段c的值是0,再假设执行update语句过程中,在写完第一个日志后,第二个日志还没有写完期间发生crash?

先写redo log后写binlog

假设在redo log写完,binlog还没写完,MySQL异常重启。redo log写完后,系统即使崩溃,仍能把数据恢复,所以恢复后这一行c的值是1

但由于binlog没写完就crash,binlog里没有记录这语句。因此,之后备份日志时,存的binlog里没有这条语句。

然后你会发现,如果需要用这binlog来恢复临时库,由于这语句的binlog丢失,临时库就会少这次更新,恢复出来的这一行c的值就是0,与原库的值不同

先写binlog后写redo log

若在binlog写完之后crash,由于redo log还没写,崩溃恢复以后这个事务无效,所以这一行c的值是0。但是binlog里面已经记录了“把c从0改成1”这个日志。所以,在之后用binlog来恢复的时候就多了一个事务出来,恢复出来的这一行c的值就是1,与原库的值不同。


所以不使用“两阶段提交”,则DB状态就有可能和用它的日志恢复出来的库的状态不一致。

概率是不是很低,平时也没有什么动不动就需要恢复临时库的场景呀?不是的,不只是误操作后需要用这个过程来恢复数据。需要扩容时,需要再多搭建一些备库来增加系统的读能力的时候,现在常见的做法也是用全量备份加上应用binlog来实现的,这个“不一致”就会导致你的线上出现主从数据库不一致的情况。

redo log和binlog都可用于表示事务的提交状态,而两阶段提交就是让这两个状态保持逻辑上的一致。


innodb_flush_log_at_trx_commit设成1,表示每次事务的redo log都直接持久化到磁盘。建议设成1,保证MySQL异常重启之后数据不丢失

sync_binlog这个参数设置成1的时候,表示每次事务的binlog都持久化到磁盘。建议设成1,保证MySQL异常重启之后binlog不丢失


参考

https://segmentfault.com/a/1190000023827696


相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
5月前
|
存储 关系型数据库 MySQL
阿里面试:为什么要索引?什么是MySQL索引?底层结构是什么?
尼恩是一位资深架构师,他在自己的读者交流群中分享了关于MySQL索引的重要知识点。索引是帮助MySQL高效获取数据的数据结构,主要作用包括显著提升查询速度、降低磁盘I/O次数、优化排序与分组操作以及提升复杂查询的性能。MySQL支持多种索引类型,如主键索引、唯一索引、普通索引、全文索引和空间数据索引。索引的底层数据结构主要是B+树,它能够有效支持范围查询和顺序遍历,同时保持高效的插入、删除和查找性能。尼恩还强调了索引的优缺点,并提供了多个面试题及其解答,帮助读者在面试中脱颖而出。相关资料可在公众号【技术自由圈】获取。
|
5月前
|
SQL 关系型数据库 MySQL
阿里面试:MYSQL 事务ACID,底层原理是什么? 具体是如何实现的?
尼恩,一位40岁的资深架构师,通过其丰富的经验和深厚的技術功底,为众多读者提供了宝贵的面试指导和技术分享。在他的读者交流群中,许多小伙伴获得了来自一线互联网企业的面试机会,并成功应对了诸如事务ACID特性实现、MVCC等相关面试题。尼恩特别整理了这些常见面试题的系统化解答,形成了《MVCC 学习圣经:一次穿透MYSQL MVCC》PDF文档,旨在帮助大家在面试中展示出扎实的技术功底,提高面试成功率。此外,他还编写了《尼恩Java面试宝典》等资料,涵盖了大量面试题和答案,帮助读者全面提升技术面试的表现。这些资料不仅内容详实,而且持续更新,是求职者备战技术面试的宝贵资源。
阿里面试:MYSQL 事务ACID,底层原理是什么? 具体是如何实现的?
|
10月前
|
SQL 存储 关系型数据库
Mysql优化提高笔记整理,来自于一位鹅厂大佬的笔记,阿里P7亲自教你
Mysql优化提高笔记整理,来自于一位鹅厂大佬的笔记,阿里P7亲自教你
|
7月前
|
SQL 关系型数据库 MySQL
SQL语句编写的练习(MySQL)
这篇文章提供了MySQL数据库中关于学生表、课程表、成绩表和教师表的建表语句、数据插入示例以及一系列SQL查询练习,包括查询、排序、聚合和连接查询等操作。
|
10月前
|
SQL 存储 缓存
SQL语句在MySQL中是如何执行的
SQL语句在MySQL中是如何执行的
99 0
|
7月前
|
canal 关系型数据库 MySQL
"揭秘阿里数据同步黑科技Canal:从原理到实战,手把手教你玩转MySQL数据秒级同步,让你的数据处理能力瞬间飙升,成为技术界的新晋网红!"
【8月更文挑战第18天】Canal是一款由阿里巴巴开源的高性能数据同步系统,它通过解析MySQL的增量日志(Binlog),提供低延迟、可靠的数据订阅和消费功能。Canal模拟MySQL Slave与Master间的交互协议来接收并解析Binary Log,支持数据的增量同步。配置简单直观,包括Server和Instance两层配置。在实战中,Canal可用于数据库镜像、实时备份等多种场景,通过集成Canal Client可实现数据的消费和处理,如更新缓存或写入消息队列。
1121 0
|
8月前
|
关系型数据库 MySQL 分布式数据库
PolarDB MySQL场景评测:阿里云数据库服务的新高度
随着企业数字化转型的加速,对数据库的稳定性和性能提出了更高要求。阿里云的PolarDB MySQL应运而生,作为一款高度兼容MySQL协议的云原生数据库,它在性能、扩展性和安全性方面展现出了卓越的能力。本文将基于阿里云PolarDB MySQL的官方评测,深入探讨其在实际应用场景中的表现,以及为用户带来的价值。
218 0
|
10月前
|
canal 缓存 关系型数据库
MySQL如何实时同步数据到ES?试试阿里开源的Canal
MySQL如何实时同步数据到ES?试试阿里开源的Canal
235 3
|
10月前
|
关系型数据库 MySQL Linux
服务器脚本推荐,yum更新阿里镜像源、安装Docker、使用Docker安装MySQL服务
服务器脚本推荐,yum更新阿里镜像源、安装Docker、使用Docker安装MySQL服务
980 1
|
10月前
|
SQL 关系型数据库 MySQL
京东三面:什么情况会导致 MySQL 索引失效?
为了验证 MySQL 中哪些情况下会导致索引失效,我们可以借助 explain 执行计划来分析索引失效的具体场景。
75 0