一生挚友redo log、binlog《死磕MySQL系列 二》(1)

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: 一生挚友redo log、binlog《死磕MySQL系列 二》

前言



上期根据一条查询语句查询流程分析MySQL的整体架构。同样,本期也使用一条查询SQL语句来做引子。可以肯定的是,查询语句执行的流程更新语句同样也会执行。


因此本期的着重点就不在MySQL架构图上,文章标题也给出了大家重点,就是要了解redo log、binlog。


一、redo log

第一步,创建一个表 user,主键是 id,下面是创建语句。


CREATE TABLE `user` (
 `id` int(11) NOT NULL AUTO_INCREMENT,
 `name` varchar(255) NOT NULL,
 `age` tinyint(4) NOT NULL,
 `time` int(11) NOT NULL,
 PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4


插入一条数据


insert into user (`name`,`age`,`time`) values ("咔咔","25",unix_timestamp(now()))


若要将插入的这条数据的age改为26,则需要执行语句


update user set age = 26 where id = 1;


第一期文章中提到一条查询语句的执行流程,该流程与更新语句相同。这里将那幅图拿过来在熟悉一下。


image.png


每个模块的功能可以回到第一期文章去查看。


在MySQL8.0中redo log、binlog日志文件都位于/var/lib/mysql此目录下,如图


image.png


文件名为ib_logfile的是重做日志,undo开头的就是回滚日志,对于回滚日志后期进行详细的讨论。


redo log(重做日志)是实现事务持久性必备要素,当一个事务提交后,并非直接修改数据库的数据,而是首先保证在 redo log中记录相关的操作。


Innodb存储引擎中的redo log大小是固的,上图显示配置了一组两个文件,每个文件大小默认为48M,使用innodb_log_file_size参数来控制单个文件大小,在MySQL5.6.8以及之后版本都默认为48M。


image.png


然后redo log可以记录48M的操作,redo log是一个闭环的循环写。所设定的文件个数和文件大小不再增加。


image.png


write pos将记录当前位置,同时向后移动,在ib-log-file-3文件末尾后,然后返回ib-logfilg-0文件开始写。


check point记录的是当前擦除的位置,要使文件循环写入,必须一边擦除。清楚数据的前提是要将记录更新到数据文件。


上面的绿色部分就是可写的部分,假设如果 writepos追上了 checkpoint,那该怎么办?


你必须理解write pos的推进是因为在执行更新操作,这样就不能再执行更新操作,直到记录更新到数据文件,然后check point进行擦除后才可以继续执行更新操作。


对于innodb_log_file_size的设置也是有一些计算规则的,下面将为你介绍。


若innodb_log_file_size设置太小,将导致redo log文件频繁切换,频繁的触发数据库的检查点(check point),导致记录更新到数据文件的次数增加,从而影响IO性能。


同样,如果有一个大的事务,并且所有 redo log日志都已写满,但是还没有完成,将导致日志无法切换,从而导致 MySQL直接堵死。


innodb_log_file_size设置太大,虽然极大地提高了 IO性能,但是在 MySQL重启或宕机时,恢复时间会因为 redo log文件过大而延长。而这种恢复时间通常是无法控制的。


在设置合理的redo log大小和数量后,Innodb能够保证,即使数据库发生异常重启,以前提交的记录也不会丢失,这一点也称为crash-safe。


在这里,对crash-safe的理解先不提及它是什么,后面的文章会让你明白。


二、如何根据项目情况设置innodb_log_file_size

对于参数innodb_log_files_in_group设置3~4个就够用了,不用进行优化。


着重讨论innodb_log_file_size的大小设置或优化设置。


在 MySQL8.0之前,通常是计算在一段时间内生成的事务日志(redo log)大小,而 MySQL日志文件最小应承载一小时的业务日志量。


此处的一段时间必须视自己的业务情况而定,外界有用1分钟的日志量也有1小时的日志量来计算。


首先看一下 MySQL客户端的一个命令 pager,在 MySQL日常操作中,通过设置 pager的显示方式,可以大大提高工作效率。


目前,要查看 sequence在一分钟之内的值,您就可以执行 pager grep sequence,它对mysql> show engine innodb status\ G select sleep (60); show engine innodbstatus\ G;返回的结果。


禁止 pager设置执行 nopager,如果不执行该命令,则只有等到下一次重新启动该命令才会失效。


image.png


此处咔咔是在虚拟机上做的操作,可以看到一分钟内是没有任何操作,所以值前后相同,你可以在测试服务器做测试。


这样计算出来的select (后边数据-前面的数据)/1024/1024*60 asMB_per_hour;值是一个小时后 redo log的大小


但是用这种方法计算一定是不合适的,在一分钟内业务繁忙或者业务空闲时间计算出的值都会产生较大误差。


合适的方法是在一天中确定几个时间点,用一个脚本定时执行,然后记录相应的值,再取平均值,计算出的误差将减至最小。


什么是 sequece?

当每个 binlog生成时,该值从1开始,然后递增,每增加一个事务, sequenumber就加上1。



相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
1天前
|
存储 SQL 关系型数据库
mysql 的ReLog和BinLog区别
MySQL中的重做日志(Redo Log)和二进制日志(Binary Log)是两种重要的日志系统。重做日志主要用于保证事务的持久性和原子性,通过记录数据页的物理修改信息来恢复未提交的事务更改。二进制日志则记录了数据库的所有逻辑变化操作,用于数据的复制、恢复和审计。两者在写入时机、存储方式、配置参数和使用范围上有所不同,共同确保了数据库的稳定性和可靠性。
|
22天前
|
SQL 存储 关系型数据库
美团面试:binlog、redo log、undo log的底层原理是什么?它们分别实现ACID的哪个特性?
老架构师尼恩在其读者交流群中分享了关于 MySQL 中 redo log、undo log 和 binlog 的面试题及其答案。这些问题涵盖了事务的 ACID 特性、日志的一致性问题、SQL 语句的执行流程等。尼恩详细解释了这些日志的作用、所在架构层级、日志形式、缓存机制以及写文件方式等内容。他还提供了多个面试题的详细解答,帮助读者系统化地掌握这些知识点,提升面试表现。此外,尼恩还推荐了《尼恩Java面试宝典PDF》和其他技术圣经系列PDF,帮助读者进一步巩固知识,实现“offer自由”。
美团面试:binlog、redo log、undo log的底层原理是什么?它们分别实现ACID的哪个特性?
|
29天前
|
存储 缓存 关系型数据库
MySQL事务日志-Redo Log工作原理分析
事务的隔离性和原子性分别通过锁和事务日志实现,而持久性则依赖于事务日志中的`Redo Log`。在MySQL中,`Redo Log`确保已提交事务的数据能持久保存,即使系统崩溃也能通过重做日志恢复数据。其工作原理是记录数据在内存中的更改,待事务提交时写入磁盘。此外,`Redo Log`采用简单的物理日志格式和高效的顺序IO,确保快速提交。通过不同的落盘策略,可在性能和安全性之间做出权衡。
1607 14
|
16天前
|
存储 关系型数据库 MySQL
MySQL中的Redo Log、Undo Log和Binlog:深入解析
【10月更文挑战第21天】在数据库管理系统中,日志是保障数据一致性和完整性的关键机制。MySQL作为一种广泛使用的关系型数据库管理系统,提供了多种日志类型来满足不同的需求。本文将详细介绍MySQL中的Redo Log、Undo Log和Binlog,从背景、业务场景、功能、底层实现原理、使用措施等方面进行详细分析,并通过Java代码示例展示如何与这些日志进行交互。
23 0
|
26天前
|
存储 SQL 关系型数据库
Mysql学习笔记(二):数据库命令行代码总结
这篇文章是关于MySQL数据库命令行操作的总结,包括登录、退出、查看时间与版本、数据库和数据表的基本操作(如创建、删除、查看)、数据的增删改查等。它还涉及了如何通过SQL语句进行条件查询、模糊查询、范围查询和限制查询,以及如何进行表结构的修改。这些内容对于初学者来说非常实用,是学习MySQL数据库管理的基础。
103 6
|
23天前
|
存储 关系型数据库 MySQL
Mysql(4)—数据库索引
数据库索引是用于提高数据检索效率的数据结构,类似于书籍中的索引。它允许用户快速找到数据,而无需扫描整个表。MySQL中的索引可以显著提升查询速度,使数据库操作更加高效。索引的发展经历了从无索引、简单索引到B-树、哈希索引、位图索引、全文索引等多个阶段。
56 3
Mysql(4)—数据库索引
|
26天前
|
SQL Ubuntu 关系型数据库
Mysql学习笔记(一):数据库详细介绍以及Navicat简单使用
本文为MySQL学习笔记,介绍了数据库的基本概念,包括行、列、主键等,并解释了C/S和B/S架构以及SQL语言的分类。接着,指导如何在Windows和Ubuntu系统上安装MySQL,并提供了启动、停止和重启服务的命令。文章还涵盖了Navicat的使用,包括安装、登录和新建表格等步骤。最后,介绍了MySQL中的数据类型和字段约束,如主键、外键、非空和唯一等。
62 3
Mysql学习笔记(一):数据库详细介绍以及Navicat简单使用
|
9天前
|
关系型数据库 MySQL Linux
在 CentOS 7 中通过编译源码方式安装 MySQL 数据库的详细步骤,包括准备工作、下载源码、编译安装、配置 MySQL 服务、登录设置等。
本文介绍了在 CentOS 7 中通过编译源码方式安装 MySQL 数据库的详细步骤,包括准备工作、下载源码、编译安装、配置 MySQL 服务、登录设置等。同时,文章还对比了编译源码安装与使用 RPM 包安装的优缺点,帮助读者根据需求选择最合适的方法。通过具体案例,展示了编译源码安装的灵活性和定制性。
45 2
|
12天前
|
存储 关系型数据库 MySQL
MySQL vs. PostgreSQL:选择适合你的开源数据库
在众多开源数据库中,MySQL和PostgreSQL无疑是最受欢迎的两个。它们都有着强大的功能、广泛的社区支持和丰富的生态系统。然而,它们在设计理念、性能特点、功能特性等方面存在着显著的差异。本文将从这三个方面对MySQL和PostgreSQL进行比较,以帮助您选择更适合您需求的开源数据库。
52 4
|
17天前
|
存储 关系型数据库 MySQL
如何在MySQL中创建数据库?
【10月更文挑战第16天】如何在MySQL中创建数据库?