Mysql数据库redo log及binlog的写入

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: Mysql数据库redo log及binlog的写入

Mysql整理记录Day4

通过前几篇文章的学习,我们知道Mysql主要是依靠 redo log 和 binlog 这两个日志来保证数据不丢失的。

redolog 和 binlog 的写入流程是怎样的?今天我们就来聊聊这个话题

binlog的写入机制

其实,binlog的写入逻辑比较简单,事务执行的过程中,先把日志写到binlog cache,事务提交的时候再写到binlog文件。注意,一个事务的binlog是不能被拆开的,因此不管这个事务有多大,都需要保证一次性写入,这就涉及到binlog cache的保存问题。

在了解binlog的写入机制之前,我们需要有这么几个概念

  1. 系统给binlog cache分配了一段内存,每个线程有自己的 binlog cache,但是共用一份binlog文件, binlog_cache_size 参数用来控制每个线程中binlog cache的大小,如果超过了 这个参数,就需要暂存到磁盘。
  2. 下图中的write,指的是将binlogcache的日志写入到文件系统的pagecache中,并没有持久化到磁盘,所以速度比较快。(补充:page cache是文件系统中的概念,是文件系统向内核申请的一段内存。后面说到的mysql异常重启,不会影响page cache保存的数据。只有当操作系统断电或者异常重启时,page cache的内容才会丢失。)
  3. 下图中的fsync,才是将数据持久化到磁盘,一般情况下,我们认为只有fsync才占磁盘的IOPS。

write和fsync的时机是由参数sync_binlog控制的:

  • sync_binlog = 0时,表示每次提交事务,直接write,不fsync;
  • sync_binlog = 1时,表示每次提交事务,都会执行fsync;
  • sync_binlog = N(N>1)时,表示每次提交事务都write,在累积到N个事务的时候,调用fsync。

因此,在IO瓶颈的场景里,将sync_binlog设置为一个比较大的值,可以提升性能,降低 IOPS 消耗。但是,对应的风险就是,如果主机异常重启,会丢失这N个事务的binlog。实际业务中,考虑到丢失日志的可控性,一般设置为100~1000。

redo log的写入机制

事务执行过程中,redo log是先写到redo log buffer的。redo log buffer是Mysql进程向系统申请的一段内存。所有的线程共用这段内存空间。

InnoDB 提供了参数 innodb_flush_log_at_trx_commit 来控制 redo log 的写入策略:

  1. 设置为0,表示每次事务提交都只是把 redo log 保留在 redo log buffer 中;
  2. 设置为1,表示每次事务提交都将 redo log 持久化到磁盘;
  3. 设置为2,表示每次事务提交都只是把 redo log 调用 write 写到 page cache。

InnoDB 后台有一个线程,每隔1s,调用 write 写入到 page cache,再调用 fsync 持久化到磁盘。注意,事务执行过程中的 redo log 也是直接写在 redo log buffer 中的,这些 redo log 也会被后台线程一起持久化到磁盘。也就是说,一个没有提交事务的 redo log 也可能被持久化到磁盘。

以下两种场景也会让一个没有提交事务的redolog写入到磁盘:

第一种:redo log buffer 占用空间即将达到参数 innodb_log_buffer_size 的一半,后台线程主动写盘。(只是写到文件系统的 page cache);

第二种:并行事务提交的时候,顺带将另外一个没提交事务的redo log持久化到磁盘。

通常我们说的Mysql 的双“1”配置,指的是 sync_binlog 和 innodb_flush_log_at_trx_commit 都设置为1。也就是说,一个事务完整提交前,需要两次刷盘,一次是redo log(prepare阶段),一次是bin log。

假设你从Mysql看到的TPS是每秒2万的话,那么是不是每秒会有四万次刷盘?实际上不是,因为redo log的组提交机制,大大节约率磁盘的IOPS。

LSN(日志逻辑序列号),单调递增,对应一次次redo log的写入点,每次写入len长度的redolog,LSN就增加len。

笔记参考于极客时间《MySQL实战45讲》

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
相关文章
|
12天前
|
存储 SQL 关系型数据库
MySQL中binlog、redolog与undolog的不同之处解析
每个都扮演回答回溯与错误修正机构角色: BinLog像历史记载员详细记载每件大大小小事件; RedoLog则像紧急救援队伍遇见突發情況追踪最后活动轨迹尽力补救; UndoLog就类似时间机器可倒带历史让一切归位原始样貌同时兼具平行宇宙观察能让多人同时看见各自期望看见历程而互不干扰.
69 9
|
2月前
|
存储 SQL 关系型数据库
MySQL的Redo Log与Binlog机制对照分析
通过合理的配置和细致的管理,这两种日志机制相互配合,能够有效地提升MySQL数据库的可靠性和稳定性。
79 10
|
4月前
|
SQL 监控 关系型数据库
MySQL日志分析:binlog、redolog、undolog三大日志的深度探讨。
数据库管理其实和写小说一样,需要规划,需要修订,也需要有能力回滚。理解这些日志的作用与优化,就像把握写作工具的使用与运用,为我们的数据库保驾护航。
179 23
|
5月前
|
SQL 运维 关系型数据库
MySQL Binlog 日志查看方法及查看内容解析
本文介绍了 MySQL 的 Binlog(二进制日志)功能及其使用方法。Binlog 记录了数据库的所有数据变更操作,如 INSERT、UPDATE 和 DELETE,对数据恢复、主从复制和审计至关重要。文章详细说明了如何开启 Binlog 功能、查看当前日志文件及内容,并解析了常见的事件类型,包括 Format_desc、Query、Table_map、Write_rows、Update_rows 和 Delete_rows 等,帮助用户掌握数据库变化历史,提升维护和排障能力。
|
6月前
|
数据库
【YashanDB数据库】YAS-02079 archive log mode must be enabled when database is in replication mode
YAS-02079 archive log mode must be enabled when database is in replication mode
|
6月前
|
SQL 存储 关系型数据库
简单聊聊MySQL的三大日志(Redo Log、Binlog和Undo Log)各有什么区别
在MySQL数据库管理中,理解Redo Log(重做日志)、Binlog(二进制日志)和Undo Log(回滚日志)至关重要。Redo Log确保数据持久性和崩溃恢复;Binlog用于主从复制和数据恢复,记录逻辑操作;Undo Log支持事务的原子性和隔离性,实现回滚与MVCC。三者协同工作,保障事务ACID特性。文章还详细解析了日志写入流程及可能的异常情况,帮助深入理解数据库日志机制。
546 0
|
10月前
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
2760 31
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
|
9月前
|
监控 安全 Apache
什么是Apache日志?为什么Apache日志分析很重要?
Apache是全球广泛使用的Web服务器软件,支持超过30%的活跃网站。它通过接收和处理HTTP请求,与后端服务器通信,返回响应并记录日志,确保网页请求的快速准确处理。Apache日志分为访问日志和错误日志,对提升用户体验、保障安全及优化性能至关重要。EventLog Analyzer等工具可有效管理和分析这些日志,增强Web服务的安全性和可靠性。
236 9
|
7月前
|
存储 SQL 关系型数据库
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log、原理、写入过程;binlog与redolog区别、update语句的执行流程、两阶段提交、主从复制、三种日志的使用场景;查询日志、慢查询日志、错误日志等其他几类日志
553 35
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log
|
11月前
|
XML JSON Java
Logback 与 log4j2 性能对比:谁才是日志框架的性能王者?
【10月更文挑战第5天】在Java开发中,日志框架是不可或缺的工具,它们帮助我们记录系统运行时的信息、警告和错误,对于开发人员来说至关重要。在众多日志框架中,Logback和log4j2以其卓越的性能和丰富的功能脱颖而出,成为开发者们的首选。本文将深入探讨Logback与log4j2在性能方面的对比,通过详细的分析和实例,帮助大家理解两者之间的性能差异,以便在实际项目中做出更明智的选择。
992 3

推荐镜像

更多