数据库内核月报 - 2015 / 05-MySQL · 答疑解惑 · binlog 位点刷新策略

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS PostgreSQL Serverless,0.5-4RCU 50GB 3个月
推荐场景:
对影评进行热评分析
云数据库 RDS SQL Server,基础系列 2核4GB
简介:

背景

MySQL 非 GTID 协议主备同步原理:
主库在执行 SQL 语句时产生binlog,在事务 commit 时将产生的binlog event写入binlog文件,备库IO线程通过 com_binlog_dump 用文件位置协议从主库拉取 binlog,将拉取的binlog存储到relaylog, SQL线程读取 relaylog 然后进行 apply,实现主备同步,在这个过程中有以下几个问题:

  1. 主库什么时间将产生的 binlog 真正刷到文件中?
  2. 备库IO线程从哪个位置读取主库的 binlog event 的?
  3. 备库SQL线程如何记录执行到的 relaylog 的位点?
  4. 备库IO线程何时将cache中的event 刷到relay log 文件中的?

问题分析

下面对这几个问题挨个解答。

问题 1: 主库什么时间将产生的binlog 真正刷到文件中

事务ordered_commit 中,会将 thd->cache_mngr 中的 binlog cache 写入到 binlog 文件中,但并没有执行fsync()操作,即只将文件内容写入到 OS 缓存中,详细 bt 为:

#0  my_write
#1  0x0000000000a92f50 in inline_mysql_file_write
#2  0x0000000000a9612e in my_b_flush_io_cache
#3  0x0000000000a43466 in MYSQL_BIN_LOG::flush_cache_to_file
#4  0x0000000000a43a4d in MYSQL_BIN_LOG::ordered_commit
#5  0x0000000000a429f2 in MYSQL_BIN_LOG::commit
#6  0x000000000063d3e2 in ha_commit_trans
#7  0x00000000008adb7a in trans_commit_stmt
#8  0x00000000007e511f in mysql_execute_command
#9  0x00000000007e7e0e in mysql_parse
#10 0x00000000007dae0e in dispatch_command
#11 0x00000000007d9634 in do_command
#12 0x00000000007a046d in do_handle_one_connection
#13 0x000000000079ff75 in handle_one_connection
#14 0x0000003a00a07851 in start_thread ()
#15 0x0000003a006e767d in clone ()

commit 时,会判断是否将产生的 binlog flush 到文件中,即执行 fsync操作,详细bt 为:

#0  MYSQL_BIN_LOG::sync_binlog_file
#1  0x0000000000a43c62 in MYSQL_BIN_LOG::ordered_commit
#2  0x0000000000a429f2 in MYSQL_BIN_LOG::commit
#3  0x000000000063d3e2 in ha_commit_trans
#4  0x00000000008adb7a in trans_commit_stmt
#5  0x00000000007e511f in mysql_execute_command
#6  0x00000000007e7e0e in mysql_parse
#7  0x00000000007dae0e in dispatch_command
#8  0x00000000007d9634 in do_command (thd=0x37a40160)
#9  0x00000000007a046d in do_handle_one_connection
#10 0x000000000079ff75 in handle_one_connection
#11 0x0000003a00a07851 in start_thread ()
#12 0x0000003a006e767d in clone ()

由 MYSQL_BIN_LOG::sync_binlog_file 可以看出,每提交一个事务,会 fsync 一次binlog file。 当 sync_binlog != 1 的时候,每次事务提交的时候,不一定会执行 fsync 操作,binlog 的内容只是缓存在了 OS(是否会执行fsync操作,取决于OS缓存的大小),此时备库可以读到主库产生的 binlog, 在这种情况下,当主库机器挂掉时,有以下两种情况:

  1. 主备同步无延迟,此时主库机器恢复后,备库接着之前的位点重新拉binlog, 但是主库由于没有fsync最后的binlog,所以会返回1236 的错误:
    MySQL error code 1236 (ER_MASTER_FATAL_ERROR_READING_BINLOG): Got fatal error %d from master when reading data from binary log: '%-.256s'
  2. 备库没有读到主库失去的binlog,此时备库无法同步主库最后的更新,备库不可用。

问题 2: 备库IO线程从哪个位置读取主库的binlog event 的

更新位点信息的 bt 如下:

#0  Rpl_info_table::do_flush_info (this=0x379cbf90, force=false)
#1  0x0000000000a78270 in Rpl_info_handler::flush_info
#2  0x0000000000a773b9 in Master_info::flush_info
#3  0x0000000000a5da4b in flush_master_info
#4  0x0000000000a697eb in handle_slave_io
#5  0x0000003a00a07851 in start_thread () from /lib64/libpthread.so.0
#6  0x0000003a006e767d in clone () from /lib64/libc.so.6

备库通过 master_log_info 来记录主库的相关信息,通过参数 sync_master_info 来设置备库经过多少个 binlog event 来更新已经读取到的位点信息。当stop slave时,会把正常的位点更新到master_log_info中,此时,如果最后的位点不是commit,则在start slave后,会继续上一位点拉取 binlog,从而造成同一个事务的binlog event分布在不同的binlog file中,此时如果执行顺利则不会有问题;如果在拉这个事务的过程中,sql 线程出错中断,在并行复制下会引起分发线程停在事务中间,再次启动的时候,会从上一次分发的事务继续分发,会造成在并行复制中不可分发的情况,因此需要注意。

当 sync_master_info > 1000时,可能在第1000个binlog 拉取的时候机器出问题,此时重启后会从主库多拉999个 binlog event,造成事务在备库多次执行问题,对于没有 primary key, unique key 可能会有问题,造成主备数据不一致,最常遇到的是1062问题。

问题3: 备库SQL线程如何记录执行到的relaylog 的位点

同问题2一样,相关的 bt 也类似,relay_log_info 记录的是备库已经执行了的最后的位点,这个位点不会处于事务中间,即是每 sync_relay_log_info 个事务更新一下这个位点。

相关bugs
bug 原因: 备库异常 crash 后,可能造成事务在拉取过程中被重新拉取,binlog序列如下:

begin;
table_map;
begin;
table_map;
rows_log_event;
commit;

在并行复制条件下,由于出现了不完整的事务,所以会造成绑定事务信息无法恢复,造成hang的情况,详情见 bug 分析

问题 4: 备库IO线程何时将cache中的event 刷到relay log 文件中的

这个问题的解答和问题1类似,也是以binlog event为单位的,当然也存在着和问题1中同样的问题,在此不在赘述。

结语

MySQL 通过 sync_binlogsync_master_infosync_relay_log_infosync_relay_log 来记录相关的位点信息,出于性能考虑以及程序本身的健壮性,引入了各式要样的bug,类似的bug在此不在列举,那么有没有更好的方法来记录这些信息呢,当然有,即GTID 协议,会在下期月报分析。

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
23天前
|
负载均衡 算法 关系型数据库
大数据大厂之MySQL数据库课程设计:揭秘MySQL集群架构负载均衡核心算法:从理论到Java代码实战,让你的数据库性能飙升!
本文聚焦 MySQL 集群架构中的负载均衡算法,阐述其重要性。详细介绍轮询、加权轮询、最少连接、加权最少连接、随机、源地址哈希等常用算法,分析各自优缺点及适用场景。并提供 Java 语言代码实现示例,助力直观理解。文章结构清晰,语言通俗易懂,对理解和应用负载均衡算法具有实用价值和参考价值。
大数据大厂之MySQL数据库课程设计:揭秘MySQL集群架构负载均衡核心算法:从理论到Java代码实战,让你的数据库性能飙升!
|
23天前
|
存储 关系型数据库 MySQL
大数据新视界 --面向数据分析师的大数据大厂之 MySQL 基础秘籍:轻松创建数据库与表,踏入大数据殿堂
本文详细介绍了在 MySQL 中创建数据库和表的方法。包括安装 MySQL、用命令行和图形化工具创建数据库、选择数据库、创建表(含数据类型介绍与选择建议、案例分析、最佳实践与注意事项)以及查看数据库和表的内容。文章专业、严谨且具可操作性,对数据管理有实际帮助。
大数据新视界 --面向数据分析师的大数据大厂之 MySQL 基础秘籍:轻松创建数据库与表,踏入大数据殿堂
|
12天前
|
SQL 关系型数据库 MySQL
MySQL下载安装全攻略!小白也能轻松上手,从此数据库不再难搞!
这是一份详细的MySQL安装与配置教程,适合初学者快速上手。内容涵盖从下载到安装的每一步操作,包括选择版本、设置路径、配置端口及密码等。同时提供基础操作指南,如数据库管理、数据表增删改查、用户权限设置等。还介绍了备份恢复、图形化工具使用和性能优化技巧,帮助用户全面掌握MySQL的使用方法。附带常见问题解决方法,保姆级教学让你无忧入门!
MySQL下载安装全攻略!小白也能轻松上手,从此数据库不再难搞!
|
4天前
|
关系型数据库 MySQL 定位技术
MySQL与Clickhouse数据库:探讨日期和时间的加法运算。
这一次的冒险就到这儿,期待你的再次加入,我们一起在数据库的世界中找寻下一个宝藏。
28 9
|
1月前
|
负载均衡 算法 关系型数据库
大数据新视界--大数据大厂之MySQL数据库课程设计:MySQL集群架构负载均衡故障排除与解决方案
本文深入探讨 MySQL 集群架构负载均衡的常见故障及排除方法。涵盖请求分配不均、节点无法响应、负载均衡器故障等现象,介绍多种负载均衡算法及故障排除步骤,包括检查负载均衡器状态、调整算法、诊断修复节点故障等。还阐述了预防措施与确保系统稳定性的方法,如定期监控维护、备份恢复策略、团队协作与知识管理等。为确保 MySQL 数据库系统高可用性提供全面指导。
|
1月前
|
SQL 关系型数据库 MySQL
大数据新视界--大数据大厂之MySQL数据库课程设计:MySQL 数据库 SQL 语句调优方法详解(2-1)
本文深入介绍 MySQL 数据库 SQL 语句调优方法。涵盖分析查询执行计划,如使用 EXPLAIN 命令及理解关键指标;优化查询语句结构,包括避免子查询、减少函数使用、合理用索引列及避免 “OR”。还介绍了索引类型知识,如 B 树索引、哈希索引等。结合与 MySQL 数据库课程设计相关文章,强调 SQL 语句调优重要性。为提升数据库性能提供实用方法,适合数据库管理员和开发人员。
|
1月前
|
关系型数据库 MySQL 大数据
大数据新视界--大数据大厂之MySQL 数据库课程设计:MySQL 数据库 SQL 语句调优的进阶策略与实际案例(2-2)
本文延续前篇,深入探讨 MySQL 数据库 SQL 语句调优进阶策略。包括优化索引使用,介绍多种索引类型及避免索引失效等;调整数据库参数,如缓冲池、连接数和日志参数;还有分区表、垂直拆分等其他优化方法。通过实际案例分析展示调优效果。回顾与数据库课程设计相关文章,强调全面认识 MySQL 数据库重要性。为读者提供综合调优指导,确保数据库高效运行。
|
3天前
|
SQL 监控 关系型数据库
MySQL日志分析:binlog、redolog、undolog三大日志的深度探讨。
数据库管理其实和写小说一样,需要规划,需要修订,也需要有能力回滚。理解这些日志的作用与优化,就像把握写作工具的使用与运用,为我们的数据库保驾护航。
42 23
|
5月前
|
存储 SQL 关系型数据库
mysql 的ReLog和BinLog区别
MySQL中的重做日志和二进制日志是确保数据库稳定性和可靠性的关键组件。重做日志主要用于事务的持久性和原子性,通过记录数据页的物理修改信息来恢复未提交的事务;而二进制日志记录SQL语句的逻辑变化,支持数据复制、恢复和审计。两者在写入时机、存储方式及配置参数等方面存在显著差异。
146 6
|
1月前
|
SQL 运维 关系型数据库
MySQL Binlog 日志查看方法及查看内容解析
本文介绍了 MySQL 的 Binlog(二进制日志)功能及其使用方法。Binlog 记录了数据库的所有数据变更操作,如 INSERT、UPDATE 和 DELETE,对数据恢复、主从复制和审计至关重要。文章详细说明了如何开启 Binlog 功能、查看当前日志文件及内容,并解析了常见的事件类型,包括 Format_desc、Query、Table_map、Write_rows、Update_rows 和 Delete_rows 等,帮助用户掌握数据库变化历史,提升维护和排障能力。

相关产品

  • 云数据库 RDS MySQL 版