使用mysql数据库的binlog应对故障

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
简介: 【6月更文挑战第1天】本文介绍`mysql的 binlog`工具用于解析MySQL的二进制日志,转换为可执行的SQL语句,主要用于数据库主从复制和增量恢复。定期备份和binlog推送能实现故障时的数据恢复。

1 简介数据库日志

mysql自带的mysqlbinlog工具的作用是解析mysql的二进制binlog日志内容,把二进制日志解析成可以在MySQL数据库里执行的SQL语句。

binlog日志原始数据是以二进制形式存在的,需要使用mysqlbinlog工具转换成SQL语句形式。

mysql的binlog日志作用是用来记录mysql内部增删改等对mysql数据库有更新内容的记录(对数据库进行改动的操作)。

对数据库查询的语句如show,select开头的语句,不会被binlog日志记录,主要用于数据库的主从复制与及增量恢复。

question_ans.png

binlog记录增删改操作,不记录查询语句。存在三种模式:

   SQL语句复制(可能造成主从不一致)、
   行复制(保证数据相同但日志量大)、
   混合复制(结合两者优点)。

启用和配置binlog涉及设置log_binserver-id等参数,并可通过

   `SHOW VARIABLES LIKE 'log_%`等命令检查状态。

2 三个模式

3种binlog日志模式:

  • 基于 SQL 语句的复制:

    每一条更新的语句 (insert、update、delete)都会记录在 binlog 中,进而同步到从库的 relaylog 中,被从库的 SQL 线程取出来,回放执行。

优点是 binlog 的日志量可能会比较少,
比如一个涉及行数为 1000 行的 update 语句,同步这一个语句,就同步了 1000行的数据。

缺点是同步的 SQL 语句里如果含有绑定本地变量的函数、关键字时,可能造成主从不一致的情况。
比如 SQL 语句中有 time 函数,如果主从数据库的服务器时间不是精确相等,就会造成结果不一致。

  • 基于行的复制:

不记录 SQL 语句,只记录了哪个记录更新前和更新后的数据,可以保证主从之间数据绝对相同。

缺点是:1条 SQL 更新 1000行的数据无法再偷懒,必须原原本本同步 1000 行的数据量

  • 混合复制:

    以上两种模式的混合,选取两者的优点。对于有绑定本地特性、评估可能造成主从不一致的 SQL 语句,

自动选用基于行的复制其他的选择基于 SQL 语句的复制读写分离:

设置不同的主/从数据库分别负责不同的操作,让主数据库负责数据的写操作,
从数据库负责数据的读操作,通过角色分担的策略,分别提升读写性能,有效减少数据并发操作的延迟,
  • 分表:

分表,也叫分片,可以提升数据库并发以及 I/O 的性能。分表重在单个实例内部,将一张大表分成若干小表,业务同时访问多个表。

  • 分库:

分库是将原本存放在一个实例上众多分类的数据(表) ,分开存放到不同的实例上。有利于差异化管理

3 常用binlog查看方式

  • 查询是否开启binlog

    SHOW VARIABLES like 'log_%';

    返回:

    Variable_name, Value

    'log_bin', 'ON'

  • 查看mysql的 binlog 模式

    show global variables like "binlog%";

    返回:

    Variable_name, Value

    'binlog_annotate_row_events', 'ON'
    'binlog_cache_size', '32768'
    'binlog_checksum', 'CRC32'
    'binlog_commit_wait_count', '0'
    'binlog_commit_wait_usec', '100000'
    'binlog_direct_non_transactional_updates', 'OFF'
    'binlog_file_cache_size', '16384'
    'binlog_format', 'MIXED'
    'binlog_optimize_thread_scheduling', 'ON'
    'binlog_row_image', 'FULL'
    'binlog_stmt_cache_size', '32768'

    其中,'binlog_format', 'MIXED' MIXED 即是 混合复制 模式。

    查看日志开启状态 完整的信息

      SHOW VARIABLES like 'log_%';
    

    查binlog日志列表

      show master logs
    

    查看最新一个binlog日志的编号名称,及其最后一个操作事件结束点

      # File, Position, Binlog_Do_DB, Binlog_Ignore_DB
      'mysql-bin.000006', '844074', '', ''
    

    刷新log日志,立刻产生一个新编号的binlog日志文件,跟重启一个效果

      flush logs
    

    清空所有binlog日志

      reset master
    

    使用mysql自带工具打开binlog文件,将二进制文件转换为可读sql语句

      mysqlbinlog mysql-bin.000006
    

或者 不使用默认字符

   mysqlbinlog --no-defaults mysql-bin.000001

binlog查询指令

    show binlog events [IN 'log_name'] [FROM pos] [LIMIT [offset,] row_count];

IN : ‘log_name’ 指定要查询的binlog文件名(不指定就是第一个binlog文件)

FROM pos : 指定从哪个pos起始点开始查起(不指定就是从整个文件首个pos点开始算)

LIMIT [offset,] : 偏移量(不指定就是0)

row_count : 查询总条数(不指定就是所有行)

4 启用和恢复的方式

开启binlog

修改文件: /etc/my.cnf

1 第一种方式:

  • 开启binlog日志

      log_bin = ON
    
  • binlog日志的基本文件名

      log_bin_basename = /var/lib/mysql/mysqlbinlog
    
  • binlog文件的索引文件,管理所有binlog文件

      log_bin_index = /var/lib/mysql/mysql-bin.index
    
  • 配置serverid

      server-id = 1
    
  • 设置字符格式

      default-character-set=utf8
      改为:
      character-set-server = utf8
    

    2 方式二:

  • 设置log_bin

此一行等同于上面log_bin三行,这里可以写绝对路径,也可以直接写mysql-bin(后者默认就是在/var/lib/mysql目录下)

       log_bin = /var/lib/mysql/mysqlbinlog
  • 配置serverid

      server-id = 1
    

3 简单设置:

    log-bin = /data/3336/mysql-bin  
    binlog_format="STATEMENT"  
    #binlog_format="ROW"  
    #binlog_format="MIXED" 

不重启,使配置在msyql中生效

    SET global binlog_format='STATEMENT';

5 小结

在对数据库进行定时备份时,只能备份到某个时间点,假如在凌晨0点进行全备了,但是在中午12点出现故障需要恢复数据,定时备份0点以后的数据就只能丢失吗?

这时就是体现binlog日志重要性的时候了,当我们对binlog日志进行定时推送(一分钟一次或五分钟一次,时间频率视业务场景而定)就完成增量备份。

当出现故障时,可以使用定时备份和增量备份恢复到故障点时刻的数据。具体的恢复方案,后续章节再进行介绍。

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
20天前
|
存储 SQL 关系型数据库
mysql 的ReLog和BinLog区别
MySQL中的重做日志和二进制日志是确保数据库稳定性和可靠性的关键组件。重做日志主要用于事务的持久性和原子性,通过记录数据页的物理修改信息来恢复未提交的事务;而二进制日志记录SQL语句的逻辑变化,支持数据复制、恢复和审计。两者在写入时机、存储方式及配置参数等方面存在显著差异。
|
3月前
|
canal 消息中间件 关系型数据库
Canal作为一款高效、可靠的数据同步工具,凭借其基于MySQL binlog的增量同步机制,在数据同步领域展现了强大的应用价值
【9月更文挑战第1天】Canal作为一款高效、可靠的数据同步工具,凭借其基于MySQL binlog的增量同步机制,在数据同步领域展现了强大的应用价值
840 4
|
3天前
|
SQL 关系型数据库 MySQL
数据库灾难应对:MySQL误删除数据的救赎之道,技巧get起来!之binlog
《数据库灾难应对:MySQL误删除数据的救赎之道,技巧get起来!之binlog》介绍了如何利用MySQL的二进制日志(Binlog)恢复误删除的数据。主要内容包括: 1. **启用二进制日志**:在`my.cnf`中配置`log-bin`并重启MySQL服务。 2. **查看二进制日志文件**:使用`SHOW VARIABLES LIKE 'log_%';`和`SHOW MASTER STATUS;`命令获取当前日志文件及位置。 3. **创建数据备份**:确保在恢复前已有备份,以防意外。 4. **导出二进制日志为SQL语句**:使用`mysqlbinlog`
22 2
|
16天前
|
存储 Oracle 关系型数据库
数据库数据恢复—ORACLE常见故障的数据恢复方案
Oracle数据库常见故障表现: 1、ORACLE数据库无法启动或无法正常工作。 2、ORACLE ASM存储破坏。 3、ORACLE数据文件丢失。 4、ORACLE数据文件部分损坏。 5、ORACLE DUMP文件损坏。
62 11
|
20天前
|
SQL 存储 缓存
MySQL进阶突击系列(02)一条更新SQL执行过程 | 讲透undoLog、redoLog、binLog日志三宝
本文详细介绍了MySQL中update SQL执行过程涉及的undoLog、redoLog和binLog三种日志的作用及其工作原理,包括它们如何确保数据的一致性和完整性,以及在事务提交过程中各自的角色。同时,文章还探讨了这些日志在故障恢复中的重要性,强调了合理配置相关参数对于提高系统稳定性的必要性。
|
1月前
|
关系型数据库 MySQL 数据库
【赵渝强老师】MySQL的binlog日志文件
MySQL的binlog日志记录了所有对数据库的更改操作(不包括SELECT和SHOW),主要用于主从复制和数据恢复。binlog有三种模式,可通过设置binlog_format参数选择。示例展示了如何启用binlog、设置格式、查看日志文件及记录的信息。
122 6
|
1月前
|
存储 SQL 关系型数据库
mysql 的ReLog和BinLog区别
MySQL中的重做日志(Redo Log)和二进制日志(Binary Log)是两种重要的日志系统。重做日志主要用于保证事务的持久性和原子性,通过记录数据页的物理修改信息来恢复未提交的事务更改。二进制日志则记录了数据库的所有逻辑变化操作,用于数据的复制、恢复和审计。两者在写入时机、存储方式、配置参数和使用范围上有所不同,共同确保了数据库的稳定性和可靠性。
|
2月前
|
存储 Oracle 关系型数据库
数据库数据恢复—Oracle ASM磁盘组故障数据恢复案例
Oracle数据库数据恢复环境&故障: Oracle ASM磁盘组由4块磁盘组成。Oracle ASM磁盘组掉线 ,ASM实例不能mount。 Oracle数据库故障分析&恢复方案: 数据库数据恢复工程师对组成ASM磁盘组的磁盘进行分析。对ASM元数据进行分析发现ASM存储元数据损坏,导致磁盘组无法挂载。
|
3月前
|
消息中间件 canal 关系型数据库
Maxwell:binlog 解析器,轻松同步 MySQL 数据
Maxwell:binlog 解析器,轻松同步 MySQL 数据
397 11
|
2月前
|
存储 关系型数据库 MySQL
MySQL中的Redo Log、Undo Log和Binlog:深入解析
【10月更文挑战第21天】在数据库管理系统中,日志是保障数据一致性和完整性的关键机制。MySQL作为一种广泛使用的关系型数据库管理系统,提供了多种日志类型来满足不同的需求。本文将详细介绍MySQL中的Redo Log、Undo Log和Binlog,从背景、业务场景、功能、底层实现原理、使用措施等方面进行详细分析,并通过Java代码示例展示如何与这些日志进行交互。
242 0

相关产品

  • 云数据库 RDS MySQL 版