浅谈MySQL Binlog

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 RDS MySQL,高可用系列 2核4GB
简介: 浅谈MySQL Binlog

1 什么是binlog?

binlog是二进制日志文件,用于记录mysql的数据更新或者潜在更新状况,在mysql主从复制中就是依靠的binlog。可以通过语句“show binlog events in ‘binlogfile’”来查看binlog的具体事件类型。binlog记录的所有操作实际上都有对应的事件类型的,MySQL binlog的三种工作模式:

  • Row level(行记录)简介:
  • 日志中会记录每一行数据被修改的情况,然后在slave端对相同的数据进行修改。
  • 优点:
  • 所有更改都可以复制。这是最安全的复制形式。
  • 对于以下类型的语句,源上需要更少的行锁,从而实现更高的并发性:
  • INSERT ... SELECT
  • INSERTAUTO_INCREMENT
  • UPDATE``DELETE带有WHERE不使用键或不更改大多数检查行的子句的语句 。
  • 需要的行锁更少 。
  • 缺点:
  • RBR 可以生成更多必须记录的数据。写入数据可能会导致并发问题。用
  • 无法在副本上看到从源接收并执行了哪些语句。
  • 对于使用MyISAM 存储引擎的表,INSERT当将它们作为基于行的事件应用于二进制日志时,语句的副本需要比将它们作为语句应用时更强的锁。这意味着MyISAM在使用基于行的复制时不支持对表的并发插入。
  • Statement level(语句记录,默认)简介:
  • 每一条被修改数据的sql都会记录到master的bin-log中,slave在复制的时候sql进程会解析成和原来master端执行过的相同的sql再次执行。在主从同步中一般是不建议用statement模式的,因为会有些语句不支持,比如语句中包含UUID函数,以及LOAD DATA IN FILE语句等
  • 优点:
  • 写入日志文件的数据更少。当更新或删除影响许多行时,这会导致 日志文件所需的存储空间少得多。这也意味着可以更快地完成备份和恢复。
  • 日志文件包含进行了任何更改的所有语句,因此它们可用于审计数据库。
  • 缺点:
  • INSERT ... SELECT与基于行的复制相比,需要更多的行级锁。
  • UPDATE需要表扫描的语句,必须比基于行的复制锁定更多的行。
  • 对于InnoDBINSERT使用 AUTO_INCREMENT阻塞其他非冲突INSERT语句的语句。
  • 对于复杂语句,必须在更新或插入行之前在副本上评估和执行语句。使用基于行的复制,副本只需要修改受影响的行,而不是执行完整的语句。
  • 如果对副本进行评估时出现错误,尤其是在执行复杂语句时,则基于语句的复制可能会随着时间的推移慢慢增加受影响行的误差幅度。
  • 存储函数以与NOW()调用语句相同的值执行 。但是,这不适用于存储过程。
  • 必须在副本上应用确定性可加载函数。
  • 表定义在源和副本上必须(几乎)相同。
  • Mixed(混合模式)简介:
  • 结合了Row level和Statement level的优点,同时binlog结构也更复杂。

binlog的格式:

2 binlog有什么作用?

  • MySQL主从复制:MySQL Replication在Master端开启binlog,Master把它的二进制日志传递给slaves来达到master-slave数据一致的目的
  • 数据恢复:通过使用 mysqlbinlog工具来使恢复数据

3 binlog的常用操作

3.1 启动和关闭binlog

启动binlog,修改配置文件并重启:

[root@iZ2ze4m2ri7irkf6h6n8zoZ mysql]# vim /etc/my.cnf
############追加以下内容#############
[mysqld]
#开启binlog,提前建好/home/mysql/binlog文件名称
log-bin=/home/mysql/binlog
############追加内容完成#############
[root@iZ2ze4m2ri7irkf6h6n8zoZ mysql]# service mysql restart

关闭binlog:

删除配置文件中相应的内容

查看binlog是否开启:

mysql> show variables like 'log_bin';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| log_bin       | ON    |
+---------------+-------+
1 row in set (0.00 sec)
3.2 查看binlog

先在mysql中看binlog 文件的名称

mysql> show binary logs;
+---------------+-----------+
| Log_name      | File_size |
+---------------+-----------+
| binlog.000001 |       412 |
+---------------+-----------+
1 row in set (0.00 sec)

根据binlog名称查看binlog内容

[root@iZ2ze4m2ri7irkf6h6n8zoZ mysql]# mysqlbinlog binlog.000001
/*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=1*/;
/*!40019 SET @@session.max_insert_delayed_threads=0*/;
/*!50003 SET @OLD_COMPLETION_TYPE=@@COMPLETION_TYPE,COMPLETION_TYPE=0*/;
DELIMITER /*!*/;
# at 4
#211122 15:36:30 server id 1  end_log_pos 107   Start: binlog v 4, server v 5.5.62-log created 211122 15:36:30 at startup
# Warning: this binlog is either in use or was not closed properly.
ROLLBACK/*!*/;
BINLOG '
fkibYQ8BAAAAZwAAAGsAAAABAAQANS41LjYyLWxvZwAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA
AAAAAAAAAAAAAAAAAAB+SJthEzgNAAgAEgAEBAQEEgAAVAAEGggAAAAICAgCAA==
'/*!*/;
# at 107
#211122 15:38:14 server id 1  end_log_pos 220   Query thread_id=1 exec_time=0 error_code=0
use `test`/*!*/;
SET TIMESTAMP=1637566694/*!*/;
SET @@session.pseudo_thread_id=1/*!*/;
SET @@session.foreign_key_checks=1, @@session.sql_auto_is_null=0, @@session.unique_checks=1, @@session.autocommit=1/*!*/;
SET @@session.sql_mode=0/*!*/;
SET @@session.auto_increment_increment=1, @@session.auto_increment_offset=1/*!*/;
/*!\C utf8 *//*!*/;
SET @@session.character_set_client=33,@@session.collation_connection=33,@@session.collation_server=33/*!*/;
SET @@session.lc_time_names=0/*!*/;
SET @@session.collation_database=DEFAULT/*!*/;
create table student(id int(10),name varchar(20) )
/*!*/;
# at 220
#211122 15:38:40 server id 1  end_log_pos 288   Query thread_id=1 exec_time=0 error_code=0
SET TIMESTAMP=1637566720/*!*/;
BEGIN
/*!*/;
# at 288
#211122 15:38:40 server id 1  end_log_pos 385   Query thread_id=1 exec_time=0 error_code=0
SET TIMESTAMP=1637566720/*!*/;
insert into student values(1,"zs")
/*!*/;
# at 385
#211122 15:38:40 server id 1  end_log_pos 412   Xid = 12
COMMIT/*!*/;
DELIMITER ;
# End of log file
ROLLBACK /* added by mysqlbinlog */;
/*!50003 SET COMPLETION_TYPE=@OLD_COMPLETION_TYPE*/;
/*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=0*/;

上面输出包括信息:

  • position: 位于文件中的位置,即第一行的,说明该事件记录从文件第21019个字节开始
  • timestamp: 事件发生的时间戳。
  • server id: 服务器标识。
  • end_log_pos 表示下一个事件开始的位置(即当前事件的结束位置+1)
  • thread_id: 执行该事件的线程id 。
  • exec_time: 事件执行的花费时间
  • error_code: 错误码,0意味着没有发生错误
  • type:事件类型Query
3.3 binlog常用命令
mysql> show binlog events;   #只查看第一个binlog文件的内容
mysql> show binlog events in 'mysql-bin.000002';#查看指定binlog文件的内容
mysql> show binary logs;  #获取binlog文件列表
mysql> show master status; #查看当前正在写入的binlog文件
3.4 切换binlog的模式
mysql> show global variables like '%binlog_format%';
+---------------+-----------+
| Variable_name | Value     |
+---------------+-----------+
| binlog_format | STATEMENT |
+---------------+-----------+
1 row in set (0.00 sec)
 
mysql> SET global binlog_format = 'ROW';
Query OK, 0 rows affected (0.02 sec)
 
mysql> show global variables like '%binlog_format%';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| binlog_format | ROW   |
+---------------+-------+
1 row in set (0.00 sec)

参考文章:

https://blog.csdn.net/ljb825802164/article/details/105098174

https://www.jianshu.com/p/ea666baf0d82

https://blog.csdn.net/wwwdc1012/article/details/88373440

https://dev.mysql.com/doc/refman/5.7/en/replication-sbr-rbr.html

https://www.cnblogs.com/liujiacai/p/7669058.html

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
3月前
|
存储 SQL 关系型数据库
mysql 的ReLog和BinLog区别
MySQL中的重做日志和二进制日志是确保数据库稳定性和可靠性的关键组件。重做日志主要用于事务的持久性和原子性,通过记录数据页的物理修改信息来恢复未提交的事务;而二进制日志记录SQL语句的逻辑变化,支持数据复制、恢复和审计。两者在写入时机、存储方式及配置参数等方面存在显著差异。
106 6
|
1月前
|
存储 SQL 关系型数据库
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log、原理、写入过程;binlog与redolog区别、update语句的执行流程、两阶段提交、主从复制、三种日志的使用场景;查询日志、慢查询日志、错误日志等其他几类日志
121 35
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log
|
9天前
|
存储 SQL 关系型数据库
mysql的undo log、redo log、bin log、buffer pool
MySQL的undo log、redo log、bin log和buffer pool是确保数据库高效、安全和可靠运行的关键组件。理解这些组件的工作原理和作用,对于优化数据库性能和保障数据安全具有重要意义。通过适当的配置和优化,可以显著提升MySQL的运行效率和数据可靠性。
32 16
|
8天前
|
存储 SQL 关系型数据库
mysql的undo log、redo log、bin log、buffer pool
MySQL的undo log、redo log、bin log和buffer pool是确保数据库高效、安全和可靠运行的关键组件。理解这些组件的工作原理和作用,对于优化数据库性能和保障数据安全具有重要意义。通过适当的配置和优化,可以显著提升MySQL的运行效率和数据可靠性。
20 4
|
6天前
|
SQL 存储 关系型数据库
简单聊聊MySQL的三大日志(Redo Log、Binlog和Undo Log)各有什么区别
在MySQL数据库管理中,理解Redo Log(重做日志)、Binlog(二进制日志)和Undo Log(回滚日志)至关重要。Redo Log确保数据持久性和崩溃恢复;Binlog用于主从复制和数据恢复,记录逻辑操作;Undo Log支持事务的原子性和隔离性,实现回滚与MVCC。三者协同工作,保障事务ACID特性。文章还详细解析了日志写入流程及可能的异常情况,帮助深入理解数据库日志机制。
|
3月前
|
SQL 关系型数据库 MySQL
数据库灾难应对:MySQL误删除数据的救赎之道,技巧get起来!之binlog
《数据库灾难应对:MySQL误删除数据的救赎之道,技巧get起来!之binlog》介绍了如何利用MySQL的二进制日志(Binlog)恢复误删除的数据。主要内容包括: 1. **启用二进制日志**:在`my.cnf`中配置`log-bin`并重启MySQL服务。 2. **查看二进制日志文件**:使用`SHOW VARIABLES LIKE 'log_%';`和`SHOW MASTER STATUS;`命令获取当前日志文件及位置。 3. **创建数据备份**:确保在恢复前已有备份,以防意外。 4. **导出二进制日志为SQL语句**:使用`mysqlbinlog`
143 2
|
3月前
|
SQL 存储 缓存
MySQL进阶突击系列(02)一条更新SQL执行过程 | 讲透undoLog、redoLog、binLog日志三宝
本文详细介绍了MySQL中update SQL执行过程涉及的undoLog、redoLog和binLog三种日志的作用及其工作原理,包括它们如何确保数据的一致性和完整性,以及在事务提交过程中各自的角色。同时,文章还探讨了这些日志在故障恢复中的重要性,强调了合理配置相关参数对于提高系统稳定性的必要性。
|
6月前
|
canal 消息中间件 关系型数据库
Canal作为一款高效、可靠的数据同步工具,凭借其基于MySQL binlog的增量同步机制,在数据同步领域展现了强大的应用价值
【9月更文挑战第1天】Canal作为一款高效、可靠的数据同步工具,凭借其基于MySQL binlog的增量同步机制,在数据同步领域展现了强大的应用价值
1137 4
|
7月前
|
SQL 关系型数据库 MySQL
【揭秘】MySQL binlog日志与GTID:如何让数据库备份恢复变得轻松简单?
【8月更文挑战第22天】MySQL的binlog日志记录数据变更,用于恢复、复制和点恢复;GTID为每笔事务分配唯一ID,简化复制和恢复流程。开启binlog和GTID后,可通过`mysqldump`进行逻辑备份,包含binlog位置信息,或用`xtrabackup`做物理备份。恢复时,使用`mysql`命令执行备份文件,或通过`innobackupex`恢复物理备份。GTID模式下的主从复制配置更简便。
837 2
|
7月前
|
SQL 关系型数据库 MySQL
【MySQL】根据binlog日志获取回滚sql的一个开发思路
【MySQL】根据binlog日志获取回滚sql的一个开发思路