浅谈MySQL Binlog

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 RDS PostgreSQL,集群系列 2核4GB
简介: 浅谈MySQL Binlog

1 什么是binlog?

binlog是二进制日志文件,用于记录mysql的数据更新或者潜在更新状况,在mysql主从复制中就是依靠的binlog。可以通过语句“show binlog events in ‘binlogfile’”来查看binlog的具体事件类型。binlog记录的所有操作实际上都有对应的事件类型的,MySQL binlog的三种工作模式:

  • Row level(行记录)简介:
  • 日志中会记录每一行数据被修改的情况,然后在slave端对相同的数据进行修改。
  • 优点:
  • 所有更改都可以复制。这是最安全的复制形式。
  • 对于以下类型的语句,源上需要更少的行锁,从而实现更高的并发性:
  • INSERT ... SELECT
  • INSERTAUTO_INCREMENT
  • UPDATE``DELETE带有WHERE不使用键或不更改大多数检查行的子句的语句 。
  • 需要的行锁更少 。
  • 缺点:
  • RBR 可以生成更多必须记录的数据。写入数据可能会导致并发问题。用
  • 无法在副本上看到从源接收并执行了哪些语句。
  • 对于使用MyISAM 存储引擎的表,INSERT当将它们作为基于行的事件应用于二进制日志时,语句的副本需要比将它们作为语句应用时更强的锁。这意味着MyISAM在使用基于行的复制时不支持对表的并发插入。
  • Statement level(语句记录,默认)简介:
  • 每一条被修改数据的sql都会记录到master的bin-log中,slave在复制的时候sql进程会解析成和原来master端执行过的相同的sql再次执行。在主从同步中一般是不建议用statement模式的,因为会有些语句不支持,比如语句中包含UUID函数,以及LOAD DATA IN FILE语句等
  • 优点:
  • 写入日志文件的数据更少。当更新或删除影响许多行时,这会导致 日志文件所需的存储空间少得多。这也意味着可以更快地完成备份和恢复。
  • 日志文件包含进行了任何更改的所有语句,因此它们可用于审计数据库。
  • 缺点:
  • INSERT ... SELECT与基于行的复制相比,需要更多的行级锁。
  • UPDATE需要表扫描的语句,必须比基于行的复制锁定更多的行。
  • 对于InnoDBINSERT使用 AUTO_INCREMENT阻塞其他非冲突INSERT语句的语句。
  • 对于复杂语句,必须在更新或插入行之前在副本上评估和执行语句。使用基于行的复制,副本只需要修改受影响的行,而不是执行完整的语句。
  • 如果对副本进行评估时出现错误,尤其是在执行复杂语句时,则基于语句的复制可能会随着时间的推移慢慢增加受影响行的误差幅度。
  • 存储函数以与NOW()调用语句相同的值执行 。但是,这不适用于存储过程。
  • 必须在副本上应用确定性可加载函数。
  • 表定义在源和副本上必须(几乎)相同。
  • Mixed(混合模式)简介:
  • 结合了Row level和Statement level的优点,同时binlog结构也更复杂。

binlog的格式:

2 binlog有什么作用?

  • MySQL主从复制:MySQL Replication在Master端开启binlog,Master把它的二进制日志传递给slaves来达到master-slave数据一致的目的
  • 数据恢复:通过使用 mysqlbinlog工具来使恢复数据

3 binlog的常用操作

3.1 启动和关闭binlog

启动binlog,修改配置文件并重启:

[root@iZ2ze4m2ri7irkf6h6n8zoZ mysql]# vim /etc/my.cnf
############追加以下内容#############
[mysqld]
#开启binlog,提前建好/home/mysql/binlog文件名称
log-bin=/home/mysql/binlog
############追加内容完成#############
[root@iZ2ze4m2ri7irkf6h6n8zoZ mysql]# service mysql restart

关闭binlog:

删除配置文件中相应的内容

查看binlog是否开启:

mysql> show variables like 'log_bin';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| log_bin       | ON    |
+---------------+-------+
1 row in set (0.00 sec)
3.2 查看binlog

先在mysql中看binlog 文件的名称

mysql> show binary logs;
+---------------+-----------+
| Log_name      | File_size |
+---------------+-----------+
| binlog.000001 |       412 |
+---------------+-----------+
1 row in set (0.00 sec)

根据binlog名称查看binlog内容

[root@iZ2ze4m2ri7irkf6h6n8zoZ mysql]# mysqlbinlog binlog.000001
/*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=1*/;
/*!40019 SET @@session.max_insert_delayed_threads=0*/;
/*!50003 SET @OLD_COMPLETION_TYPE=@@COMPLETION_TYPE,COMPLETION_TYPE=0*/;
DELIMITER /*!*/;
# at 4
#211122 15:36:30 server id 1  end_log_pos 107   Start: binlog v 4, server v 5.5.62-log created 211122 15:36:30 at startup
# Warning: this binlog is either in use or was not closed properly.
ROLLBACK/*!*/;
BINLOG '
fkibYQ8BAAAAZwAAAGsAAAABAAQANS41LjYyLWxvZwAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA
AAAAAAAAAAAAAAAAAAB+SJthEzgNAAgAEgAEBAQEEgAAVAAEGggAAAAICAgCAA==
'/*!*/;
# at 107
#211122 15:38:14 server id 1  end_log_pos 220   Query thread_id=1 exec_time=0 error_code=0
use `test`/*!*/;
SET TIMESTAMP=1637566694/*!*/;
SET @@session.pseudo_thread_id=1/*!*/;
SET @@session.foreign_key_checks=1, @@session.sql_auto_is_null=0, @@session.unique_checks=1, @@session.autocommit=1/*!*/;
SET @@session.sql_mode=0/*!*/;
SET @@session.auto_increment_increment=1, @@session.auto_increment_offset=1/*!*/;
/*!\C utf8 *//*!*/;
SET @@session.character_set_client=33,@@session.collation_connection=33,@@session.collation_server=33/*!*/;
SET @@session.lc_time_names=0/*!*/;
SET @@session.collation_database=DEFAULT/*!*/;
create table student(id int(10),name varchar(20) )
/*!*/;
# at 220
#211122 15:38:40 server id 1  end_log_pos 288   Query thread_id=1 exec_time=0 error_code=0
SET TIMESTAMP=1637566720/*!*/;
BEGIN
/*!*/;
# at 288
#211122 15:38:40 server id 1  end_log_pos 385   Query thread_id=1 exec_time=0 error_code=0
SET TIMESTAMP=1637566720/*!*/;
insert into student values(1,"zs")
/*!*/;
# at 385
#211122 15:38:40 server id 1  end_log_pos 412   Xid = 12
COMMIT/*!*/;
DELIMITER ;
# End of log file
ROLLBACK /* added by mysqlbinlog */;
/*!50003 SET COMPLETION_TYPE=@OLD_COMPLETION_TYPE*/;
/*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=0*/;

上面输出包括信息:

  • position: 位于文件中的位置,即第一行的,说明该事件记录从文件第21019个字节开始
  • timestamp: 事件发生的时间戳。
  • server id: 服务器标识。
  • end_log_pos 表示下一个事件开始的位置(即当前事件的结束位置+1)
  • thread_id: 执行该事件的线程id 。
  • exec_time: 事件执行的花费时间
  • error_code: 错误码,0意味着没有发生错误
  • type:事件类型Query
3.3 binlog常用命令
mysql> show binlog events;   #只查看第一个binlog文件的内容
mysql> show binlog events in 'mysql-bin.000002';#查看指定binlog文件的内容
mysql> show binary logs;  #获取binlog文件列表
mysql> show master status; #查看当前正在写入的binlog文件
3.4 切换binlog的模式
mysql> show global variables like '%binlog_format%';
+---------------+-----------+
| Variable_name | Value     |
+---------------+-----------+
| binlog_format | STATEMENT |
+---------------+-----------+
1 row in set (0.00 sec)
 
mysql> SET global binlog_format = 'ROW';
Query OK, 0 rows affected (0.02 sec)
 
mysql> show global variables like '%binlog_format%';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| binlog_format | ROW   |
+---------------+-------+
1 row in set (0.00 sec)

参考文章:

https://blog.csdn.net/ljb825802164/article/details/105098174

https://www.jianshu.com/p/ea666baf0d82

https://blog.csdn.net/wwwdc1012/article/details/88373440

https://dev.mysql.com/doc/refman/5.7/en/replication-sbr-rbr.html

https://www.cnblogs.com/liujiacai/p/7669058.html

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
2月前
|
canal 消息中间件 关系型数据库
Canal作为一款高效、可靠的数据同步工具,凭借其基于MySQL binlog的增量同步机制,在数据同步领域展现了强大的应用价值
【9月更文挑战第1天】Canal作为一款高效、可靠的数据同步工具,凭借其基于MySQL binlog的增量同步机制,在数据同步领域展现了强大的应用价值
632 4
|
3月前
|
SQL 关系型数据库 MySQL
【揭秘】MySQL binlog日志与GTID:如何让数据库备份恢复变得轻松简单?
【8月更文挑战第22天】MySQL的binlog日志记录数据变更,用于恢复、复制和点恢复;GTID为每笔事务分配唯一ID,简化复制和恢复流程。开启binlog和GTID后,可通过`mysqldump`进行逻辑备份,包含binlog位置信息,或用`xtrabackup`做物理备份。恢复时,使用`mysql`命令执行备份文件,或通过`innobackupex`恢复物理备份。GTID模式下的主从复制配置更简便。
381 2
|
3月前
|
SQL 关系型数据库 MySQL
【MySQL】根据binlog日志获取回滚sql的一个开发思路
【MySQL】根据binlog日志获取回滚sql的一个开发思路
|
12天前
|
存储 SQL 关系型数据库
mysql 的ReLog和BinLog区别
MySQL中的重做日志(Redo Log)和二进制日志(Binary Log)是两种重要的日志系统。重做日志主要用于保证事务的持久性和原子性,通过记录数据页的物理修改信息来恢复未提交的事务更改。二进制日志则记录了数据库的所有逻辑变化操作,用于数据的复制、恢复和审计。两者在写入时机、存储方式、配置参数和使用范围上有所不同,共同确保了数据库的稳定性和可靠性。
|
2月前
|
消息中间件 canal 关系型数据库
Maxwell:binlog 解析器,轻松同步 MySQL 数据
Maxwell:binlog 解析器,轻松同步 MySQL 数据
304 11
|
27天前
|
存储 关系型数据库 MySQL
MySQL中的Redo Log、Undo Log和Binlog:深入解析
【10月更文挑战第21天】在数据库管理系统中,日志是保障数据一致性和完整性的关键机制。MySQL作为一种广泛使用的关系型数据库管理系统,提供了多种日志类型来满足不同的需求。本文将详细介绍MySQL中的Redo Log、Undo Log和Binlog,从背景、业务场景、功能、底层实现原理、使用措施等方面进行详细分析,并通过Java代码示例展示如何与这些日志进行交互。
58 0
|
3月前
|
关系型数据库 MySQL Shell
MySQL回滚脚本: 误操作delete binlog回滚shell脚本
MySQL回滚脚本: 误操作delete binlog回滚shell脚本
|
8天前
|
SQL 关系型数据库 MySQL
12 PHP配置数据库MySQL
路老师分享了PHP操作MySQL数据库的方法,包括安装并连接MySQL服务器、选择数据库、执行SQL语句(如插入、更新、删除和查询),以及将结果集返回到数组。通过具体示例代码,详细介绍了每一步的操作流程,帮助读者快速入门PHP与MySQL的交互。
23 1
|
10天前
|
SQL 关系型数据库 MySQL
go语言数据库中mysql驱动安装
【11月更文挑战第2天】
25 4
|
17天前
|
监控 关系型数据库 MySQL
数据库优化:MySQL索引策略与查询性能调优实战
【10月更文挑战第27天】本文深入探讨了MySQL的索引策略和查询性能调优技巧。通过介绍B-Tree索引、哈希索引和全文索引等不同类型,以及如何创建和维护索引,结合实战案例分析查询执行计划,帮助读者掌握提升查询性能的方法。定期优化索引和调整查询语句是提高数据库性能的关键。
85 1