MySQL日志binlog的三种模式

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
日志服务 SLS,月写入数据量 50GB 1个月
云数据库 RDS MySQL,高可用系列 2核4GB
简介:

1        三种模式的介绍

二进制日志binlog作用:

1、以二进制形式记录更改数据库的SQL语句(insert,update,delete,create,drop,alter等)

2、用于Mysql主从复制

3、增量数据库备份及恢复

1.1  Row模式

日志会记录成每一行数据被修改成的形式,然后再slave端再对相同的数据进行修改,只记录要修改的数据,只有value,不会有sql多表关联的情况。

优点:在row模式下,bin-log中可以不记录执行的sql语句的上下文相关信息,仅仅需要记录哪一条记录被修改了,修改成什么信样了,所以row的日志内容会非常清楚的记录下每一行数据修改的细节,非常容易理解。而且不会出现在某些特定情况下的存储过程和function,以及trigger的调用和处罚无法被正确复制问题。

缺点:在row模式下,所有执行的语句当记录到日志中的时候,都将以每行记录的修改来记录,这样可能会产生大量的日志内容。比如有这样一条update语句:updateproduct set name='gongli' 这条语句不是记录的一条,而是修改每一条的都会记录下来

1.2  Statement模式

每一条会修改数据的sql都会记录到masterbinlog中,slave在复制的时候sql进程会解析成和原来master端相同的sql再执行。

优点:在Statement模式下首先就是解决了row模式下的缺点,不需要记录记录每一行日志的变化,减少了bin-log日志量,节省了I/O以及存储资源,提高性能。因为它们只需要激励在master上所执行的语句的细节以及执行语句时候的上下文信息。

缺点:在Statement模式下,由于它记录的执行语句,所以,为了让这些语句在slave端也能正确执行,那么它还必须记录每条语句在执行的时候的一些相关信息,也就是上下文信息,以保证所有语句在slave端被执行的时候能够得到和在master端执行时候的结果。另外,由于MySQL现在发展较快,很多的新功能不断的加入,使MySQL的复制遇到了不小的挑战,自然复制的时候涉及到越复杂的内容,bug也就越容易出现。在Statement中,目前已经发现不少情况会造成MySQL的复制出现问题,主要是修改数据的时候使用了某些特定的函数或者功能的时候会出现。比如:sleep()函数在有些版本中就不能直接复制,在存储过程中使用了last_insert_id()函数,可能会使slavemaster上得到不一致的id等等。由于rowlevel是基于每一行来记录的变化,所以不会出现类似的问题

1.3  Mixed模式

从官方文档中看到,之前的MySQL一直都只有基于Statement的复制模式,知道5.1.5版本的MySQL才开始支持row模式。从5.0开始,MySQL的复制已经解决了大量老版本中出现的无法正确复制的问题。但是由于存储过程的出现,给MySQL replication又带来了更大的挑战。另外,看到官方文档说,从5.1.8版本开始,MySQL提供了除Statementrow之外的第三种模式:mixed,实际上就是前两种模式的结合。在mixed模式下,MySQL会根据执行的每一条具体的sql语句来区分对待记录的日志形式,也就是在Statementrow之间选择一种。新版本中的Statement还是和以前一样,仅仅记录执行的语句。而新版本的MySQL中对row模式也做了优化,并不是所有的修改都会以row模式来记录,比如遇到表结构变更的时候就会以Statement模式来记录,如果sql语句确实是update或者delete等修改数据的语句,那么还是会记录所有行的变更。

2        小结

Statement:

优点:记录的简单,内容少

缺点:导致主从不一致

例:

100w条记录

updatetest set name='tintin';

binilog 里面就只用update test set name='tintin';

 

ROW 行级模式

优点:记录数据详细(每行),主从一直

缺点:占用大量的磁盘空间,降低了磁盘的性能

100w条记录

updatetest set name='tintin';

binilog 里面就用100wupdate test set name='tintin';语句

 

MIXED混合模式

100w条记录

updatetest set name='tintin';

binilog 里面就只用update test set name='tintin';

对于函数,触发器,存储过程

会自动的使用row-level模式

1        实战操作

1.1  要想mysql能用三种模式,必须开启binlog功能

[root@db01 ~]# mysql -uroot -p789 -S/data/3306/mysql.sock -e "show variables like '%log_bin%';"         

+---------------------------------+-------+

| Variable_name                   | Value |

+---------------------------------+-------+

| log_bin                        | ON    |

| log_bin_trust_function_creators | OFF   |

| sql_log_bin                     | ON    |

+---------------------------------+-------+

配置文件里面配置

[root@db01 ~]# egrep "log-bin"/data/3306/my.cnf 

log-bin = /data/3306/mysql-bin

1.2  查看当前的binlog日志模式

[root@db01 ~]# mysql -uroot -p789 -S/data/3306/mysql.sock -e "show variables like '%binlog_format%';"

+---------------+-----------+

| Variable_name | Value     |

+---------------+-----------+

| binlog_format | STATEMENT|

+---------------+-----------+

1.3  演示操作

1.3.1         查看当前的binlog文件

[root@db01 3306]# ls

data   mysql-bin.000001 mysql-bin.000004  mysqld.pid

my.cnf mysql-bin.000002 mysql-bin.000005 mysql_oldboy3306.err

mysql  mysql-bin.000003 mysql-bin.index   mysql.sock

[root@db01 3306]# mysqlbinlog mysql-bin.000005

1.3.2         使用mysqlbinlog来查看二进制的binglog文件

wKioL1fEFEWj2_7PAABgkFuSPsw227.jpg-wh_50

1.3.3         模仿操作

update一条数据

mysql> select * from test2;                      

+----+--------+

| id | name  |

+----+--------+

|  1 | oldboy|

|  2 | gongli|

|  3 |inca   |

|  4 |sb     |

|  5 |kaka   |

|  6 |doubi  |

+----+--------+

6 rows in set (0.00 sec)

 

mysql> update test2 set name="laowang"where id=5;

Query OK, 1 row affected (0.01 sec)

Rows matched: 1 Changed: 1  Warnings: 0

 

mysql> select * from test2;                       

+----+---------+

| id | name   |

+----+---------+

|  1 |oldboy  |

|  2 |gongli  |

|  3 |inca    |

|  4 |sb      |

|  5 |laowang |

|  6 |doubi   |

+----+---------+

6 rows in set (0.00 sec)

查看binlog日志记录

[root@db01 3306]# mysqlbinlog mysql-bin.000005

# at 7610

#160828 22:39:12 server id 1  end_log_pos 7717  Query  thread_id=32    exec_time=0        error_code=0

SET TIMESTAMP=1472395152/*!*/;

update test2 set name="laowang" whereid=5

/*!*/;

# at 7717

#160828 22:39:12 server id 1  end_log_pos 7744  Xid = 299

COMMIT/*!*/;

DELIMITER ;

# End of log file

ROLLBACK /* added by mysqlbinlog */;

/*!50003 SETCOMPLETION_TYPE=@OLD_COMPLETION_TYPE*/;

/*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=0*/;

1.4  row模式演示

1.4.1         修改binlogrow模式

mysql> show variables like 'binlog_format';

+---------------+-----------+

| Variable_name | Value     |

+---------------+-----------+

| binlog_format | STATEMENT |

+---------------+-----------+

1 row in set (0.02 sec)

 

mysql> set global binlog_format = 'ROW';

Query OK, 0 rows affected (0.00 sec)

 

mysql> show variables like 'binlog_format';

+---------------+-----------+

| Variable_name | Value     |

+---------------+-----------+

| binlog_format | STATEMENT |

+---------------+-----------+

1 row in set (0.00 sec)

 

mysql> show global variables like'binlog_format';

+---------------+-------+

| Variable_name | Value |

+---------------+-------+

| binlog_format | ROW   |

+---------------+-------+

1 row in set (0.00 sec)

 

临时修改:

mysql> set global binlog_format ='ROW';

永久修改:

修改my.cnf配置文件

1.4.2         对表进行操作

updatetest2

mysql> select * from test2;

+----+---------+

| id | name   |

+----+---------+

|  1 |oldboy  |

|  2 |gongli  |

|  3 |inca    |

|  4 |sb      |

|  5 |laowang |

|  6 |doubi   |

+----+---------+

6 rows in set (0.00 sec)

 

mysql> update test2 setname='dadou';

Query OK, 6 rows affected (0.00 sec)

Rows matched: 6 Changed: 6  Warnings: 0

 

mysql> select * from test2;         

+----+-------+

| id | name |

+----+-------+

|  1 | dadou|

|  2 | dadou|

|  3 | dadou|

|  4 | dadou

1.4.3         查看binlog日志文件

[root@db01 3306]# ls

data   mysql            mysql-bin.000005 mysql-bin.000007  mysql-bin.index  mysql_oldboy3306.err

my.cnf mysql-bin.000004 mysql-bin.000006 mysql-bin.000008  mysqld.pid       mysql.sock

 

[root@db01 3306]# mysqlbinlog mysql-bin.000008

BINLOG '

GP3CVxMBAAAAMQAAAJ0CAAAAACMAAAAAAAEABm9sZGJveQAFdGVzdDIAAgP+Av48AA==

GP3CVxgBAAAAogAAAD8DAAAAACMAAAAAAAEAAv///AEAAAAGb2xkYm95/AEAAAAFZGFkb3X8AgAA

AAZnb25nbGn8AgAAAAVkYWRvdfwDAAAABGluY2H8AwAAAAVkYWRvdfwEAAAAAnNi/AQAAAAFZGFk

b3X8BQAAAAdsYW93YW5n/AUAAAAFZGFkb3X8BgAAAAVkb3ViafwGAAAABWRhZG91  这里我们会看到这些编码

'/*!*/;

# at 831

#160828 23:02:48 server id 1  end_log_pos 858   Xid = 12

COMMIT/*!*/;

DELIMITER ;

# End of log file

ROLLBACK /* added by mysqlbinlog */;

/*!50003 SETCOMPLETION_TYPE=@OLD_COMPLETION_TYPE*/;

/*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=0*/;

查看row模式下的编码

mysqlbinlog --base64-output="decode-rows"--verbose  mysql-bin.000008

再次查看


wKiom1fEFHTwqZzYAAB4WTyumqM113.jpg-wh_50



本文转自 kesungang 51CTO博客,原文链接:http://blog.51cto.com/sgk2011/1843651,如需转载请自行联系原作者

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
相关文章
|
2月前
|
SQL Oracle 关系型数据库
MySQL的sql_mode模式说明及设置
MySQL的sql_mode模式说明及设置
470 112
|
存储 运维 开发工具
警惕日志采集失败的 6 大经典雷区:从本地管理反模式到 LoongCollector 标准实践
本文探讨了日志管理中的常见反模式及其潜在问题,强调科学的日志管理策略对系统可观测性的重要性。文中分析了6种反模式:copy truncate轮转导致的日志丢失或重复、NAS/OSS存储引发的采集不一致、多进程写入造成的日志混乱、创建文件空洞释放空间的风险、频繁覆盖写带来的数据完整性问题,以及使用vim编辑日志文件导致的重复采集。针对这些问题,文章提供了最佳实践建议,如使用create模式轮转日志、本地磁盘存储、单线程追加写入等方法,以降低日志采集风险,提升系统可靠性。最后总结指出,遵循这些实践可显著提高故障排查效率和系统性能。
675 20
|
4月前
|
存储 运维 开发工具
警惕日志采集失败的 6 大经典雷区:从本地管理反模式到 LoongCollector 标准实践
本文总结了日志管理中的六大反模式及优化建议,涵盖日志轮转、存储选择、并发写入等常见问题,帮助提升日志采集的完整性与系统可观测性,适用于运维及开发人员优化日志管理策略。
118 5
|
19天前
|
SQL 运维 关系型数据库
深入探讨MySQL的二进制日志(binlog)选项
总结而言,对MySQL binlogs深度理解并妥善配置对数据库运维管理至关重要;它不仅关系到系统性能优化也是实现高可靠性架构设计必须考虑因素之一。通过精心规划与周密部署可以使得该机能充分发挥作用而避免潜在风险带来影响。
54 6
|
2月前
|
存储 SQL 关系型数据库
MySQL中binlog、redolog与undolog的不同之处解析
每个都扮演回答回溯与错误修正机构角色: BinLog像历史记载员详细记载每件大大小小事件; RedoLog则像紧急救援队伍遇见突發情況追踪最后活动轨迹尽力补救; UndoLog就类似时间机器可倒带历史让一切归位原始样貌同时兼具平行宇宙观察能让多人同时看见各自期望看见历程而互不干扰.
152 9
|
3月前
|
存储 SQL 关系型数据库
MySQL的Redo Log与Binlog机制对照分析
通过合理的配置和细致的管理,这两种日志机制相互配合,能够有效地提升MySQL数据库的可靠性和稳定性。
124 10
|
5月前
|
SQL 监控 关系型数据库
MySQL日志分析:binlog、redolog、undolog三大日志的深度探讨。
数据库管理其实和写小说一样,需要规划,需要修订,也需要有能力回滚。理解这些日志的作用与优化,就像把握写作工具的使用与运用,为我们的数据库保驾护航。
213 23
|
5月前
|
存储 关系型数据库 MySQL
【赵渝强老师】OceanBase数据库从零开始:MySQL模式
《OceanBase数据库从零开始:MySQL模式》是一门包含11章的课程,涵盖OceanBase分布式数据库的核心内容。从体系架构、安装部署到租户管理、用户安全,再到数据库对象操作、事务与锁机制,以及应用程序开发、备份恢复、数据迁移等方面进行详细讲解。此外,还涉及连接路由管理和监控诊断等高级主题,帮助学员全面掌握OceanBase数据库的使用与管理。
275 5
|
5月前
|
监控 容灾 算法
阿里云 SLS 多云日志接入最佳实践:链路、成本与高可用性优化
本文探讨了如何高效、经济且可靠地将海外应用与基础设施日志统一采集至阿里云日志服务(SLS),解决全球化业务扩展中的关键挑战。重点介绍了高性能日志采集Agent(iLogtail/LoongCollector)在海外场景的应用,推荐使用LoongCollector以获得更优的稳定性和网络容错能力。同时分析了多种网络接入方案,包括公网直连、全球加速优化、阿里云内网及专线/CEN/VPN接入等,并提供了成本优化策略和多目标发送配置指导,帮助企业构建稳定、低成本、高可用的全球日志系统。
629 54

推荐镜像

更多