MySQL的binlog有啥用?谁写的?在哪里?怎么配置

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
日志服务 SLS,月写入数据量 50GB 1个月
简介: 算上这一篇文章,白日梦的MySQL专题已经写了18篇了。前面的文章中有跟大家分享过undo log、redo log、以及接下来要有几篇文章跟大家分享bin log。

一、唠嗑#


文章公号 首发!连载中!关注微信公号回复:“抽奖” 还可参加抽📖活动

算上这一篇文章,白日梦的MySQL专题已经写了18篇了。前面的文章中有跟大家分享过undo log、redo log、以及接下来要有几篇文章跟大家分享bin log。


前一阵跟一个同学唠嗑,说到了MySQL的这几个日志。那同学就感觉这几个日志挺深奥的挺难懂的。其实不用这么吓唬自己。


就比如说这几个日志,你有没有想过MySQL为啥要写日志呢?写日志就得有磁盘IO、不写不香吗?速度、性能还会变快。其实不然,MySQL会写日志,是因为记录下的日志能赋予MySQL一定的能力。


比如undo log让mysql有回滚事物的能力,redo log让mysql有崩溃恢复的能力,以及我们现在说的bin log让MySQL有搭建集群、数据备份、恢复数据的能力。

那你说,我不想让MySQL记录那些日志不行吗?肯定行啊!甚至默认情况下,MySQL都不会主动为你记录bin log ,但是话说回来,你不让它写那些日志,它就没有相应的能力给你用。是吧!所以综合来说,写日志还是很香的。

知道了这些,再去学相关的知识点是不是目的性很强了呢?关于undo log、redo log白日梦前面已经和大家分享过了,知无不言的那种分享哈,如果你又有感觉了,欢迎关注我然后去翻看。


对于大部分研发同学来说,肯定听说过bin log。然后却不一定知道binlog在哪里?谁写的?怎么配置binlog?以及binlog有啥用。所以接下来的几篇文章,我们一起看看binlog的二三事,让你更好的理解binlog。


二、什么是bin log?#


bin log是MySQL的二进制日志文件,翻译成中文名反到是感觉怪怪的。所以说下面直接称他为binlog。


我们都知道MySQL分为两大部分。上层是MySQL-Server,下层是可插拔的存储引擎。


binlog就是由MySQL的Server层产生。


三、它在哪里?#


binlog存放的位置由datadir参数控制。


你可以通过下面的方式查看到它


知道了binlog具体在哪里,你就可以看一眼,如下


目录下有两种文件:mysql-bin.0000XX 和 mysql-bin.index

前者保存着对MySQL更改的逻辑

而后者长下面这样,估计你一看就懂了~



四、bin log的相关配置#


一般关于binlog的配置都写在MySQL的配置文件中: my.cnf , 以方便启动mysql时直接让这些配置生效


作为了解,你可以大概搂一眼binlog的配置项


[mysqld]
# binlog相关配置
# 指定binlog日志存储的位置
datadir                  = /home/mysql/mysql/var
# 规范binlog的命名为 mysql-bin.0000XX
# 如果加这行配置,binlog文件名为主机名
log-bin                  = mysql-bin
# 索引当前所有的binlog
log-bin-index            = mysql-bin.index
# 最大的大小
max_binlog_size          = 1G
# binlog的sync时机
sync-binlog              = 1
# binlog的格式
binlog-format            = ROW
# 保留七天的binlog
expire_logs_days = 7


五、binlog 有啥用?#


如果说redolog中记录的是偏向物理层面的记录,如:对哪个数据页的那个记录做了什么修改。


那么binlog中记录的是偏向逻辑层面的记录:如:对xxx表中的id=yyy的行做做了什么修改,更改后的值是什么。


binlog不会记录你的 select 、show这类的操作。


你可以在query log中找到曾经执行过的诸如select、show这种仅查询的SQL。


常见的binlog有如下的作用。

  1. delete没加where条件?不慌!binlog可以帮你恢复数据
  2. 搭建一套一主两从的MySQL集群,binlog帮你完成主从的数据同步。
  3. 审计,通过分析binlog可以排查是否存在SQL注入攻击。


但是你知道吗?


默认binlog是不开启的。因为开启binlog后会稍微降低一点mysql的性能(1%)。

但是开启binlog后你就可以搭建MySQL集群,排查SQL注入,恢复误删的数据。所以线上的MySQL集群都是开启binlog的,是不是感觉开启binlog很有保障!很香呢?


六、超有用的参数 sql_log_bin#


跟大家分享一种线上实际存在的场景,你就能知道该参数的妙用了。


比如你线上使用的是一个一主两从的MySQL集群,然后有一个活动来了,你需要给线上某库的某数据表添加一列,并且这个表里面的数量非常之庞大。


添加一列是需要获取表锁的,并且庞大的数据量让你alter table异常缓慢,在获取表锁的过程中,正常的DML也会被阻塞。这时你就得考虑无损DDL,比如golang的ghost(怎么做的无损ddl原理我后门的文章会写的,本篇不展开)。


ghost工具的特点是,它需要预执行一些SQL目的是先校验一下你的集群符不符合它的要求,为了不对线上产生影响,你肯定会想把这些预执行的sql放到从库上执行。放在从库上执行固然没问题,但是你执行的sql会产生bin log。出现新的GTID(后面讲MySQL集群时会跟大家分享,这里你只需要理解成是一个事物的唯一标识就行)更要命的是,主库中没有这些GTID。


当主从都正常运行时,主从bin log不一致没关系,但是当从库宕机的时候,从库重启会将自己的GTID集合发送给主库,由于从库多出来一部分主库没有的GTID,会导致该从库不能再次加入集群。


其实这个问题也好解决。使用这个参数 sql_log_bin

sql_log_bin变量控制是否为当前会话启用到二进制日志的日志记录(假设二进制日志本身已启用)。默认值为ON。要为当前会话禁用或启用二进制日志记录,请将会话sql_log_bin变量设置为 OFFON

全局sql_log_bin变量是只读的,无法修改。


七、未来几篇文章#


本文到这里就行将结束了,概括性的在各个方面讲述了一下binlog,让你对binlog有了一个大概的了解。


在后续的几篇文章中我会尝试针对binlog的某个点展开问答式的叙述。如下,欢迎关注,敬请期待。


binlog的写入时机?binlog到底长啥样?有哪些格式?各种格式的binlog的优缺点?恢复数据?


关于 “搭建一套一主两从的MySQL集群,binlog帮你完成主从的数据同步。”会放在MySQL集群部分穿插串讲起来。


参考:

https://dev.mysql.com/doc/refman/5.7/en/binary-log.html

https://dev.mysql.com/doc/refman/5.7/en/replication-options-binary-log.html

https://dev.mysql.com/doc/refman/5.7/en/set-sql-log-bin.html


推荐阅读#


  1. 大家常说的基数是什么?(已发布)
  2. 讲讲什么是慢查!如何监控?如何排查?(已发布)
  3. 对NotNull字段插入Null值有啥现象?(已发布)
  4. 能谈谈 date、datetime、time、timestamp、year的区别吗?(已发布)
  5. 了解数据库的查询缓存和BufferPool吗?谈谈看!(已发布)
  6. 你知道数据库缓冲池中的LRU-List吗?(已发布)
  7. 谈谈数据库缓冲池中的Free-List?(已发布)
  8. 谈谈数据库缓冲池中的Flush-List?(已发布)
  9. 了解脏页刷回磁盘的时机吗?(已发布)
  10. 用十一张图讲清楚,当你CRUD时BufferPool中发生了什么!以及BufferPool的优化!(已发布)
  11. 听说过表空间没?什么是表空间?什么是数据表?(已发布)
  12. 谈谈MySQL的:数据区、数据段、数据页、数据页究竟长什么样?了解数据页分裂吗?谈谈看!(已发布)
  13. 谈谈MySQL的行记录是什么?长啥样?(已发布)
  14. 了解MySQL的行溢出机制吗?(已发布)
  15. 说说fsync这个系统调用吧! (已发布)
  16. 简述undo log、truncate、以及undo log如何帮你回滚事物! (已发布)
  17. 我劝!这位年轻人不讲MVCC,耗子尾汁! (已发布)
  18. MySQL的崩溃恢复到底是怎么回事? (已发布)
  19. MySQL的binlog有啥用?谁写的?在哪里?怎么配置 (已发布)


相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
12天前
|
存储 SQL 关系型数据库
mysql 的ReLog和BinLog区别
MySQL中的重做日志和二进制日志是确保数据库稳定性和可靠性的关键组件。重做日志主要用于事务的持久性和原子性,通过记录数据页的物理修改信息来恢复未提交的事务;而二进制日志记录SQL语句的逻辑变化,支持数据复制、恢复和审计。两者在写入时机、存储方式及配置参数等方面存在显著差异。
|
11天前
|
SQL 存储 缓存
MySQL进阶突击系列(02)一条更新SQL执行过程 | 讲透undoLog、redoLog、binLog日志三宝
本文详细介绍了MySQL中update SQL执行过程涉及的undoLog、redoLog和binLog三种日志的作用及其工作原理,包括它们如何确保数据的一致性和完整性,以及在事务提交过程中各自的角色。同时,文章还探讨了这些日志在故障恢复中的重要性,强调了合理配置相关参数对于提高系统稳定性的必要性。
|
29天前
|
关系型数据库 MySQL 数据库
【赵渝强老师】MySQL的binlog日志文件
MySQL的binlog日志记录了所有对数据库的更改操作(不包括SELECT和SHOW),主要用于主从复制和数据恢复。binlog有三种模式,可通过设置binlog_format参数选择。示例展示了如何启用binlog、设置格式、查看日志文件及记录的信息。
|
1月前
|
存储 SQL 关系型数据库
mysql 的ReLog和BinLog区别
MySQL中的重做日志(Redo Log)和二进制日志(Binary Log)是两种重要的日志系统。重做日志主要用于保证事务的持久性和原子性,通过记录数据页的物理修改信息来恢复未提交的事务更改。二进制日志则记录了数据库的所有逻辑变化操作,用于数据的复制、恢复和审计。两者在写入时机、存储方式、配置参数和使用范围上有所不同,共同确保了数据库的稳定性和可靠性。
|
1月前
|
存储 SQL 关系型数据库
2024Mysql And Redis基础与进阶操作系列(1)作者——LJS[含MySQL的下载、安装、配置详解步骤及报错对应解决方法]
Mysql And Redis基础与进阶操作系列(1)之[MySQL的下载、安装、配置详解步骤及报错对应解决方法]
|
1月前
|
关系型数据库 MySQL Linux
在 CentOS 7 中通过编译源码方式安装 MySQL 数据库的详细步骤,包括准备工作、下载源码、编译安装、配置 MySQL 服务、登录设置等。
本文介绍了在 CentOS 7 中通过编译源码方式安装 MySQL 数据库的详细步骤,包括准备工作、下载源码、编译安装、配置 MySQL 服务、登录设置等。同时,文章还对比了编译源码安装与使用 RPM 包安装的优缺点,帮助读者根据需求选择最合适的方法。通过具体案例,展示了编译源码安装的灵活性和定制性。
128 2
|
2月前
|
SQL 关系型数据库 MySQL
Mysql中搭建主从复制原理和配置
主从复制在数据库管理中广泛应用,主要优点包括提高性能、实现高可用性、数据备份及灾难恢复。通过读写分离、从服务器接管、实时备份和地理分布等机制,有效增强系统的稳定性和数据安全性。主从复制涉及I/O线程和SQL线程,前者负责日志传输,后者负责日志应用,确保数据同步。配置过程中需开启二进制日志、设置唯一服务器ID,并创建复制用户,通过CHANGE MASTER TO命令配置从服务器连接主服务器,实现数据同步。实验部分展示了如何在两台CentOS 7服务器上配置MySQL 5.7主从复制,包括关闭防火墙、配置静态IP、设置域名解析、配置主从服务器、启动复制及验证同步效果。
Mysql中搭建主从复制原理和配置
|
2月前
|
存储 关系型数据库 MySQL
MySQL中的Redo Log、Undo Log和Binlog:深入解析
【10月更文挑战第21天】在数据库管理系统中,日志是保障数据一致性和完整性的关键机制。MySQL作为一种广泛使用的关系型数据库管理系统,提供了多种日志类型来满足不同的需求。本文将详细介绍MySQL中的Redo Log、Undo Log和Binlog,从背景、业务场景、功能、底层实现原理、使用措施等方面进行详细分析,并通过Java代码示例展示如何与这些日志进行交互。
188 0
|
8天前
|
关系型数据库 MySQL 数据库
Python处理数据库:MySQL与SQLite详解 | python小知识
本文详细介绍了如何使用Python操作MySQL和SQLite数据库,包括安装必要的库、连接数据库、执行增删改查等基本操作,适合初学者快速上手。
71 15
|
2天前
|
SQL 关系型数据库 MySQL
数据库数据恢复—Mysql数据库表记录丢失的数据恢复方案
Mysql数据库故障: Mysql数据库表记录丢失。 Mysql数据库故障表现: 1、Mysql数据库表中无任何数据或只有部分数据。 2、客户端无法查询到完整的信息。