MySQL日志必知必会

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: 在日常的开发中,我们都会习惯记录日志,通过日志我们可以记录程序在何时何种情况发生过何种事情,有助于我们快速地定位bug和修复bug。在任何一种数据库中,也有着各种各样的日志,记录着数据库工作的方方面面,以帮助数据库管理员追踪数据库曾经发生过的各种事情。在MySQL中,有着四种不同的日志,它们分别是错误日志,二进制日志(也叫BINLOG日志),查询日志以及慢日志。今天这篇文章就来说说,MySQL的这四种常用的日志!

1 前言


在日常的开发中,我们都会习惯记录日志,通过日志我们可以记录程序在何时何种情况发生过何种事情,有助于我们快速地定位bug和修复bug。在任何一种数据库中,也有着各种各样的日志,记录着数据库工作的方方面面,以帮助数据库管理员追踪数据库曾经发生过的各种事情。在MySQL中,有着四种不同的日志,它们分别是错误日志,二进制日志(也叫BINLOG日志),查询日志以及慢日志。今天这篇文章就来说说,MySQL的这四种常用的日志!


2 正文


一、错误日志


错误日志是MySQL中最为重要的日志之一,它主要记录了当MySQL启动和停止时,以及服务器在运行过程中发生任何严重的错误时的相关信息,当数据库出现任何故障而导致无法正常工作时,可以通过查看错误日志,来了解具体情况。

错误日志默认时开启的,默认存放目录为MySQL的数据目录,默认的日志文件名为hostname.err(hostname是主机名)。

可以通过以下命令查看日志位置:


show variables like 'log_err%'
复制代码


322943cc50244374acfe6073efefd49d~tplv-k3u1fbpfcp-zoom-in-crop-mark_1304_0_0_0.webp.jpg


打开后日志内容如下:


39652d78fdc7469aba31770b25b46f48~tplv-k3u1fbpfcp-zoom-in-crop-mark_1304_0_0_0.webp.jpg


二、二进制日志


二进制日志又叫BINLOG,记录了所有的DDL(数据定义语言)语句和DML(数据操纵语言)语句,但不包括DQL(数据查询语句),此日志对于故障时的数据恢复起着很重要的作用,MySQL的主从复制,就是通过该日志实现的。


BINLOG默认情况下并不是开启的,需要到MySQL的配置文件中开启,并且配置MySQL日志的格式,比如:


#配置开启binlog日志,日志的文件前缀为mysqlbin
log_bin=mysqlbin
#配置二进制日志的格式
binlog_format=STATEMENT
复制代码


配置时,给定了文件名但是没有指定路径,日志默认写入了mysql的数据目录。生成的文件名如:


mysqlbin.00001,
mysqlbin.00002
......
复制代码


BINLOG的日志有三种格式:STATEMENT、ROW、MIXED


STATEMENT:该日志格式在日志文件中记录的都是SQL语句(STATEMENT),每一条对数据进行修改的SQL语句都会被记录在日志中。通过MySQL提供的mysqlbinlog工具,可以清晰的查看到每条语句的文本在主从复制的时候,从库(slave)会将日志解析为原文本,并在从库重新执行一次。


ROW:该日志格式在日志文件中记录的时每一行数据的变更,而不是记录SQL语句,比如在执行SQL语句:


update user set name='tom'
复制代码


如果是statement日志格式,那么会在日志中记录每一行sql文件,而如果是row日志格式,由于是对全表进行更新,也就是每一行记录都会发生变更,ROW格式的日志中就会记录每一行的数据变更。


MIXED日志格式是目前MySQL默认的日志格式,即混合了前面两种日志格式。默认情况下采用statement格式,但是在一些特殊的情况下采用row来进行记录。mixed格式能尽量利用两种模式的有点,而避开它们的缺点。


对于二进制日志因为日志是以二进制方式存储,不能直接读取,需要用mysqlbinlog工具来查看,语法如下:


mysqlbinlog log-file
复制代码


如果日志格式是row,那么直接查看日志是看不懂的。所以需要在mysqlbinlog后面加上-vv参数:


mysqlbinlog -vv log-file
复制代码


对于比较繁忙的系统,每天都会生成大量的日志,日积月累会占用大量的磁盘空间,所以需要对不需要的日志文件进行删除:


一、通过reset master指令删除全部的binlog日志,删除之后,日志编号会从xxx.00001重新弄开始


二、通过执行命令


purge master logs to 'mysqlbin.xxxx'
复制代码


该命令将删除xxx编号之前的所有的日志。


三、通过执行命令


purge master log before 'yyyy-mm-dd hh24:mi:ss'
复制代码


该命令删除指定时间之前所产生的所有日志。


四、设置参数


--expire_logs_days=#
复制代码


此参数的含义是设置日志的过期天数,过了指定的天数后日志将会被自动删除,这样的方式有助于减少DBA管理日志的工作量,不用时刻关注处理日志。


三、查询日志


查询日志(general log)记录了客户端的所有的操作语句,而二进制不包含查询数据的sql语句。


查询日志记录了服务器接收到的每一个查询或是命令,无论这些查询或是命令是否正确甚至是否包含语法错误,查询日志都会将其记录下来 ,记录的格式为 {Time ,Id ,Command,Argument }。也正因为mysql服务器需要不断地记录日志,开启查询日志会产生不小的系统开销。因此,Mysql默认是把查询日志关闭的。


查看日志的存放方式:


show variables like 'log_output';
复制代码


因为默认情况下,查询日志是未开启的。如果需要开启查询日志,需要设置:


开启general log:set global general_log=on;
关闭general log:set global general_log=off;
复制代码


如果设置


set global log_output=’table’
复制代码


则日志结果会记录到名为gengera_log的表中,这表的默认引擎都是CSV。


如果设置表数据到文件


set global log_output=file;
复制代码


设置general log的日志文件路径:


set global general_log_file=’/tmp/general.log’;
复制代码


然后再用:


show global variables like ‘general_log’
复制代码


看是否开启


c5c6181aac2845d494f9f36059f7e199~tplv-k3u1fbpfcp-zoom-in-crop-mark_1304_0_0_0.webp.jpg


8c58e6f2574643ea9fb7f69b8d859a0c~tplv-k3u1fbpfcp-zoom-in-crop-mark_1304_0_0_0.webp.jpg


四、查询日志


关于慢查询日志,之前的mysql调优的文章也有提到过,慢日志记录执行时间过长和没有使用索引的查询语句,报错select、update、delete以及insert语句,慢日志只会记录执行成功的语句。这里的执行时间过长的标准是通过long_query_time参数进行设置的,该参数的默认值是10s,最小值为0,精度可以精确到微秒。慢查询日志记录所有执行时间大于long_query_time参数并且扫描记录数不小于min_examined_row_limit的所有SQL语句的日志。


可以通过以下命令查看long_query_time参数的时间


show variables like 'long_query_time';-- 默认10s
复制代码


788c287f85cc4a98b5958a4c47f36f27~tplv-k3u1fbpfcp-zoom-in-crop-mark_1304_0_0_0.webp.jpg


通过以下命令可以查看慢查询的配置情况:


show status like '%slow_queries%';
复制代码


f60a611c508f4c089bcd6f74b09fe19b~tplv-k3u1fbpfcp-zoom-in-crop-mark_1304_0_0_0.webp.jpg


查看慢查询日志路径的命令如下:


show variables like '%slow%';
复制代码


87e7c75ed7a54af5a252e023956cb838~tplv-k3u1fbpfcp-zoom-in-crop-mark_1304_0_0_0.webp.jpg


可以看到上面显示慢查询日志是关闭的,开启慢日志命令如下:


set global slow_query_log=1
复制代码


977ce165c79d40e1a3225b6fac8f549e~tplv-k3u1fbpfcp-zoom-in-crop-mark_1304_0_0_0.webp.jpg


记录慢查询日志到表,需要添加一个log_output的配置,就可以将慢查询记录到表中了。


log_output=table
复制代码


mysql库下面有一个默认的slow_log表,可以直接将


slow_query_log_file = slow_log
复制代码


即可将慢查询日志记录到表中。


慢查询不记录执行失败的查询,比如long_query_time设置为10(10秒钟),一个查询超过了10秒钟,但是因为其他原因执行失败,MySQL的慢查询将无法记录此查询信息。


3 总结


以上就是在mysql中常用到的四种日志,通过这些日志能够帮助我们定位到mysql语句的故障和性能比较慢的地方,从而进行故障排除和性能优化。

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
20天前
|
SQL 关系型数据库 MySQL
MySQL事务日志-Undo Log工作原理分析
事务的持久性是交由Redo Log来保证,原子性则是交由Undo Log来保证。如果事务中的SQL执行到一半出现错误,需要把前面已经执行过的SQL撤销以达到原子性的目的,这个过程也叫做"回滚",所以Undo Log也叫回滚日志。
MySQL事务日志-Undo Log工作原理分析
|
1月前
|
SQL 存储 关系型数据库
Mysql并发控制和日志
通过深入理解和应用 MySQL 的并发控制和日志管理技术,您可以显著提升数据库系统的效率和稳定性。
124 10
|
1月前
|
安全 关系型数据库 MySQL
MySQL崩溃保险箱:探秘Redo/Undo日志确保数据库安全无忧!
《MySQL崩溃保险箱:探秘Redo/Undo日志确保数据库安全无忧!》介绍了MySQL中的三种关键日志:二进制日志(Binary Log)、重做日志(Redo Log)和撤销日志(Undo Log)。这些日志确保了数据库的ACID特性,即原子性、一致性、隔离性和持久性。Redo Log记录数据页的物理修改,保证事务持久性;Undo Log记录事务的逆操作,支持回滚和多版本并发控制(MVCC)。文章还详细对比了InnoDB和MyISAM存储引擎在事务支持、锁定机制、并发性等方面的差异,强调了InnoDB在高并发和事务处理中的优势。通过这些机制,MySQL能够在事务执行、崩溃和恢复过程中保持
78 3
|
1月前
|
SQL 存储 缓存
MySQL进阶突击系列(02)一条更新SQL执行过程 | 讲透undoLog、redoLog、binLog日志三宝
本文详细介绍了MySQL中update SQL执行过程涉及的undoLog、redoLog和binLog三种日志的作用及其工作原理,包括它们如何确保数据的一致性和完整性,以及在事务提交过程中各自的角色。同时,文章还探讨了这些日志在故障恢复中的重要性,强调了合理配置相关参数对于提高系统稳定性的必要性。
|
2月前
|
SQL 关系型数据库 MySQL
【赵渝强老师】MySQL的全量日志文件
MySQL全量日志记录所有操作的SQL语句,默认禁用。启用后,可通过`show variables like %general_log%检查状态,使用`set global general_log=ON`临时开启,执行查询并查看日志文件以追踪SQL执行详情。
|
2月前
|
关系型数据库 MySQL 数据库
【赵渝强老师】MySQL的binlog日志文件
MySQL的binlog日志记录了所有对数据库的更改操作(不包括SELECT和SHOW),主要用于主从复制和数据恢复。binlog有三种模式,可通过设置binlog_format参数选择。示例展示了如何启用binlog、设置格式、查看日志文件及记录的信息。
257 6
|
2月前
|
SQL 关系型数据库 MySQL
【赵渝强老师】MySQL的慢查询日志
MySQL的慢查询日志用于记录执行时间超过设定阈值的SQL语句,帮助数据库管理员识别并优化性能问题。通过`mysqldumpslow`工具可查看日志。本文介绍了如何检查、启用及配置慢查询日志,并通过实例演示了慢查询的记录与分析过程。
262 3
|
2月前
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
773 31
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
|
1月前
|
监控 安全 Apache
什么是Apache日志?为什么Apache日志分析很重要?
Apache是全球广泛使用的Web服务器软件,支持超过30%的活跃网站。它通过接收和处理HTTP请求,与后端服务器通信,返回响应并记录日志,确保网页请求的快速准确处理。Apache日志分为访问日志和错误日志,对提升用户体验、保障安全及优化性能至关重要。EventLog Analyzer等工具可有效管理和分析这些日志,增强Web服务的安全性和可靠性。
|
3月前
|
XML JSON Java
Logback 与 log4j2 性能对比:谁才是日志框架的性能王者?
【10月更文挑战第5天】在Java开发中,日志框架是不可或缺的工具,它们帮助我们记录系统运行时的信息、警告和错误,对于开发人员来说至关重要。在众多日志框架中,Logback和log4j2以其卓越的性能和丰富的功能脱颖而出,成为开发者们的首选。本文将深入探讨Logback与log4j2在性能方面的对比,通过详细的分析和实例,帮助大家理解两者之间的性能差异,以便在实际项目中做出更明智的选择。
417 3

推荐镜像

更多