浅谈MySQL日志文件|手撕MySQL系列

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS PostgreSQL,集群系列 2核4GB
简介: 我打算接下来一段时间潜心学习一下MySQL数据库相关的知识点,写作一系列MySQL相关的文章,并且配合实操,希望等这个系列完成之后,可以**将MySQL所有重要的知识点全部覆盖**,下一次直接对线面试官。
关注微信公众号【程序员白泽】,进入白泽的知识分享星球🌍

前言

上周五面试了字节的第三面,深感数据库知识的重要,我也意识到在平时的学习中,自己对于数据库的学习较为薄弱。甚至在有过一定实习经验之后,依旧因为开发分工的原因,对数据库方面的知识掌握依旧不多。我也相信,很多人对MySQL的索引日志多版本并发控制ACID等等都只停留在八股文的阶段。

因此我打算接下来一段时间潜心学习一下MySQL数据库相关的知识点,写作一系列MySQL相关的文章,并且配合实操,希望等这个系列完成之后,可以将MySQL所有重要的知识点全部覆盖,下一次直接对线面试官。

作为系列地第一篇文章,本文将重点介绍MySQL的日志文件类型,并讲解其作用,并结合一定实操演示,相信跟着做下来你会对MySQL有更深的理解

文件的概念

在开始讲MySQL日志文件之前,首先我们要明确一下文件的概念。MySQL数据库是存放在硬盘上的,用户进程通过和一个运行的MySQL实例进程通信(也就是需要一个运行的MySQL服务),通过这个服务去操作磁盘上的MySQL数据库文件,实现数据存取修改的目的,因此,我们先来看看都有哪些文件。

# 在MySQL登录状态下,执行这个命令可以查看我们数据库主要数据文件的位置
mysql> show variables like 'datadir';
+---------------+------------------------+
| Variable_name | Value                  |
+---------------+------------------------+
| datadir       | /usr/local/mysql/data/ |
+---------------+------------------------+
# 得知路径之后在Linux终端进行查看
sudo ls -lh /usr/local/mysql/data/
# 下面是执行了命令之后的部分展示(这里列出了MySQL的各种日志文件、索引相关的文件、你建立的数据库的文件等,先有个概念,等阅读下面讲到的各种文件时可以回上来看一看)
-rw-r-----    1 _mysql  _mysql   6.7K  1 19 10:51 binlog.000006
-rw-r-----    1 _mysql  _mysql   179B  1 24 15:04 binlog.000007
-rw-r-----    1 _mysql  _mysql    48B  1 24 15:05 binlog.index
-rw-r-----    1 _mysql  _mysql   4.1K  1 24 15:04 ib_buffer_pool
-rw-r-----    1 _mysql  _mysql    48M  2 26 14:06 ib_logfile0
-rw-r-----    1 _mysql  _mysql    48M 10 11 11:37 ib_logfile1
drwxr-x---    5 _mysql  _mysql   160B 10 13 15:01 blog
-rw-r-----    1 _mysql  _mysql    12M  2 26 14:04 ibdata1
-rw-r-----    1 _mysql  _mysql    12M  1 24 15:05 ibtmp1
-rw-r-----    1 _mysql  _mysql   180B  3  2 17:28 lilithgamesdeMacBook-Pro-42-slow.log
-rw-r-----    1 _mysql  _mysql   249B  3  2 17:55 lilithgamesdeMacBook-Pro-42.log
-rw-r-----    1 _mysql  _mysql    24M  2 26 14:04 mysql.ibd
-rw-r-----    1 _mysql  _mysql    11K  1 24 15:05 mysqld.local.err
-rw-r-----    1 _mysql  _mysql     4B  1 24 15:05 mysqld.local.pid
-rw-r-----    1 _mysql  _mysql    16M  2 26 14:06 undo_001
-rw-r-----    1 _mysql  _mysql    16M  2 26 14:06 undo_002

参数文件

MySQL登录状态下使用show variables命令查看所有参数(key-value形式),这些参数控制着MySQL的各种状态属性。这个命令在我们需要获取MySQL的各种状态时会被高频使用到。

# 查询所有参数
mysql> show variables;
# 也可以使用like参数指定需要查询的参数
mysql> show variables like 'warning_count';
# 设置全局参数值,键值对的形式
mysql> set global 参数名=参数值

日志文件

错误日志(error log)

错误日志记录了MySQL的启动、运行、关闭的过程。遇到例如MySQL无法正常启动,可以查看错误日志文件。而且错误日志会记录MySQL运行过程中的警告(warning) ,通过查看这些警告⚠️可以针对出现警告的原因进行优化,从而达到优化数据库的目的。

# 在MySQL登录状态下,使用下面命令可以查看error log在服务器上的位置
mysql> show variables like 'log_error';
+---------------+----------------------------------------+
| Variable_name | Value                                  |
+---------------+----------------------------------------+
| log_error     | /usr/local/mysql/data/mysqld.local.err |
+---------------+----------------------------------------+
# 然后通过tail -n 50 查看倒数50行的错误日志内容去定位错误(不是在MySQL登录状态下,而是在Linux用户态下,sudo获取访问权限)
sudo tail -n 50 /usr/local/mysql/data/mysqld.local.err
# 具体日志内容不作展示

慢查询日志(slow query log)

慢查询日志的作用是将运行时间超过设定值的所有SQL语句都记录到慢查询日志中,通过定期检查慢查询日志,通过定位到慢SQL语句之后,对其进行分析,是否是因为索引未生效的等原因导致查询过慢,可以对查询过慢的SQL语句进行优化。

# 在MySQL登录状态下查看慢查询日志阈值,执行时间超过这个值的SQL会被记录下来
mysql> show variables like 'long_query_time';
+-----------------+-----------+
| Variable_name   | Value     |
+-----------------+-----------+
| long_query_time | 10.000000 |
+-----------------+-----------+
# 查询是否开启慢查询日志(默认关闭)
mysql> show variables like 'slow_query_log';
+----------------+-------+
| Variable_name  | Value |
+----------------+-------+
| slow_query_log | OFF   |
+----------------+-------+
# 开启慢查询日志
mysql> set global slow_query_log=on;

一个和慢查询日志有关的参数是log_queries_not_using_indexes,开启之后。如果运行的SQL没有使用索引,则MySQL数据库同样会将这条SQL语句记录到慢查询日志文件中。

# 查询是否将未执行索引的SQL加入到慢查询日志当中(默认关闭)
mysql> show variables like 'log_queries_not_using_indexes';
+-------------------------------+-------+
| Variable_name                 | Value |
+-------------------------------+-------+
| log_queries_not_using_indexes | OFF   |
+-------------------------------+-------+
# 开启参数
mysql> set global log_queries_not_using_indexes=on;

查看慢查询日志的路径,以及通过linux命令查看慢查询日志内容。

# 确保在MySQL登录状态下
mysql> show variables like 'slow%';
+---------------------+------------------------------------------------------------+
| Variable_name       | Value                                                      |
+---------------------+------------------------------------------------------------+
| slow_launch_time    | 2                                                          |
| slow_query_log      | ON                                                         |
| slow_query_log_file | /usr/local/mysql/data/lilithgamesdeMacBook-Pro-42-slow.log |
+---------------------+------------------------------------------------------------+
# 在Linux用户终端查看慢查询日志文件后50页的内容(这个命令我们在上面查看错误日志的时候也用到了)
sudo tail -n 50 /usr/local/mysql/data/lilithgamesdeMacBook-Pro-42-slow.log

除此之外,MySQL还提供了其他参数用于控制每分钟允许插入到慢查询日志中的未使用索引的SQL的语句次数(防止慢查询日志增长过快),以及提供了命令用于筛选慢查询日志中的数据,如展示执行时间最长的10条SQL等等功能,在此不多赘述,大家用到时再多作了解。

查询日志(log)

查询日志记录了所有MySQL数据库的请求信息,如论请求是否得到执行。因为有慢查询日志的存在,一般情况下对查询日志的使用依赖较小,开启后也会有一定的性能损耗,默认关闭。

# 查看查询日志的开启状态和位置
mysql> show variables like 'general_log%';
+------------------+-------------------------------------------------------+
| Variable_name    | Value                                                 |
+------------------+-------------------------------------------------------+
| general_log      | OFF                                                   |
| general_log_file | /usr/local/mysql/data/lilithgamesdeMacBook-Pro-42.log |
+------------------+-------------------------------------------------------+
# 开启查询日志
mysql> set global general_log = on;
# 查看查询日志文件(在Linux用户终端,而不是MySQL登录态)
sudo tail -n 50 /usr/local/mysql/data/lilithgamesdeMacBook-Pro-42.log

二进制日志(binary log)

二进制日志记录了对MySQL数据库执行更改的所有操作(不包括select和show命令,但这些会被记录到查询日志中)。二进制日志主要作用有以下几点:

  • 数据恢复:用户可以通过二进制日志进行精确的数据恢复。
  • 主从复制:通过复制和执行二进制日志使得一台远程的MySQL数据库与另一台提供数据的MySQL数据库进行实时同步。
# 通过命令查看二进制日志的开启状态
mysql> show variables like '%log_bin%';
+---------------------------------+------------------------------------+
| Variable_name                   | Value                              |
+---------------------------------+------------------------------------+
| log_bin                         | ON                                 |
| log_bin_basename                | /usr/local/mysql/data/binlog       |
| log_bin_index                   | /usr/local/mysql/data/binlog.index |
| log_bin_trust_function_creators | OFF                                |
| log_bin_use_v1_row_events       | OFF                                |
| sql_log_bin                     | ON                                 |
+---------------------------------+------------------------------------+

结束语

本文初步介绍了MySQL拥有的日志文件的类型及其作用,其中慢查询日志二进制日志两个点也是面试的高频重点,因此光掌握到本文讲解的程度是略微不够的,后面的文章我讲用例子讲述慢查询日志定位SQL问题的实操(定位到慢SQL之后就要优化它,那么就牵扯到索引设置和优化,又是一个重要知识点‼️)和二进制日志进行数据恢复和同步的实操(也是很重要的知识点‼️)。

八股文不是学习的终点,而是一个提纲,是我们学习的起点~

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
12天前
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
本文介绍了MySQL InnoDB存储引擎中的数据文件和重做日志文件。数据文件包括`.ibd`和`ibdata`文件,用于存放InnoDB数据和索引。重做日志文件(redo log)确保数据的可靠性和事务的持久性,其大小和路径可由相关参数配置。文章还提供了视频讲解和示例代码。
119 11
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
|
12天前
|
SQL Oracle 关系型数据库
【赵渝强老师】Oracle的控制文件与归档日志文件
本文介绍了Oracle数据库中的控制文件和归档日志文件。控制文件记录了数据库的物理结构信息,如数据库名、数据文件和联机日志文件的位置等。为了保护数据库,通常会进行控制文件的多路复用。归档日志文件是联机重做日志文件的副本,用于记录数据库的变更历史。文章还提供了相关SQL语句,帮助查看和设置数据库的日志模式。
【赵渝强老师】Oracle的控制文件与归档日志文件
|
7天前
|
关系型数据库 MySQL 数据库
【赵渝强老师】MySQL的binlog日志文件
MySQL的binlog日志记录了所有对数据库的更改操作(不包括SELECT和SHOW),主要用于主从复制和数据恢复。binlog有三种模式,可通过设置binlog_format参数选择。示例展示了如何启用binlog、设置格式、查看日志文件及记录的信息。
|
12天前
|
Oracle 关系型数据库 数据库
【赵渝强老师】Oracle的参数文件与告警日志文件
本文介绍了Oracle数据库的参数文件和告警日志文件。参数文件分为初始化参数文件(PFile)和服务器端参数文件(SPFile),在数据库启动时读取并分配资源。告警日志文件记录了数据库的重要活动、错误和警告信息,帮助诊断问题。文中还提供了相关视频讲解和示例代码。
|
1月前
|
存储 缓存 关系型数据库
MySQL事务日志-Redo Log工作原理分析
事务的隔离性和原子性分别通过锁和事务日志实现,而持久性则依赖于事务日志中的`Redo Log`。在MySQL中,`Redo Log`确保已提交事务的数据能持久保存,即使系统崩溃也能通过重做日志恢复数据。其工作原理是记录数据在内存中的更改,待事务提交时写入磁盘。此外,`Redo Log`采用简单的物理日志格式和高效的顺序IO,确保快速提交。通过不同的落盘策略,可在性能和安全性之间做出权衡。
1638 14
|
8天前
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL的撤销日志文件和错误日志文件
本文介绍了MySQL的物理存储结构,重点讲解了InnoDB存储引擎中的撤销日志文件(undo log)和错误日志文件。从MySQL 8.0开始,默认生成两个10MB的undo表空间文件,并支持动态扩容和收缩。错误日志文件记录了MySQL启动、运行、关闭过程中的问题,通过示例展示了如何查看和使用这些日志。
|
1月前
|
存储 关系型数据库 MySQL
PACS系统 中 dicom 文件在mysql 8.0 数据库中的 存储和读取(pydicom 库使用)
PACS系统 中 dicom 文件在mysql 8.0 数据库中的 存储和读取(pydicom 库使用)
32 2
|
1月前
|
SQL 数据库
为什么 SQL 日志文件很大,我应该如何处理?
为什么 SQL 日志文件很大,我应该如何处理?
|
30天前
|
存储 关系型数据库 MySQL
MySQL中的Redo Log、Undo Log和Binlog:深入解析
【10月更文挑战第21天】在数据库管理系统中,日志是保障数据一致性和完整性的关键机制。MySQL作为一种广泛使用的关系型数据库管理系统,提供了多种日志类型来满足不同的需求。本文将详细介绍MySQL中的Redo Log、Undo Log和Binlog,从背景、业务场景、功能、底层实现原理、使用措施等方面进行详细分析,并通过Java代码示例展示如何与这些日志进行交互。
71 0
|
11天前
|
SQL 关系型数据库 MySQL
12 PHP配置数据库MySQL
路老师分享了PHP操作MySQL数据库的方法,包括安装并连接MySQL服务器、选择数据库、执行SQL语句(如插入、更新、删除和查询),以及将结果集返回到数组。通过具体示例代码,详细介绍了每一步的操作流程,帮助读者快速入门PHP与MySQL的交互。
26 1
下一篇
无影云桌面