MySQL日志管理和完全备份增量备份与恢复(一)

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: 1

前言

由于日志文件是掌握数据库的运行的重要参考;,因此日志文件的维护也有十分重要的意义。MySQL的日志类型有错误日志、通用查询日志、二进制日志、慢查询日志。



一、日志分类


MySQL 的日志默认保存位置为**/usr/local/mysql/data**

MySQL 的日志配置文件为/etc/my.cnf,里面有个**[mysqld]**项。


vim /etc/my.cnf
[mysqld]
##错误日志,用来记录当MySQL启动、停止或运行时发生的错误信息,默认已开启
log-error=/usr/local/mysql/data/mysql_error.log  #指定日志的保存位置和文件名
##通用查询日志,用来记录MySQL的所有连接和语句,默认是关闭的
general_log=ON
general_log_file=/usr/local/mysql/data/mysql_general.log
##二进制日志(binlog),用来记录所有更新了数据或者已经潜在更新了数据的语句,记录了数据的更改,可用于数据恢复,默认已开启
log-bin=mysql-bin #也可以 log_bin=mysql-bin
##慢查询日志,用来记录所有执行时间超过long_query_time秒的语句,可以找到哪些查询语句执行时间长,以便于优化,默认是关闭的
slow_query_log=ON
slow_query_log_file=/usr/local/mysql/data/mysql_slow_query.log
long_query_time=5 #设置超过5秒执行的语句被记录,缺省时为10秒




1.1错误日志

①错误日志主要记录当MySQL启动和停止时,以及在运行过程中发生任何错误时的相关信息。错误日志默认保存在MySQL的安装路径data文件夹下,后缀名是.err。


②在MySQL的配置文件中,可以指定日志文件的保存位置和日志的文件名。log-error=file_name选项来指定保存报错日志文件的位置,file-name指定日志文件名,如果没有指定文件名,使用host-name.err作为文件名。

[root@localhost data]# vim /etc/my.cnf
//省略内容
log-error=/usr/local/mysql/data/mysql_error.log  #指定日志的保存位置和文件名
//省略内容


③重启MySQL后,生成mysql_error.log用来记录错误日志。


[root@localhost data]# systemctl restart mysqld
[root@localhost data]# ls
 mysql_error.log
 //省略内容

注意:MySQL必须指定的文件夹有读写的权限,否则无法操作文件。


1.2通用查询日志

①通用查询日志用来记录MySQL的所有连接和语句,默认是关闭的。使用SHOW语句可以查询出日志的信息。


mysql> show variables like 'general%';
+------------------+-------------------------------------+
| Variable_name    | Value                               |
+------------------+-------------------------------------+
| general_log      | OFF                                 |
| general_log_file | /usr/local/mysql/data/localhost.log |
+------------------+-------------------------------------+
2 rows in set (0.00 sec)

general_log对应的时通用查询日志,它的值是OFF,表示是关闭的。


②修改MySQL配置文件的general_log=ON选项,可以打开通用日志查询日志,general_log_file=file_name定义通用查询日志的位置,如果没有指定file_name的值,默认名是host_name.log。


[root@localhost data]# vim /etc/my.cnf
general_log=ON
general_log_file=/usr/local/mysql/data/mysql_general.log

③重启mysql后,通用查询日志生效。


[root@localhost data]# systemctl restart mysqld
[root@localhost data]# ls
mysql_general.log 

④使用SHOW语句查看通用查询日志已经打开,general_log对应的值是ON。


mysql> show variables like 'general%';
+------------------+-----------------------------------------+
| Variable_name    | Value                                   |
+------------------+-----------------------------------------+
| general_log      | ON                                      |
| general_log_file | /usr/local/mysql/data/mysql_general.log |
+------------------+-----------------------------------------+
2 rows in set (0.00 sec)

1.3二进制日志

①二进制日志用来记录所以更新了数据或者已经潜在更新了数据的语句,记录了数据的更改,主要目的是在恢复数据时能够最大程度地恢复数据库。二进制日志默认是开启的,在data文件夹下,以mysql-bin命名,数据量大时,它会自动分割成多个日志文件,以数字作为扩展名。


[root@localhost data]# vim /etc/my.cnf
      log-bin=mysql-bin


[root@localhost data]# systemctl restart mysqld
[root@localhost data]# ls
    mysql-bin.000001 

②二进制日志可以使用MySQL的工具mysqlbinlog查看二进制文件。


[root@localhost data]# mysqlbinlog mysql-bin.000001
/*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=1*/;
/*!50003 SET @OLD_COMPLETION_TYPE=@@COMPLETION_TYPE,COMPLETION_TYPE=0*/;
DELIMITER /*!*/;
# at 4
#220622  3:23:29 server id 1  end_log_pos 123 CRC32 0xcdd06d5a  Start: binlog v 4, server v 5.7.17-log create
d 220622  3:23:29 at startup# Warning: this binlog is either in use or was not closed properly.
ROLLBACK/*!*/;
BINLOG '
ccOyYg8BAAAAdwAAAHsAAAABAAQANS43LjE3LWxvZwAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA
AAAAAAAAAAAAAAAAAABxw7JiEzgNAAgAEgAEBAQEEgAAXwAEGggAAAAICAgCAAAACgoKKioAEjQA
AVpt0M0=
'/*!*/;
# at 123
#220622  3:23:29 server id 1  end_log_pos 154 CRC32 0xeec34259  Previous-GTIDs
# [empty]
SET @@SESSION.GTID_NEXT= 'AUTOMATIC' /* added by mysqlbinlog */ /*!*/;
DELIMITER ;
# End of log file
/*!50003 SET COMPLETION_TYPE=@OLD_COMPLETION_TYPE*/;
/*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=0*/;


解释在本机里有一条事务操作rollback,操作时间是22年6月22日3点23分39秒这就是二进制文件的内容格式,MySQL根据这样的信息做的恢复数据库操作。


1.4慢查询日志

慢查询日志记录所有执行时间超过long_query_time秒的SQL语句,用于找到哪些查询语句执行时间长,以便于对其优化。默认慢查询日志是关闭的,slow_query_log是慢查询的选项, 默认是OFF。


mysql> show variables like '%slow%';//查看MysSQL慢查询功能是否开启
+---------------------------+------------------------------------------+
| Variable_name             | Value                                    |
+---------------------------+------------------------------------------+
| log_slow_admin_statements | OFF                                      |
| log_slow_slave_statements | OFF                                      |
| slow_launch_time          | 2                                        |
| slow_query_log            | OFF    //状态为OFF                                  |
| slow_query_log_file       | /usr/local/mysql/data/localhost-slow.log |
+---------------------------+------------------------------------------+
5 rows in set (0.00 sec)


①可以使用 SQL语句开启MySQL慢查询功能。


mysql> set global slow_query_log=ON; //开启MySQL慢查询功能
Query OK, 0 rows affected (0.00 sec)
mysql> show variables like '%slow%';
+---------------------------+------------------------------------------+
| Variable_name             | Value                                    |
+---------------------------+------------------------------------------+
| log_slow_admin_statements | OFF                                      |
| log_slow_slave_statements | OFF                                      |
| slow_launch_time          | 2                                        |
| slow_query_log            | ON   //状态为ON                                    |
| slow_query_log_file       | /usr/local/mysql/data/localhost-slow.log |
+---------------------------+------------------------------------------+
5 rows in set (0.01 sec)


慢查询时间设置默认为10秒,记录10秒内的查询,可以通用global long_query_time选项进行修改。


mysql> show variables like 'long_query_time';//查看慢查询时间设置
+-----------------+-----------+
| Variable_name   | Value     |
+-----------------+-----------+
| long_query_time | 10.000000 |
+-----------------+-----------+
1 row in set (0.00 sec)

mysql> set  long_query_time=5;
Query OK, 0 rows affected (0.00 sec)
mysql> show variables like 'long_query_time';
+-----------------+----------+
| Variable_name   | Value    |
+-----------------+----------+
| long_query_time | 5.000000 |
+-----------------+----------+
1 row in set (0.00 sec)

②也可以在MySQL的配置文件中进行设置,指定slow_query_log=ON选项启动慢查询功能,使用slow_query_log_file=filename指定存放慢查询日志位置,如果没有filename值,默认为hostname-slow.log,如果没有给出绝对路径,文件保存在data目录下。long_query_time=1设置了超过1秒执行的语句被记录。


slow_query_log=ON
slow_query_log_file=/usr/local/mysql/data/mysql_slow_query.log
long_query_time=5

重启后MySQL后,慢查询日志mysql_slow_query.log被创建。经常检查慢日志,当有有查询日志被记录,就需要对其进行优化处理了。


[root@localhost data]# systemctl restart mysqld
[root@localhost data]# ls
 mysql_slow_query.log

③进行慢查询测试生成慢查询日志。


mysql> select sleep(6);
+----------+
| sleep(6) |
+----------+
|        0 |
+----------+
1 row in set (6.00 sec)
mysql> show global status like  '%slow%';
+---------------------+-------+
| Variable_name       | Value |
+---------------------+-------+
| Slow_launch_threads | 0     |
| Slow_queries        | 1     |
+---------------------+-------+
2 rows in set (0.01 sec)

查看生成的慢查询日志。


[root@localhost data]# cat /usr/local/mysql/data/mysql_slow_query.log
/usr/local/mysql/bin/mysqld, Version: 5.7.17-log (Source distribution). started with:
Tcp port: 3306  Unix socket: /usr/local/mysql/mysql.sock
Time                 Id Command    Argument
# Time: 2022-06-22T09:20:30.882505Z
# User@Host: root[root] @ localhost []  Id:     3
# Query_time: 6.001033  Lock_time: 0.000000 Rows_sent: 1  Rows_examined: 0
SET timestamp=1655889630;
select sleep(6);



二、数据库备份的重要性与分类


在生产环境中,数据的安全性是至关重要的,任何数据的丢失都可能产生严重的后果。数据库备份的重要性主要体现在:


提高系统的高可用性和灾难可恢复性,在数据库崩溃时,没有数据库备份就没法找到数据。

使用数据库备份还原数据库,是数据库系统崩溃时提供最小代价的最优方案,如果让用户重新添加数据,代价未免太大。

没有数据就没有一切,数据库备份是一种防范灾难的强力手段。

使用数据库的过程中,有多种原因造成数据丢失:

备份的主要目的是灾难恢复

在生产环境中,数据的安全性至关重要


任何数据的丢失都可能产生严重的后果


造成数据丢失的原因


程序错误

人为操作错误

运算错误

磁盘故障

灾难(如火灾、地震)和盗窃

2.1数据库备份的分类

备份的方式分为很多种,从物理与逻辑的角度,备份分为以下几类:


物理备份:指对数据库操作系统的物理文件(如数据文件、日志文件等)的备份。物理备份又可以分为脱机备份(冷备份)和联机备份(热备份)。


冷备份:在关闭数据库时进行的备份操作,能够较好地保证数据库的完整性。


热备份:在数据库运行状态中进行操作,这种备份方法依赖于数据库的日志文件。


逻辑备份:指对数据库逻辑组件(如表等数据库对象)的备份。


从数据库的备份策略角度,备份可以分为完全备份、差异备份和增量备份。

完全备份:每次对数据进行完整版的备份。可以备份整个数据库,包括用户表、系统表、索引、视图和存储过程等所有数据库对象。但它需要花费更多时间和空间,所以,做一次完全备份的周期要长些。


差异备份:备份那些自从上次完全备份之后被修改过的文件,只备份数据库部分的内容。它比最初的完全备份小,因为只包含自上次完全备份以来所改变的数据库。它的优点是存储和恢复速度快。


增量备份:只有那些在上次备份或者增量备份后被修改的文件才会被备份。

MySQL 完全备份

InnoDB存储引擎的数据库在磁盘上存储成三个文件:db.opt(表属性文件)、表名.frm(表结构文件)、表名.ibd(表数据文件)。


2.2完全备份演练

mysql数据库的备份可以采用两种方式,因为数据库实际上就是文件,直接打包数据库文件夹,或者是使用专用备份工具mysqldump都可以进行备份工作。


2.2.1使用tar打包文件夹备份

MySQL的数据库文件默认都是保存在安装目录的data文件夹下面,可以直接保存data文件夹,但是占用的空间较大,可以使用tar打包压缩进行保存。


mysql -u root -p #进入
create database caosong #建库
use school;#进库
create table if not exists class1 (
id int(4) not null auto_increment,
name varchar(10) not null,
age char(10) not null,
hobby varchar(50),
primary key (id));
 #创表并设id为主键
insert into class1 values(1,'caosong',18,'sleep');插入数据
insert into class1 values(2,'liu',18,'run');

①数据库文件很大,可以使用压缩率较大的xz格式压缩,首先需要安装xz压缩格式工具。


systemctl stop mysqld#冷备前关闭数据库服务
yum -y install xz#安装xz压缩工具,它速度快

②对数据库文件夹/usr/local/mysql/data/进行打包操作。


#压缩备份
tar Jcvf /opt/mysql_all_$(date +%F).tar.xz /usr/local/mysql/data/#使用tar压缩,并加入压缩的日期


③使用ls命令,查看打包内容是否运行成功,已经生成了备份文件。

④如果数据库文件损坏数据丢失,可以解压缩备份文件,相当于做了数据恢复。


drop database caosong;#删除数据库
quit#退出数据库
tar Jxvf /opt/mysql_all_2022-06-22.tar.xz -C /usr/local/mysql/data/
#恢复数据
systemctl restart mysqld.service#重启服务查看被删除的库



2.2.2 mysqldump 备份与恢复

前面介绍的对MySQL整个数据库目录压缩的方式,是备份数据库中所有的内容。使用mysqldump可以更加灵活地控制备份的内容,比如某几个表或库都可以单独备份。

①使用mysqldump命令对某些表进行完全备份,命令格式如下:


mysqldump -u 用户名 -p[密码] [选项] [数据库名] [数据表名] … > /备份路径/备份文件名.sql

例:


mysqldump -uroot -p123456 [-d] school class > /opt/school_class.sql
#不使用“-d”选项,说明表数据也进行备份
#使用“-d”选项,说明只保存数据库的表结构

查看备份文件


cat school_class1_school2.sql |grep -v '^/'|grep -v '^$'|grep -v '^-'


②使用mysqldump命令对数据库进行完全备份


#完全备份单个库(包含其中所有的表)

mysqldump -u 用户名 -p[密码] [选项] [数据库名] > /备份路径/备份文件名.sql #导出的就是数据库脚本文件

#备份多个库

mysqldump -u 用户名 -p[密码] [选项] --databases 库名1 [库名2] … > /备份路径/备份文件名.sql

#完全备份所有库

mysqldump -u 用户名 -p[密码] [选项] --all-databases  > /备份路径/备份文件名.sql


相关文章
|
8天前
|
SQL 存储 关系型数据库
Mysql并发控制和日志
通过深入理解和应用 MySQL 的并发控制和日志管理技术,您可以显著提升数据库系统的效率和稳定性。
39 10
|
3天前
|
安全 关系型数据库 MySQL
MySQL崩溃保险箱:探秘Redo/Undo日志确保数据库安全无忧!
《MySQL崩溃保险箱:探秘Redo/Undo日志确保数据库安全无忧!》介绍了MySQL中的三种关键日志:二进制日志(Binary Log)、重做日志(Redo Log)和撤销日志(Undo Log)。这些日志确保了数据库的ACID特性,即原子性、一致性、隔离性和持久性。Redo Log记录数据页的物理修改,保证事务持久性;Undo Log记录事务的逆操作,支持回滚和多版本并发控制(MVCC)。文章还详细对比了InnoDB和MyISAM存储引擎在事务支持、锁定机制、并发性等方面的差异,强调了InnoDB在高并发和事务处理中的优势。通过这些机制,MySQL能够在事务执行、崩溃和恢复过程中保持
20 3
|
20天前
|
SQL 存储 缓存
MySQL进阶突击系列(02)一条更新SQL执行过程 | 讲透undoLog、redoLog、binLog日志三宝
本文详细介绍了MySQL中update SQL执行过程涉及的undoLog、redoLog和binLog三种日志的作用及其工作原理,包括它们如何确保数据的一致性和完整性,以及在事务提交过程中各自的角色。同时,文章还探讨了这些日志在故障恢复中的重要性,强调了合理配置相关参数对于提高系统稳定性的必要性。
|
1月前
|
SQL 关系型数据库 MySQL
【赵渝强老师】MySQL的全量日志文件
MySQL全量日志记录所有操作的SQL语句,默认禁用。启用后,可通过`show variables like %general_log%检查状态,使用`set global general_log=ON`临时开启,执行查询并查看日志文件以追踪SQL执行详情。
|
1月前
|
关系型数据库 MySQL 数据库
【赵渝强老师】MySQL的binlog日志文件
MySQL的binlog日志记录了所有对数据库的更改操作(不包括SELECT和SHOW),主要用于主从复制和数据恢复。binlog有三种模式,可通过设置binlog_format参数选择。示例展示了如何启用binlog、设置格式、查看日志文件及记录的信息。
123 6
|
1月前
|
SQL 关系型数据库 MySQL
【赵渝强老师】MySQL的慢查询日志
MySQL的慢查询日志用于记录执行时间超过设定阈值的SQL语句,帮助数据库管理员识别并优化性能问题。通过`mysqldumpslow`工具可查看日志。本文介绍了如何检查、启用及配置慢查询日志,并通过实例演示了慢查询的记录与分析过程。
146 3
|
1月前
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL的撤销日志文件和错误日志文件
本文介绍了MySQL的物理存储结构,重点讲解了InnoDB存储引擎中的撤销日志文件(undo log)和错误日志文件。从MySQL 8.0开始,默认生成两个10MB的undo表空间文件,并支持动态扩容和收缩。错误日志文件记录了MySQL启动、运行、关闭过程中的问题,通过示例展示了如何查看和使用这些日志。
|
1月前
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
345 30
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
|
14天前
|
监控 安全 Apache
什么是Apache日志?为什么Apache日志分析很重要?
Apache是全球广泛使用的Web服务器软件,支持超过30%的活跃网站。它通过接收和处理HTTP请求,与后端服务器通信,返回响应并记录日志,确保网页请求的快速准确处理。Apache日志分为访问日志和错误日志,对提升用户体验、保障安全及优化性能至关重要。EventLog Analyzer等工具可有效管理和分析这些日志,增强Web服务的安全性和可靠性。
|
2月前
|
XML JSON Java
Logback 与 log4j2 性能对比:谁才是日志框架的性能王者?
【10月更文挑战第5天】在Java开发中,日志框架是不可或缺的工具,它们帮助我们记录系统运行时的信息、警告和错误,对于开发人员来说至关重要。在众多日志框架中,Logback和log4j2以其卓越的性能和丰富的功能脱颖而出,成为开发者们的首选。本文将深入探讨Logback与log4j2在性能方面的对比,通过详细的分析和实例,帮助大家理解两者之间的性能差异,以便在实际项目中做出更明智的选择。
333 3

热门文章

最新文章