MySQL 日志管理及备份与恢复(一)

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
日志服务 SLS,月写入数据量 50GB 1个月
简介: 1、日志管理2、备份与恢复

1、日志管理:

MySQL的默认日志保存位置为/usr/local/mysql/data

日志开启方式有两种:通过配置文件或者是通过命令 通过命令修改开启的日志是临时的,关闭或重启服务后就会关闭


a)MySQL常用日志类型及开启 :

vim /etc/my.cnf
[mysqld]
......


错误日志 :

用来记录当MySQL启动、停止或运行时发生的错误信息,默认已开启

指定日志的保存位置和文件名

log-error=/usr/local/mysql/data/mysql_error.log


通用查询日志 :

用来记录MySQL的所有连接和语句,默认是关闭的

general_log=ON
general_log_file=/usr/local/mysql/data/mysql_general.log


二进制日志(binlog) :

用来记录所有当MySQL启动、停止或运行时发送的错误信息,默认是关闭的

log-bin=mysql-bin   
log_bin=mysql-bin


慢查询日志:

用来记录所有执行时间超过long_query_time秒的语句,可以找到哪些查询语句执行时间长,以便于优化,默认是关闭的


slow_query_log=ON
slow_query_log_file=/usr/local/mysql/data/mysql_slow_query.log
long_query_time=5     
systemctl restart mysqld


b)查看日志状态:

查看通用查询日志是否开启 :

mysql -u root -p
show variables like 'general%';


查看二进制日志是否开启 :

show variables like 'log_bin%';


查看慢查询日功能是否开启 :

show variables like '%slow%';


查看慢查询时间设置 :

show variables like 'long_query_time';


在数据库中设置开启慢查询的方法:

set global slow_query_log=ON;
该方法重启服务失效


2、备份与恢复:


数据库备份的重要性:

备份的主要目的是灾难恢复

在生产环境中,数据的安全性至关重要

任何数据的丢失都可能产生严重的后果

造成数据丢失的原因:

  • 程序错误
  • 人为操作错误
  • 运算错误
  • 磁盘故障
  • 灾难(火灾、地震、盗窃等)

 

数据库备份的分类:

-----从物理与逻辑的角度,备份可分为 :-----

a)物理备份:对数据库操作系统的物理文件(如数据文件、日志文件等)的备份

 

物理备份方法:

  • 冷备份(脱机备份):是在关闭数据库的时候进行的
  • 热备份(联机备份):数据库处于运行状态,依赖于数据库的日志文件
  • 温备份:数据库锁定表格(不可写入但可读)的状态下进行备份操作

b)逻辑备份:对数据库逻辑组件(如:表等数据库对象)的备份


 

-----从数据库的备份策略角度,备份可分为 :-----

a)完全备份:每次对数据库进行完整的备份

会导致备份文件占用巨大的空间,并且有大量的重复数据。

恢复数据,直接使用完全备份的文件即可


完全备份是对整个数据库、数据库结构和文件结构的备份。
保存的是备份完成时刻的数据库。 是差异备份与增量备份的基础。 相当于基石。 


b)差异备份:  都会备份从上次完全备份之后的数据,

可能会出现备份重复数据,导致占用额外的磁盘空间。

恢复数据,先回复完全备份的数据,再回复差异备份的数据

 

c)增量备份:(好)  每次增量备份都是备份在上一次完全备份或者增量备份之后的数据,

不会出现备份重复数据的情况,也不会占用额外的磁盘空间。

恢复数据,需要按照次序恢复完全备份和增量备份的数据。

 

 

常见的备份方法 :

a)物理冷备

备份时关闭数据库,直接打包数据库文件 备份速度快,

恢复时也是最简单的 关闭MySQL数据库 使用tar命令直接打包数据库文件夹

直接替换现有的MySQL目录即可


b)专用备份工具mydump或者mysqlhotcopy

mysqldump常用的逻辑备份工具 MySQL自带的备份工具,可实现对MySQL的备份 可以将指定的库、

表导出为SQL脚本 使用命令mysql导入备份的数据


mysqlhotcopy仅拥有备份myisam和archive表


c)启动二进制日志进行增量备份

进行增量备份,需要刷新二进制日志

 

d)第三方工具备份

免费的MySQL热备份软件Percona XtraBackup

 

------总结------

2387773-20210830201440148-568747975.png


MySQL完全备份与恢复:

先创建一个表为下面实验准备:

mysql -u root -p
create database SCHOOL;
use SCHOOL;
create table if not exists CLASS1 (
id int(4) not null auto_increment,
name varchar(10) not null,
sex char(10) not null,
hobby varchar(50),
primary key (id));
insert into CLASS1 values(1,'user1','male','running');
insert into CLASS1 values(2,'user2','female','singing');
set password = password('abc123');

2387773-20210830202442587-1823342826.png

MySQL 完全备份与恢复:  

InnoDB存储引擎的数据库在磁盘上存储成三个文件:db.opt(表属性文件)、表名.frm(表结构文件)、表名.ibd(表数据文件)。

a)物理冷备份与恢复:              


systemctl stop mysqld
yum -y install xz


压缩备份

tar Jcvf /opt/mysql_all_$(date +%F).tar.xz /usr/local/mysql/data/


解压恢复

tar Jxvf /opt/mysql_all_2020-11-22.tar.xz -C /usr/local/mysql/data
systemctl restart mysql


b)mysqldump 备份与恢复 :              

 完全备份一个或多个完整的库(包括其中所有的表)

mysqldump -u root -p[密码] --databases 库名1 [库名2] … > /备份路径/备份文件名.sql #导出的就是数据库脚本文件


例如:

mysqldump -uroot -p123123 --databases SCHOOL > /opt/SCHOOL.sql
mysqldump -uroot -p123123 --databases mysql SCHOOL > /opt/mysql-SCHOOL.sql




相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
1天前
|
SQL 存储 关系型数据库
Mysql并发控制和日志
通过深入理解和应用 MySQL 的并发控制和日志管理技术,您可以显著提升数据库系统的效率和稳定性。
19 10
|
1月前
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
本文介绍了MySQL InnoDB存储引擎中的数据文件和重做日志文件。数据文件包括`.ibd`和`ibdata`文件,用于存放InnoDB数据和索引。重做日志文件(redo log)确保数据的可靠性和事务的持久性,其大小和路径可由相关参数配置。文章还提供了视频讲解和示例代码。
141 11
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
|
14天前
|
SQL 存储 缓存
MySQL进阶突击系列(02)一条更新SQL执行过程 | 讲透undoLog、redoLog、binLog日志三宝
本文详细介绍了MySQL中update SQL执行过程涉及的undoLog、redoLog和binLog三种日志的作用及其工作原理,包括它们如何确保数据的一致性和完整性,以及在事务提交过程中各自的角色。同时,文章还探讨了这些日志在故障恢复中的重要性,强调了合理配置相关参数对于提高系统稳定性的必要性。
|
29天前
|
SQL 关系型数据库 MySQL
【赵渝强老师】MySQL的全量日志文件
MySQL全量日志记录所有操作的SQL语句,默认禁用。启用后,可通过`show variables like %general_log%检查状态,使用`set global general_log=ON`临时开启,执行查询并查看日志文件以追踪SQL执行详情。
|
1月前
|
关系型数据库 MySQL 数据库
【赵渝强老师】MySQL的binlog日志文件
MySQL的binlog日志记录了所有对数据库的更改操作(不包括SELECT和SHOW),主要用于主从复制和数据恢复。binlog有三种模式,可通过设置binlog_format参数选择。示例展示了如何启用binlog、设置格式、查看日志文件及记录的信息。
|
1月前
|
SQL 关系型数据库 MySQL
【赵渝强老师】MySQL的慢查询日志
MySQL的慢查询日志用于记录执行时间超过设定阈值的SQL语句,帮助数据库管理员识别并优化性能问题。通过`mysqldumpslow`工具可查看日志。本文介绍了如何检查、启用及配置慢查询日志,并通过实例演示了慢查询的记录与分析过程。
115 3
|
1月前
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL的撤销日志文件和错误日志文件
本文介绍了MySQL的物理存储结构,重点讲解了InnoDB存储引擎中的撤销日志文件(undo log)和错误日志文件。从MySQL 8.0开始,默认生成两个10MB的undo表空间文件,并支持动态扩容和收缩。错误日志文件记录了MySQL启动、运行、关闭过程中的问题,通过示例展示了如何查看和使用这些日志。
|
11天前
|
关系型数据库 MySQL 数据库
Python处理数据库:MySQL与SQLite详解 | python小知识
本文详细介绍了如何使用Python操作MySQL和SQLite数据库,包括安装必要的库、连接数据库、执行增删改查等基本操作,适合初学者快速上手。
79 15
|
4天前
|
SQL 关系型数据库 MySQL
数据库数据恢复—Mysql数据库表记录丢失的数据恢复方案
Mysql数据库故障: Mysql数据库表记录丢失。 Mysql数据库故障表现: 1、Mysql数据库表中无任何数据或只有部分数据。 2、客户端无法查询到完整的信息。
|
11天前
|
关系型数据库 MySQL 数据库
数据库数据恢复—MYSQL数据库文件损坏的数据恢复案例
mysql数据库文件ibdata1、MYI、MYD损坏。 故障表现:1、数据库无法进行查询等操作;2、使用mysqlcheck和myisamchk无法修复数据库。