Mysql 日志管理(学习笔记九)

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
云数据库 RDS PostgreSQL,集群系列 2核4GB
简介: mysql日志——记录着mysql数据库运行期间的操作和信息日志作用(1)当数据库遭到意外损害,可以通过日志文件来查询出错原因(2)利用日志文件进行数据恢复日志分类(1)二进制日志:以二进制文件的形式记录了数据库中的操作,但是不记录查询语句...

mysql日志——记录着mysql数据库运行期间的操作和信息

日志作用

(1)当数据库遭到意外损害,可以通过日志文件来查询出错原因

(2)利用日志文件进行数据恢复

日志分类

(1)二进制日志:以二进制文件的形式记录了数据库中的操作,但是不记录查询语句

(2)错误日志:记录Mysql服务器的启动、关闭和运行错误等信息

(3)慢查询日志:记录执行时间超过指定时间的操作

(4)通用查询日志:记录用户的所有操作,包括启动和关闭MySQL服务、更新语句、查询语句等

日志设置

(1)除了二进制日志,其他都是文本文件

(2)日志文件通常存储在Mysql数据目录下

(3)默认只启动了错误日志功能,其他需要手工启动

(4)但启动日志功能会降低Mysql的执行速度,因为一条操作写进日志中是要花时间的


二进制日志

(1) 以二进制文件的形式记录了数据库中的操作,但是不记录查询语句

(2) 也叫变更日志(update log),主要用于记录数据库的变化

(3) 启动与设置二进制日志:在Mysql的配置文件中,log-bin=DIR/filename

DIR是存放二进制日志的目录;

每启动一次Mysql,该目录下就会生成一个filename.00000x的文件;

目录下还有一个filename.index的文件,用于存储所有二进制文件清单;

如果我们没有设置DIR和filename,则默认在数据目录下以hostname-bin.00000x命名

# cat /etc/my.cnf|egrep "log-bin"

log-bin = /data/mysqldb/binlog/mysql-bin

# ls /data/mysqldb/binlog/

mysql-bin.000001 mysql-bin.000003 mysql-bin.000005 mysql-bin.000007 mysql-bin.index

mysql-bin.000002 mysql-bin.000004 mysql-bin.000006 mysql-bin.000008

(4)临时停止与启动二进制日志

-> set sql_log_bin=0; 停止-> set sql_log_bin=1; 启动

(5)注意:二进制日志文件与数据库数据文件最好不要放在同一块硬盘上,如果存放数据文件的硬盘坏了,可以用另一块硬盘的二进制日志来恢复数据

(6)查看二进制日志:

# mysqlbinlog mysql-bin.000001

(7)删除二进制日志:

//删除所有->reset master;//删除00004之前的所有->purge master logs to'mysql-bin.000004';//删除指定日期时间之前的所有->purge master logs to'2016-08-10 15:00:00';

(8)使用二进制日志还原数据库

# mysqlbinlog mysql-bin.000001 | mysql -u root -p

# mysqlbinlog mysql-bin.000002 |mysql -u root -p

这条命令可以理解为:使用mysqlbinlog读取二进制日志文件然后使用mysql命令还原到数据库中

注意还原时必须是编号小的先还原

(9)使用二进制日志文件的pos号|时间点恢复

//先执行3条操作-> create database 2test-> create database alvin-> drop database 2test//查看二进制日志,观察每一个命令的起始/结束pos号,和起始/结束时间# mysqlbinlog mysql-bin.000001# at 120#160813 15:13:53serverid 706end_log_pos 217CRC32 0x781f816eQuery    thread_id=21exec_time=0 error_code=0SET TIMESTAMP=1471072433/*!*/;

SET @@session.pseudo_thread_id=21/*!*/;

SET @@session.foreign_key_checks=1, @@session.sql_auto_is_null=0, @@session.unique_checks=1, @@session.autocommit=1/*!*/;

SET @@session.sql_mode=1075838976/*!*/;

SET @@session.auto_increment_increment=1, @@session.auto_increment_offset=1/*!*/;

/*!\C utf8 *//*!*/;

SET @@session.character_set_client=33,@@session.collation_connection=33,@@session.collation_server=33/*!*/;SET @@session.lc_time_names=0/*!*/;SET @@session.collation_database=DEFAULT/*!*/;create database 2test/*!*/;# at 217#160813 15:14:11serverid 706end_log_pos 314 CRC32 0x0fde9820Query    thread_id=21exec_time=0error_code=0SET TIMESTAMP=1471072451/*!*/;create database alvin/*!*/;//想回到什么哪条命令时的状态,可以指定起始/结束pos号恢复# mysqlbinlog --start-position="120" --stop-position="217" mysql-bin.000001 |mysql -u root -p

//日志也会记录下这条恢复语句,我们可以看到这条命令的时间和原来那条一模一样

# mysqlbinlog mysql-bin.000001# at 401#160813 15:13:53server id 706 end_log_pos 498 CRC32 0x3a899ca5 Query    thread_id=21    exec_time=619    error_code=0SET TIMESTAMP=1471072433/*!*/;create database 2test/*!*/;

//同理也可以用时间点来恢复

# mysqlbinlog –start-datetime=”2016-08-13 15:13:53” –stop-datetime=”2016-08-13 15:14:11” mysql-bin.000001 | mysql –uroot –p


错误日志

(1)主要用于记录Mysql服务的开启、关闭和错误信息,若服务启动不成功第一件事应该就是去看这个错误日志

(2)错误日志是默认开启的,且错误日志无法被关闭

(3)设置错误日志:在配置文件中,log-error=DIR/filename

# cat /etc/my.cnf |egrep "log-error"

log-error = /data/mysqldb/log/mysql-error.log

# ls /data/mysqldb/log

mysql-error.log

(4)删除错误日志

mysqladmin -u root -p flush-logs

# ls

mysql-error.log mysql-slow_query.log


通用查询日志

(1)用来记录用户的所有操作:启动和关闭mysql、更新语句、查询语句

(2)启用和设置通用查询日志:配置文件中,log=DIR/filename

(3)删除通用查询日志:

# mysqladmin -u root -p flush-logs

或# echo >access.log


慢查询日志

(1)记录执行时间超过指定时间的执行语句

(2)启动和设置慢查询日志:在配置文件中

log-slow-queries=DIR/filename

long_query_time=n//设置时间为n秒,默认为10s

(3)删除慢查询日志:

# mysqladmin -u root -p flush-logs



MySQL日志类型

a 错误日志(Error Log)

日志文件名称:用--log-error[=file_name]选项来指定mysql保存错误日志文件的位置,如果没有指定file_name,mysql使用默认的错误日志名host_name.err;

img_c0fa8e2e0212b65bdf8df021a75919c0.gif

日志文件路径:默认情况下,日志文件都保存在mysql的数据目录中。如果执行FLUSH LOGS,错误日志用-old重新命名后缀,并且mysql创建一个新的空日志文件。(如果未给出-log-error选项,则不会重新命名)。

img_e50650d25eb9af821d0b8b5136d6c2af.gif

日志其他说明:如果不指定--log-error,或者(Windows)使用--console选项,错误被写入标准错误输出stderr。通常标准输出为终端。

b 查询日志(Query Log)

日志文件名称:(老版本方法)--log=[file_name]-l[file_name]选项进行启用。如果未指定file_name,默认名称为host_name.log

/etc/my.cnf[mysqld]下面添加log=/var/lib/mysql/Dragonwake.log重启后

#servicemysql restart

img_2004ae016d633c32cf3c4b4b45fc6d0a.gif

查看错误日志:

img_a448978651d9f41c3d273dccb0ae7400.gif

正确的配置方法,在/etc/my.cnf[mysqld]下面添加下如内容

# 查询日志

general_log=ON

general_log_file=/var/lib/mysql/Dragonwake.log

重启mysql

img_b86fc0436de7d4c84a07529d7f808081.gif

生成的查询日志文件Dragonwake.log

img_3e4a8c051745a4a46a6493605136d2d3.gif

查询日志内容:

#tail -f /var/lib/mysql/Dragonwake.log

img_6d872110ddcab5669ce29f4a153656ce.gif

c 慢查询日志(Slow Query Log)

日志配置:--log-slow-queries[=file_name]选项启动时,mysql写一个包含了所有执行超过了long_query_time秒的SQL语句的日志。如果未指定file_name,默认为host_name-slow.err。如果给出了文件名,但不是绝对路径,文件则写入默认的数据目录。

/etc/my.cnf[mysqld]下面添加

# 执行超过1秒的sql会被log下来

long_query_time=1

# 将查询执行时间较慢的语句进行记录

log-slow-queries=/var/lib/mysql/Dragonwake-slow.log

重启mysql服务后,出现如下错误,

img_6cfc9e0d82e8e9d85d57fa3bccc273db.gif

正确日志配置:mysql5.6版本以上,取消了参数log-slow-queries,更改为slow-query-log-file,同时必须设置slow_query_log=on

# 慢查询日志

# 执行超过1秒的sql会被log下来

long_query_time=1

# 开启慢查询

slow_query_log=on

# 慢查询日志路径

slow-query-log-file=/var/lib/mysql/Dragonwake-slow.log

重启MySQL

img_885d55b92428ded51b17c5b25092d78c.gif

输出慢查询日志Dragonwake-slow.log

img_e9278b9d2d4854561c2e8727f63f4bd7.gif

慢查询日志内容

img_d78ebbdec3fd1db78fc1083bd03d17d5.gif

d 更新日志(Update Log)

日志配置:用--log-update[=file_name]选项(不建议使用)

/etc/my.cnf[mysqld]下面添加,

# 更新查询

log-update=/var/lib/mysql/Dragonwake-update.log

出现如下错误:

img_a22fd408b1dbde4c12a075d51c7bc173.gif

暂未找到解决办法

e 二进制日志(Binary Log & Binary Log Index)

日志设置:用--log-bin[=file_name]选项

/etc/my.cnf[mysqld]下面添加,

# 二进制查询

log-bin=/var/lib/mysql/Dragonwake-bin.log

重启MySQL

img_19adcb592a94d5cce0d099842f6a1005.gif

输出二进制日志

img_b1d7735f17ef57dea35d29675759ea2b.gif

查看二进制日志内容

#tail -f /var/lib/mysql/Dragonwake-bin.000001

img_5b0c4bae451befb54627d2bb8cc9487c.gif

f)mysql日志查询

mysql> show variables like'log_%';

h)mysql当前日志

mysql> show master status;

img_4b1539aa6d431806d989fc2313d162bd.gif

i)mysql二进制日志数目

mysql> show master logs;

img_192c7020f4939b1c34ef3e6d891815c0.gif
相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
2月前
|
数据可视化 关系型数据库 MySQL
ELK实现nginx、mysql、http的日志可视化实验
通过本文的步骤,你可以成功配置ELK(Elasticsearch, Logstash, Kibana)来实现nginx、mysql和http日志的可视化。通过Kibana,你可以直观地查看和分析日志数据,从而更好地监控和管理系统。希望这些步骤能帮助你在实际项目中有效地利用ELK来处理日志数据。
291 90
|
1月前
|
SQL 运维 关系型数据库
MySQL Binlog 日志查看方法及查看内容解析
本文介绍了 MySQL 的 Binlog(二进制日志)功能及其使用方法。Binlog 记录了数据库的所有数据变更操作,如 INSERT、UPDATE 和 DELETE,对数据恢复、主从复制和审计至关重要。文章详细说明了如何开启 Binlog 功能、查看当前日志文件及内容,并解析了常见的事件类型,包括 Format_desc、Query、Table_map、Write_rows、Update_rows 和 Delete_rows 等,帮助用户掌握数据库变化历史,提升维护和排障能力。
|
2月前
|
存储 SQL 关系型数据库
mysql的undo log、redo log、bin log、buffer pool
MySQL的undo log、redo log、bin log和buffer pool是确保数据库高效、安全和可靠运行的关键组件。理解这些组件的工作原理和作用,对于优化数据库性能和保障数据安全具有重要意义。通过适当的配置和优化,可以显著提升MySQL的运行效率和数据可靠性。
60 16
|
2月前
|
存储 SQL 关系型数据库
mysql的undo log、redo log、bin log、buffer pool
MySQL的undo log、redo log、bin log和buffer pool是确保数据库高效、安全和可靠运行的关键组件。理解这些组件的工作原理和作用,对于优化数据库性能和保障数据安全具有重要意义。通过适当的配置和优化,可以显著提升MySQL的运行效率和数据可靠性。
48 4
|
3月前
|
关系型数据库 MySQL 数据库
MySQL日志
本文介绍了MySQL中三个重要的日志:binlog、redolog和undolog。binlog记录数据库更改操作,支持数据恢复、复制和审计;redolog保证事务的原子性和持久性,实现crash-safe;undolog用于事务回滚及MVCC的实现。每个日志都有其独特的作用和应用场景,确保数据库的稳定性和数据一致性。
|
2月前
|
SQL 存储 关系型数据库
简单聊聊MySQL的三大日志(Redo Log、Binlog和Undo Log)各有什么区别
在MySQL数据库管理中,理解Redo Log(重做日志)、Binlog(二进制日志)和Undo Log(回滚日志)至关重要。Redo Log确保数据持久性和崩溃恢复;Binlog用于主从复制和数据恢复,记录逻辑操作;Undo Log支持事务的原子性和隔离性,实现回滚与MVCC。三者协同工作,保障事务ACID特性。文章还详细解析了日志写入流程及可能的异常情况,帮助深入理解数据库日志机制。
192 0
|
6月前
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
1866 31
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
|
5月前
|
监控 安全 Apache
什么是Apache日志?为什么Apache日志分析很重要?
Apache是全球广泛使用的Web服务器软件,支持超过30%的活跃网站。它通过接收和处理HTTP请求,与后端服务器通信,返回响应并记录日志,确保网页请求的快速准确处理。Apache日志分为访问日志和错误日志,对提升用户体验、保障安全及优化性能至关重要。EventLog Analyzer等工具可有效管理和分析这些日志,增强Web服务的安全性和可靠性。
142 9
|
3月前
|
存储 SQL 关系型数据库
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log、原理、写入过程;binlog与redolog区别、update语句的执行流程、两阶段提交、主从复制、三种日志的使用场景;查询日志、慢查询日志、错误日志等其他几类日志
234 35
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log
|
2月前
|
监控 Java 应用服务中间件
Tomcat log日志解析
理解和解析Tomcat日志文件对于诊断和解决Web应用中的问题至关重要。通过分析 `catalina.out`、`localhost.log`、`localhost_access_log.*.txt`、`manager.log`和 `host-manager.log`等日志文件,可以快速定位和解决问题,确保Tomcat服务器的稳定运行。掌握这些日志解析技巧,可以显著提高运维和开发效率。
133 13

热门文章

最新文章