MySQL--使用通用日志实现数据库审计

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
日志服务 SLS,月写入数据量 50GB 1个月
简介: MySQL的通用日志会记录数据库中所有执行的sql语句及用户名和ip地址,可以用于数据库审计。

1 MySQL通用日志是什么?

      MySQL通用日志记录用户的连接和断开连接的行为,记录从客户端收到的每一台sql语句。通用日志里记录的信息包括连接的用户名和IP地址,语句执行的时间。在某些场景下可以用于数据库审计。

     MySQL通用日志的主要问题是没有过滤或者选择选项,记录的信息量过大,可能会对存储空间造成压力和io造成压力,对数据库的性能也有一定的影响。当怀疑数据库内运行的语句有问题时,可以短时开启,定位到具体的语句、用户和IP地址。

2 怎样MySQL通用日志的开启?

     通过设置变量general-log来开启MySQL通用日志,general-log是动态变量,可以在数据库运行时开启。在数据库启动时用命令行开启的命令如下:

mysqld_safe --user=mysql --general-log=on  --datadir=/mysqldata &

开启后general-log变量值如下

mysql> show variables like'%general%';+------------------+----------------------------------------+| Variable_name    | Value                                  |+------------------+----------------------------------------+| general_log      |ON|| general_log_file |/mysqldata/iZ2ze0t8khaprrpfvmevjiZ.log|+------------------+----------------------------------------+2 rows inset(0.00 sec)

general_log_file变量的值可以看到,产生的通用日志(也称为为通用查询日志)一般也称为查询日志。位于操作系统的文件内,也可以查询日志存储在MySQL数据库的表内,设置以下变量即可。

mysql>set global log_output='TABLE';  Query OK,0 rows affected (0.00 sec)

设置了这个变量值,慢查询日志也会存储到MySQL数据库的表内,查询日志存储在mysql数据库下名为general_log的表内,

mysql> show tables like'%general%';+-----------------------------+| Tables_in_mysql (%general%)|+-----------------------------+| general_log                 |+-----------------------------+1 row inset(0.01 sec)

3 怎样查看产生的慢查询日志

       mysql数据库下general_log表的信息如下

mysql>desc general_log;+--------------+---------------------+------+-----+----------------------+--------------------------------+| Field        | Type                |Null| Key | Default              | Extra                          |+--------------+---------------------+------+-----+----------------------+--------------------------------+| event_time   |timestamp(6)| NO   || CURRENT_TIMESTAMP(6)|onupdate CURRENT_TIMESTAMP(6)|| user_host    |mediumtext| NO   ||NULL||| thread_id    |bigint(21)unsigned| NO   ||NULL||| server_id    |int(10)unsigned| NO   ||NULL||| command_type |varchar(64)| NO   ||NULL||| argument     |mediumblob| NO   ||NULL||+--------------+---------------------+------+-----+----------------------+--------------------------------+6 rows inset(0.00 sec)

查询这个表即可获得数据库的查询日志

mysql>select*from general_log limit10;+----------------------------+-------------------------------+-----------+-----------+--------------+-------------------------------------------------------------------------------------------------+| event_time                 | user_host                     | thread_id | server_id | command_type | argument                                                                                        |+----------------------------+-------------------------------+-----------+-----------+--------------+-------------------------------------------------------------------------------------------------+|2022-09-1414:47:00.066478| root[root] @ localhost []|3|0| Query        |select*from general_log                                                                       ||2022-09-1414:49:00.988472| root[root] @ localhost []|3|0| Query        | GRANT ALL PRIVILEGES ON*.* TO 'test'@'%' IDENTIFIED WITH 'mysql_native_password'AS'<secret>'||2022-09-1414:49:18.585143| root[root] @ localhost []|3|0| Query        | flush privileges                                                                                ||2022-09-1414:53:15.055589|[test] @  [100.104.224.3]|4|0| Connect      | test@100.104.224.3on information_schema using TCP/IP                                           ||2022-09-1414:53:15.057256| test[test] @  [100.104.224.3]|4|0| Query        |SET autocommit=true||2022-09-1414:53:15.060085| test[test] @  [100.104.224.3]|4|0| Query        |/* rds internal mark *//* hdm internal mark */SELECT/*+ MAX_EXECUTION_TIME(2000) */1||2022-09-1414:53:15.061626| test[test] @  [100.104.224.3]|4|0| Quit         |||2022-09-1414:53:19.873779|[test] @  [100.104.224.3]|5|0| Connect      | test@100.104.224.3on information_schema using TCP/IP                                           ||2022-09-1414:53:19.875503| test[test] @  [100.104.224.3]|5|0| Query        |SET autocommit=true||2022-09-1414:55:12.879961| test[test] @  [100.104.224.3]|5|0| Query        |/* rds internal mark *//* hdm internal mark */SELECT/*+ MAX_EXECUTION_TIME(2000) */1|+----------------------------+-------------------------------+-----------+-----------+--------------+-------------------------------------------------------------------------------------------------+10 rows inset(0.00 sec)

4 怎样清理通用日志?

      由于通用日志的存储量非常大,需要定期清理,释放存储存储空间,最简单的清理办法是使用truncate命令清空表。

     使用truncate命令清空表之前表占用的空间

mysql> system ls-l /mysqldata/mysql/general*
-rw-r-----1 mysql mysql    35 Sep 1414:38 /mysqldata/mysql/general_log.CSM
-rw-r-----1 mysql mysql 10264 Sep 1414:44 /mysqldata/mysql/general_log.CSV
-rw-r-----1 mysql mysql  8776 Aug  914:07 /mysqldata/mysql/general_log.frm

运行truncate命令

mysql> truncate table general_log;    Query OK,0 rows affected (0.00 sec)

清空后表占用的存储空间

mysql> system ls -l /mysqldata/mysql/general*-rw-r----- 1 mysql mysql   35 Sep 14 14:47 /mysqldata/mysql/general_log.CSM-rw-r----- 1 mysql mysql   97 Sep 14 14:47 /mysqldata/mysql/general_log.CSV-rw-r----- 1 mysql mysql 8776 Aug  9 14:07 /mysqldata/mysql/general_log.frm

其中general_log.CSV为表的数据文件,可以看出,空间已被清除。




相关文章
|
8天前
|
关系型数据库 MySQL 数据库
Python处理数据库:MySQL与SQLite详解 | python小知识
本文详细介绍了如何使用Python操作MySQL和SQLite数据库,包括安装必要的库、连接数据库、执行增删改查等基本操作,适合初学者快速上手。
71 15
|
1天前
|
SQL 关系型数据库 MySQL
数据库数据恢复—Mysql数据库表记录丢失的数据恢复方案
Mysql数据库故障: Mysql数据库表记录丢失。 Mysql数据库故障表现: 1、Mysql数据库表中无任何数据或只有部分数据。 2、客户端无法查询到完整的信息。
|
8天前
|
关系型数据库 MySQL 数据库
数据库数据恢复—MYSQL数据库文件损坏的数据恢复案例
mysql数据库文件ibdata1、MYI、MYD损坏。 故障表现:1、数据库无法进行查询等操作;2、使用mysqlcheck和myisamchk无法修复数据库。
|
11天前
|
SQL 存储 缓存
MySQL进阶突击系列(02)一条更新SQL执行过程 | 讲透undoLog、redoLog、binLog日志三宝
本文详细介绍了MySQL中update SQL执行过程涉及的undoLog、redoLog和binLog三种日志的作用及其工作原理,包括它们如何确保数据的一致性和完整性,以及在事务提交过程中各自的角色。同时,文章还探讨了这些日志在故障恢复中的重要性,强调了合理配置相关参数对于提高系统稳定性的必要性。
|
13天前
|
SQL 关系型数据库 MySQL
MySQL导入.sql文件后数据库乱码问题
本文分析了导入.sql文件后数据库备注出现乱码的原因,包括字符集不匹配、备注内容编码问题及MySQL版本或配置问题,并提供了详细的解决步骤,如检查和统一字符集设置、修改客户端连接方式、检查MySQL配置等,确保导入过程顺利。
|
20天前
|
关系型数据库 MySQL 数据库
GBase 数据库如何像MYSQL一样存放多行数据
GBase 数据库如何像MYSQL一样存放多行数据
|
26天前
|
SQL 关系型数据库 MySQL
【赵渝强老师】MySQL的全量日志文件
MySQL全量日志记录所有操作的SQL语句,默认禁用。启用后,可通过`show variables like %general_log%检查状态,使用`set global general_log=ON`临时开启,执行查询并查看日志文件以追踪SQL执行详情。
|
1月前
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
263 30
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
|
5天前
|
监控 安全 Apache
什么是Apache日志?为什么Apache日志分析很重要?
Apache是全球广泛使用的Web服务器软件,支持超过30%的活跃网站。它通过接收和处理HTTP请求,与后端服务器通信,返回响应并记录日志,确保网页请求的快速准确处理。Apache日志分为访问日志和错误日志,对提升用户体验、保障安全及优化性能至关重要。EventLog Analyzer等工具可有效管理和分析这些日志,增强Web服务的安全性和可靠性。
|
2月前
|
XML JSON Java
Logback 与 log4j2 性能对比:谁才是日志框架的性能王者?
【10月更文挑战第5天】在Java开发中,日志框架是不可或缺的工具,它们帮助我们记录系统运行时的信息、警告和错误,对于开发人员来说至关重要。在众多日志框架中,Logback和log4j2以其卓越的性能和丰富的功能脱颖而出,成为开发者们的首选。本文将深入探讨Logback与log4j2在性能方面的对比,通过详细的分析和实例,帮助大家理解两者之间的性能差异,以便在实际项目中做出更明智的选择。
292 3