MySQL--使用通用日志实现数据库审计

本文涉及的产品
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介: MySQL的通用日志会记录数据库中所有执行的sql语句及用户名和ip地址,可以用于数据库审计。

1 MySQL通用日志是什么?

      MySQL通用日志记录用户的连接和断开连接的行为,记录从客户端收到的每一台sql语句。通用日志里记录的信息包括连接的用户名和IP地址,语句执行的时间。在某些场景下可以用于数据库审计。

     MySQL通用日志的主要问题是没有过滤或者选择选项,记录的信息量过大,可能会对存储空间造成压力和io造成压力,对数据库的性能也有一定的影响。当怀疑数据库内运行的语句有问题时,可以短时开启,定位到具体的语句、用户和IP地址。

2 怎样MySQL通用日志的开启?

     通过设置变量general-log来开启MySQL通用日志,general-log是动态变量,可以在数据库运行时开启。在数据库启动时用命令行开启的命令如下:

mysqld_safe --user=mysql --general-log=on  --datadir=/mysqldata &

开启后general-log变量值如下

mysql> show variables like'%general%';+------------------+----------------------------------------+| Variable_name    | Value                                  |+------------------+----------------------------------------+| general_log      |ON|| general_log_file |/mysqldata/iZ2ze0t8khaprrpfvmevjiZ.log|+------------------+----------------------------------------+2 rows inset(0.00 sec)

general_log_file变量的值可以看到,产生的通用日志(也称为为通用查询日志)一般也称为查询日志。位于操作系统的文件内,也可以查询日志存储在MySQL数据库的表内,设置以下变量即可。

mysql>set global log_output='TABLE';  Query OK,0 rows affected (0.00 sec)

设置了这个变量值,慢查询日志也会存储到MySQL数据库的表内,查询日志存储在mysql数据库下名为general_log的表内,

mysql> show tables like'%general%';+-----------------------------+| Tables_in_mysql (%general%)|+-----------------------------+| general_log                 |+-----------------------------+1 row inset(0.01 sec)

3 怎样查看产生的慢查询日志

       mysql数据库下general_log表的信息如下

mysql>desc general_log;+--------------+---------------------+------+-----+----------------------+--------------------------------+| Field        | Type                |Null| Key | Default              | Extra                          |+--------------+---------------------+------+-----+----------------------+--------------------------------+| event_time   |timestamp(6)| NO   || CURRENT_TIMESTAMP(6)|onupdate CURRENT_TIMESTAMP(6)|| user_host    |mediumtext| NO   ||NULL||| thread_id    |bigint(21)unsigned| NO   ||NULL||| server_id    |int(10)unsigned| NO   ||NULL||| command_type |varchar(64)| NO   ||NULL||| argument     |mediumblob| NO   ||NULL||+--------------+---------------------+------+-----+----------------------+--------------------------------+6 rows inset(0.00 sec)

查询这个表即可获得数据库的查询日志

mysql>select*from general_log limit10;+----------------------------+-------------------------------+-----------+-----------+--------------+-------------------------------------------------------------------------------------------------+| event_time                 | user_host                     | thread_id | server_id | command_type | argument                                                                                        |+----------------------------+-------------------------------+-----------+-----------+--------------+-------------------------------------------------------------------------------------------------+|2022-09-1414:47:00.066478| root[root] @ localhost []|3|0| Query        |select*from general_log                                                                       ||2022-09-1414:49:00.988472| root[root] @ localhost []|3|0| Query        | GRANT ALL PRIVILEGES ON*.* TO 'test'@'%' IDENTIFIED WITH 'mysql_native_password'AS'<secret>'||2022-09-1414:49:18.585143| root[root] @ localhost []|3|0| Query        | flush privileges                                                                                ||2022-09-1414:53:15.055589|[test] @  [100.104.224.3]|4|0| Connect      | test@100.104.224.3on information_schema using TCP/IP                                           ||2022-09-1414:53:15.057256| test[test] @  [100.104.224.3]|4|0| Query        |SET autocommit=true||2022-09-1414:53:15.060085| test[test] @  [100.104.224.3]|4|0| Query        |/* rds internal mark *//* hdm internal mark */SELECT/*+ MAX_EXECUTION_TIME(2000) */1||2022-09-1414:53:15.061626| test[test] @  [100.104.224.3]|4|0| Quit         |||2022-09-1414:53:19.873779|[test] @  [100.104.224.3]|5|0| Connect      | test@100.104.224.3on information_schema using TCP/IP                                           ||2022-09-1414:53:19.875503| test[test] @  [100.104.224.3]|5|0| Query        |SET autocommit=true||2022-09-1414:55:12.879961| test[test] @  [100.104.224.3]|5|0| Query        |/* rds internal mark *//* hdm internal mark */SELECT/*+ MAX_EXECUTION_TIME(2000) */1|+----------------------------+-------------------------------+-----------+-----------+--------------+-------------------------------------------------------------------------------------------------+10 rows inset(0.00 sec)

4 怎样清理通用日志?

      由于通用日志的存储量非常大,需要定期清理,释放存储存储空间,最简单的清理办法是使用truncate命令清空表。

     使用truncate命令清空表之前表占用的空间

mysql> system ls-l /mysqldata/mysql/general*
-rw-r-----1 mysql mysql    35 Sep 1414:38 /mysqldata/mysql/general_log.CSM
-rw-r-----1 mysql mysql 10264 Sep 1414:44 /mysqldata/mysql/general_log.CSV
-rw-r-----1 mysql mysql  8776 Aug  914:07 /mysqldata/mysql/general_log.frm

运行truncate命令

mysql> truncate table general_log;    Query OK,0 rows affected (0.00 sec)

清空后表占用的存储空间

mysql> system ls -l /mysqldata/mysql/general*-rw-r----- 1 mysql mysql   35 Sep 14 14:47 /mysqldata/mysql/general_log.CSM-rw-r----- 1 mysql mysql   97 Sep 14 14:47 /mysqldata/mysql/general_log.CSV-rw-r----- 1 mysql mysql 8776 Aug  9 14:07 /mysqldata/mysql/general_log.frm

其中general_log.CSV为表的数据文件,可以看出,空间已被清除。




相关文章
|
4天前
|
关系型数据库 MySQL 分布式数据库
《MySQL 简易速速上手小册》第6章:MySQL 复制和分布式数据库(2024 最新版)
《MySQL 简易速速上手小册》第6章:MySQL 复制和分布式数据库(2024 最新版)
32 2
|
16天前
|
存储 安全 关系型数据库
Mysql 的binlog日志的优缺点
MySQL的binlog(二进制日志)是一个记录数据库更改的日志文件,它包含了所有对数据库执行的更改操作,如INSERT、UPDATE和DELETE等。binlog的主要目的是复制和恢复。以下是binlog日志的优缺点: ### 优点: 1. **数据恢复**:当数据库出现意外故障或数据丢失时,可以利用binlog进行点恢复(point-in-time recovery),将数据恢复到某一特定时间点。 2. **主从复制**:binlog是实现MySQL主从复制功能的核心组件。主服务器将binlog中的事件发送到从服务器,从服务器再重放这些事件,从而实现数据的同步。 3. **审计**:b
|
16天前
|
关系型数据库 MySQL 数据库
卸载云服务器上的 MySQL 数据库
卸载云服务器上的 MySQL 数据库
32 0
|
1天前
|
SQL 存储 关系型数据库
数据库开发之mysql前言以及详细解析
数据库开发之mysql前言以及详细解析
9 0
|
6天前
|
SQL 关系型数据库 MySQL
MySQL环境搭建——“MySQL数据库”
MySQL环境搭建——“MySQL数据库”
|
6天前
|
SQL NoSQL 关系型数据库
初识MySQL数据库——“MySQL数据库”
初识MySQL数据库——“MySQL数据库”
|
8天前
|
关系型数据库 MySQL 数据库
数据库基础(mysql)
数据库基础(mysql)
|
9天前
|
SQL 关系型数据库 数据库
【后端面经】【数据库与MySQL】SQL优化:如何发现SQL中的问题?
【4月更文挑战第12天】数据库优化涉及硬件升级、操作系统调整、服务器/引擎优化和SQL优化。SQL优化目标是减少磁盘IO和内存/CPU消耗。`EXPLAIN`命令用于检查SQL执行计划,关注`type`、`possible_keys`、`key`、`rows`和`filtered`字段。设计索引时考虑外键、频繁出现在`where`、`order by`和关联查询中的列,以及区分度高的列。大数据表改结构需谨慎,可能需要停机、低峰期变更或新建表。面试中应准备SQL优化案例,如覆盖索引、优化`order by`、`count`和索引提示。优化分页查询时避免大偏移量,可利用上一批的最大ID进行限制。
33 3
|
9天前
|
存储 关系型数据库 MySQL
【后端面经】【数据库与MySQL】为什么MySQL用B+树而不用B树?-02
【4月更文挑战第11天】数据库索引使用规则:`AND`用`OR`不用,正用反不用,范围中断。索引带来空间和内存代价,包括额外磁盘空间、内存占用和数据修改时的维护成本。面试中可能涉及B+树、聚簇索引、覆盖索引等知识点。MySQL采用B+树,因其利于范围查询和内存效率。数据库不使用索引可能因`!=`、`LIKE`、字段区分度低、特殊表达式或全表扫描更快。索引与NULL值处理在不同数据库中有差异,MySQL允许NULL在索引中的使用。
15 3
|
11天前
|
关系型数据库 MySQL 数据库连接
Django(四):Django项目部署数据库及服务器配置详解(MySQL)
Django(四):Django项目部署数据库及服务器配置详解(MySQL)
34 11