MySQL--使用通用日志实现数据库审计

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
云数据库 RDS PostgreSQL,高可用系列 2核4GB
简介: MySQL的通用日志会记录数据库中所有执行的sql语句及用户名和ip地址,可以用于数据库审计。

1 MySQL通用日志是什么?

      MySQL通用日志记录用户的连接和断开连接的行为,记录从客户端收到的每一台sql语句。通用日志里记录的信息包括连接的用户名和IP地址,语句执行的时间。在某些场景下可以用于数据库审计。

     MySQL通用日志的主要问题是没有过滤或者选择选项,记录的信息量过大,可能会对存储空间造成压力和io造成压力,对数据库的性能也有一定的影响。当怀疑数据库内运行的语句有问题时,可以短时开启,定位到具体的语句、用户和IP地址。

2 怎样MySQL通用日志的开启?

     通过设置变量general-log来开启MySQL通用日志,general-log是动态变量,可以在数据库运行时开启。在数据库启动时用命令行开启的命令如下:

mysqld_safe --user=mysql --general-log=on  --datadir=/mysqldata &

开启后general-log变量值如下

mysql> show variables like'%general%';+------------------+----------------------------------------+| Variable_name    | Value                                  |+------------------+----------------------------------------+| general_log      |ON|| general_log_file |/mysqldata/iZ2ze0t8khaprrpfvmevjiZ.log|+------------------+----------------------------------------+2 rows inset(0.00 sec)

general_log_file变量的值可以看到,产生的通用日志(也称为为通用查询日志)一般也称为查询日志。位于操作系统的文件内,也可以查询日志存储在MySQL数据库的表内,设置以下变量即可。

mysql>set global log_output='TABLE';  Query OK,0 rows affected (0.00 sec)

设置了这个变量值,慢查询日志也会存储到MySQL数据库的表内,查询日志存储在mysql数据库下名为general_log的表内,

mysql> show tables like'%general%';+-----------------------------+| Tables_in_mysql (%general%)|+-----------------------------+| general_log                 |+-----------------------------+1 row inset(0.01 sec)

3 怎样查看产生的慢查询日志

       mysql数据库下general_log表的信息如下

mysql>desc general_log;+--------------+---------------------+------+-----+----------------------+--------------------------------+| Field        | Type                |Null| Key | Default              | Extra                          |+--------------+---------------------+------+-----+----------------------+--------------------------------+| event_time   |timestamp(6)| NO   || CURRENT_TIMESTAMP(6)|onupdate CURRENT_TIMESTAMP(6)|| user_host    |mediumtext| NO   ||NULL||| thread_id    |bigint(21)unsigned| NO   ||NULL||| server_id    |int(10)unsigned| NO   ||NULL||| command_type |varchar(64)| NO   ||NULL||| argument     |mediumblob| NO   ||NULL||+--------------+---------------------+------+-----+----------------------+--------------------------------+6 rows inset(0.00 sec)

查询这个表即可获得数据库的查询日志

mysql>select*from general_log limit10;+----------------------------+-------------------------------+-----------+-----------+--------------+-------------------------------------------------------------------------------------------------+| event_time                 | user_host                     | thread_id | server_id | command_type | argument                                                                                        |+----------------------------+-------------------------------+-----------+-----------+--------------+-------------------------------------------------------------------------------------------------+|2022-09-1414:47:00.066478| root[root] @ localhost []|3|0| Query        |select*from general_log                                                                       ||2022-09-1414:49:00.988472| root[root] @ localhost []|3|0| Query        | GRANT ALL PRIVILEGES ON*.* TO 'test'@'%' IDENTIFIED WITH 'mysql_native_password'AS'<secret>'||2022-09-1414:49:18.585143| root[root] @ localhost []|3|0| Query        | flush privileges                                                                                ||2022-09-1414:53:15.055589|[test] @  [100.104.224.3]|4|0| Connect      | test@100.104.224.3on information_schema using TCP/IP                                           ||2022-09-1414:53:15.057256| test[test] @  [100.104.224.3]|4|0| Query        |SET autocommit=true||2022-09-1414:53:15.060085| test[test] @  [100.104.224.3]|4|0| Query        |/* rds internal mark *//* hdm internal mark */SELECT/*+ MAX_EXECUTION_TIME(2000) */1||2022-09-1414:53:15.061626| test[test] @  [100.104.224.3]|4|0| Quit         |||2022-09-1414:53:19.873779|[test] @  [100.104.224.3]|5|0| Connect      | test@100.104.224.3on information_schema using TCP/IP                                           ||2022-09-1414:53:19.875503| test[test] @  [100.104.224.3]|5|0| Query        |SET autocommit=true||2022-09-1414:55:12.879961| test[test] @  [100.104.224.3]|5|0| Query        |/* rds internal mark *//* hdm internal mark */SELECT/*+ MAX_EXECUTION_TIME(2000) */1|+----------------------------+-------------------------------+-----------+-----------+--------------+-------------------------------------------------------------------------------------------------+10 rows inset(0.00 sec)

4 怎样清理通用日志?

      由于通用日志的存储量非常大,需要定期清理,释放存储存储空间,最简单的清理办法是使用truncate命令清空表。

     使用truncate命令清空表之前表占用的空间

mysql> system ls-l /mysqldata/mysql/general*
-rw-r-----1 mysql mysql    35 Sep 1414:38 /mysqldata/mysql/general_log.CSM
-rw-r-----1 mysql mysql 10264 Sep 1414:44 /mysqldata/mysql/general_log.CSV
-rw-r-----1 mysql mysql  8776 Aug  914:07 /mysqldata/mysql/general_log.frm

运行truncate命令

mysql> truncate table general_log;    Query OK,0 rows affected (0.00 sec)

清空后表占用的存储空间

mysql> system ls -l /mysqldata/mysql/general*-rw-r----- 1 mysql mysql   35 Sep 14 14:47 /mysqldata/mysql/general_log.CSM-rw-r----- 1 mysql mysql   97 Sep 14 14:47 /mysqldata/mysql/general_log.CSV-rw-r----- 1 mysql mysql 8776 Aug  9 14:07 /mysqldata/mysql/general_log.frm

其中general_log.CSV为表的数据文件,可以看出,空间已被清除。




相关文章
|
3月前
|
人工智能 运维 关系型数据库
数据库运维:mysql 数据库迁移方法-mysqldump
本文介绍了MySQL数据库迁移的方法与技巧,重点探讨了数据量大小对迁移方式的影响。对于10GB以下的小型数据库,推荐使用mysqldump进行逻辑导出和source导入;10GB以上可考虑mydumper与myloader工具;100GB以上则建议物理迁移。文中还提供了统计数据库及表空间大小的SQL语句,并讲解了如何使用mysqldump导出存储过程、函数和数据结构。通过结合实际应用场景选择合适的工具与方法,可实现高效的数据迁移。
565 1
|
3月前
|
SQL 关系型数据库 MySQL
Go语言数据库编程:使用 `database/sql` 与 MySQL/PostgreSQL
Go语言通过`database/sql`标准库提供统一数据库操作接口,支持MySQL、PostgreSQL等多种数据库。本文介绍了驱动安装、连接数据库、基本增删改查操作、预处理语句、事务处理及错误管理等内容,涵盖实际开发中常用的技巧与注意事项,适合快速掌握Go语言数据库编程基础。
205 62
|
2月前
|
SQL 存储 关系型数据库
MySQL功能模块探秘:数据库世界的奇妙之旅
]带你轻松愉快地探索MySQL 8.4.5的核心功能模块,从SQL引擎到存储引擎,从复制机制到插件系统,让你在欢声笑语中掌握数据库的精髓!
|
2月前
|
SQL Oracle 关系型数据库
比较MySQL和Oracle数据库系统,特别是在进行分页查询的方法上的不同
两者的性能差异将取决于数据量大小、索引优化、查询设计以及具体版本的数据库服务器。考虑硬件资源、数据库设计和具体需求对于实现优化的分页查询至关重要。开发者和数据库管理员需要根据自身使用的具体数据库系统版本和环境,选择最合适的分页机制,并进行必要的性能调优来满足应用需求。
81 11
|
2月前
|
SQL 关系型数据库 MySQL
【赵渝强老师】MySQL中的数据库对象
本教程详细介绍了MySQL数据库中的常见对象,包括表、索引、视图、事件、存储过程和存储函数的创建与管理。内容涵盖表的基本操作、索引的使用、视图简化查询、事件调度功能等,并通过具体示例演示相关SQL语句的使用方法。
|
4月前
|
SQL 监控 关系型数据库
MySQL日志分析:binlog、redolog、undolog三大日志的深度探讨。
数据库管理其实和写小说一样,需要规划,需要修订,也需要有能力回滚。理解这些日志的作用与优化,就像把握写作工具的使用与运用,为我们的数据库保驾护航。
183 23
|
4月前
|
存储 关系型数据库 MySQL
【赵渝强老师】OceanBase数据库从零开始:MySQL模式
《OceanBase数据库从零开始:MySQL模式》是一门包含11章的课程,涵盖OceanBase分布式数据库的核心内容。从体系架构、安装部署到租户管理、用户安全,再到数据库对象操作、事务与锁机制,以及应用程序开发、备份恢复、数据迁移等方面进行详细讲解。此外,还涉及连接路由管理和监控诊断等高级主题,帮助学员全面掌握OceanBase数据库的使用与管理。
252 5
|
10月前
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
2781 31
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
|
9月前
|
监控 安全 Apache
什么是Apache日志?为什么Apache日志分析很重要?
Apache是全球广泛使用的Web服务器软件,支持超过30%的活跃网站。它通过接收和处理HTTP请求,与后端服务器通信,返回响应并记录日志,确保网页请求的快速准确处理。Apache日志分为访问日志和错误日志,对提升用户体验、保障安全及优化性能至关重要。EventLog Analyzer等工具可有效管理和分析这些日志,增强Web服务的安全性和可靠性。
237 9
|
7月前
|
存储 SQL 关系型数据库
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log、原理、写入过程;binlog与redolog区别、update语句的执行流程、两阶段提交、主从复制、三种日志的使用场景;查询日志、慢查询日志、错误日志等其他几类日志
563 35
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log

推荐镜像

更多