【MySQL从入门到精通】【高级篇】(二十二)慢查询日志分析,SHOW PROFILE查看SQL执行成本

本文涉及的产品
RDS MySQL DuckDB 分析主实例,基础系列 4核8GB
RDS Agent(兼容OpenClaw),2核4GB
RDS AI 助手,专业版
简介: 上一篇文章我们介绍数据库的优化步骤【MySQL从入门到精通】【高级篇】(二十一)数据库优化步骤_查看系统性能参数,其中,说到了通过开启慢查询日志来分析慢查询的SQL。这篇文章就是具体来介绍如何开启慢查询日志以及如何分析慢查询日志。

1. 简介

上一篇文章我们介绍数据库的优化步骤【MySQL从入门到精通】【高级篇】(二十一)数据库优化步骤_查看系统性能参数,其中,说到了通过开启慢查询日志来分析慢查询的SQL。这篇文章就是具体来介绍如何开启慢查询日志以及如何分析慢查询日志。

2. 定位执行慢的SQL:慢查询日志

MySQL中的慢查询日志,用来记录在MySQL中响应时间超过阈值的语句,具体就是运行时间超过long_query_time值的SQL。则会被记录到慢查询日志中。long_query_time的默认值为10,意思是运行10秒以上(不含10秒)的语句。


它的主要作用就是帮助我们发现那些执行时间特别长的SQL查询,并且有针对性地进行优化,从而提高系统的整体效率。当我们的数据库服务器发送阻塞,运行变慢的时候,检查一下慢查询日志,找到那些慢查询,对解决问题很有帮助,比如一条SQL语句执行超过2秒,我们就算慢sql,希望能够收集超过2秒的sql,结合explain进行全面分析。


默认情况下,MySQL数据库没有开启慢查询分析,需要我们手动设置这个参数,如果不是调优需要的话,一般不建议启动该参数,因为开启慢查询日志或多或少带来一定的性能影响。

2.1. 开启慢查询日志参数

开启slow_query_log
在使用前,我们需要先看下慢查询是否已经开启,使用下面这条命令即可:

mysql> show variables like '%slow_query_log';

我们能看到 slow_query_log=OFF,我们可以把慢查询日志打开,注意设置变量值的时候需要使用global,否则会报错;

mysql> set global slow_query_log=on;

然后我们再来查看下慢查询日志是否开启,以及慢查询日志文件的位置;

mysql> show variables like '%slow_query_log%';

修改long_query_time阈值
默认情况下long_query_time的阈值是10秒,可以使用如下命令进行查看:

mysql> show variables like 'long_query_time';

可以通过set命令进行修改,如下就是将long_query_time的阈值改成0.1秒,加global对全局生效,不加global则对当前会话生效。

#全局的long_query_time阈值设置为0.2
mysql> set global long_query_time=0.2;
#当前会话的long_query_time阈值设置为0.1
mysql> set long_query_time=0.1;

如下的方式相较于前面命令行方式,可以看作是永久设置的方式。

修改my.cnf 文件,在**[mysqld]下增加或者修改参数long_query_time**, slow_query_timeslow_query_log_file后,然后重启Mysql服务器。

[mysqld]
slow_query_log=ON  #开启慢查询日志的开关
slow_query_log_file=/var/lib/mysql/devdb-slow.log #慢查询日志的目录和文件名
long_query_time=0.1 #设置慢查询的阈值为0.1秒,超出此设置值的SQL即被记录到慢查询日志
log_output=FILE

如果不指定存储路径,慢查询日志将默认存储到MySQL数据库的数据文件夹下。如果不指定文件名,默认文件名为hostname-slow.log。

2.2. 查看慢查询

查询当前系统中有多少条慢查询记录

mysql > show global status like '%slow_queries';

3. 造数据进行测试

这里选用的数据还是 【MySQL从入门到精通】【高级篇】(二十)适合创建索引的11种情况&不适合创建索引的7种情况,万字长文 文章中提到的 feigedb库中的student表。student表中有100万条数据,这里执行

SELECT COUNT(*) FROM student WHERE student_id!=177875;

语句用于统计student_id不等于177875的记录数。此查询语句执行时间在0.18s。

接着在分析下有多少慢查询语句

mysql> show status like 'slow_queries';


除了上述变量,控制慢查询日志的还有一个系统变量:min_examined_row_limit。这个变量的意思是:查询扫描过的最少记录数。 这个变量和查询执行时间,共同组成了判别一个查询是否是慢查询的条件,如果查询扫描过的记录数大于等于这个变量的值,并且查询执行时间超过long_query_time的值,那么这个查询就会被记录到慢查询日志中,反之,则不会被记录到慢查询日志中。


4. 慢查询日志分析工具:mysqldumpslow

在生产环境中,如果要手工分析日志,查找,分析SQL,显然是个体力活,MySQL提供了日志分析mysqldumpslow。

查看mysqldumpslow的帮助信息

mysqldumpslow --help

这里我的服务器 mysqldumpslow.sh 不兼容Percona 扩展的慢查询日志,需要使用 pt-query-digest 命令来替换。

[root@devdb ~]# mysqldumpslow --help
"mysqldumpslow.sh" is not currently compatible with Percona extended slow query
log format. Please use "pt-query-digest" from Percona Toolkit instead
(https://www.percona.com/doc/percona-toolkit/2.2/pt-query-digest.html).

pt-query-digest

安装默认情况下直接使用pt-query-digest 命令会提示找不到该命令

本人系统的环境是Red Hat 环境

自动安装percona-toolkit

sudo yum install percona-toolkit

手动安装

如果该命令安装不行的话,则需要手动安装,首先就是下载percona-toolkit_3.0.3-1.jessie_amd64.deb 的安装包。

wget https://www.percona.com/downloads/percona-toolkit/3.0.3/binary/debian/jessie/x86_64/percona-toolkit_3.0.3-1.jessie_amd64.deb

下载好之后接着就是进行安装了。

yum localinstall -y percona-toolkit-3.2.1-1.el7.x86_64.rpm

安装好之后,输入 pt-query-digest --help 就能正常使用了。

pt-query-digest的使用

mysql系列(六)mysql 慢日志查询(pt-query-digest)/如何单条SQL分析和Explain及trace工具

percona-toolkit 之 【pt-query-digest】介绍

pt-query-digest /var/lib/mysql/devdb-slow.log

5. 关闭慢查询日志

MySQL服务器停止慢查询日志功能有两种

方式1:永久性方式

修改my.cnf或者my.ini文件,把[mysqld] 组下的slow_query_log值设置为OFF,修改保存,在重启MySQL服务器,即可生效

[mysqld]
slow_query_log=OFF

或者,把slow_query_log一项注释掉,或者删掉

[mysqld]
#slow_query_log=OFF

重启MySQL服务

service mysqld restart

执行如下语句查询慢日志功能

SHOW VARABLES LIKE '%slow%'; #查询慢查询日志所在目录
SHOW VARABLES LIKE '%long_query_time%'; #查询超时时长

可以看到,MySQL系统中的慢查询日志是关闭的。

方式2:临时性方式

停止MySQL慢查询日志功能,具体SQL语句如下:

SET GLOBAL slow_query_log=OFF

总结

本文详细介绍了如同进行慢查询日志分析


相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
相关文章
|
8月前
|
SQL 传感器 人工智能
生成更智能,调试更轻松,SLS SQL Copilot 焕新登场!
阿里云日志服务(SLS)推出智能分析助手 SLS SQL Copilot,融合 AI 技术与日志分析最佳实践,将自然语言转换为 SQL 查询,降低使用门槛,提升查询效率。其具备原生集成、智能语义理解与高效执行能力,助力用户快速洞察日志数据价值,实现智能化日志分析新体验。
529 1
|
8月前
|
SQL 传感器 人工智能
生成更智能,调试更轻松,SLS SQL Copilot 焕新登场!
本文是阿里云日志服务(SLS)首次对外系统性地揭秘 SLS SQL Copilot 背后的产品理念、架构设计与核心技术积淀。我们将带你深入了解,这一智能分析助手如何从用户真实需求出发,融合前沿 AI 能力与 SLS 十余年日志分析最佳实践,打造出面向未来的智能化日志分析体验。
702 56
|
8月前
|
关系型数据库 MySQL 数据库
阿里云数据库RDS费用价格:MySQL、SQL Server、PostgreSQL和MariaDB引擎收费标准
阿里云RDS数据库支持MySQL、SQL Server、PostgreSQL、MariaDB,多种引擎优惠上线!MySQL倚天版88元/年,SQL Server 2核4G仅299元/年,PostgreSQL 227元/年起。高可用、可弹性伸缩,安全稳定。详情见官网活动页。
1359 152
|
8月前
|
关系型数据库 MySQL 数据库
阿里云数据库RDS支持MySQL、SQL Server、PostgreSQL和MariaDB引擎
阿里云数据库RDS支持MySQL、SQL Server、PostgreSQL和MariaDB引擎,提供高性价比、稳定安全的云数据库服务,适用于多种行业与业务场景。
980 156
|
7月前
|
SQL 存储 监控
SQL日志优化策略:提升数据库日志记录效率
通过以上方法结合起来运行调整方案, 可以显著地提升SQL环境下面向各种搜索引擎服务平台所需要满足标准条件下之数据库登记作业流程综合表现; 同时还能确保系统稳健运行并满越用户体验预期目标.
369 6
|
8月前
|
关系型数据库 分布式数据库 数据库
阿里云数据库收费价格:MySQL、PostgreSQL、SQL Server和MariaDB引擎费用整理
阿里云数据库提供多种类型,包括关系型与NoSQL,主流如PolarDB、RDS MySQL/PostgreSQL、Redis等。价格低至21元/月起,支持按需付费与优惠套餐,适用于各类应用场景。
|
8月前
|
SQL 监控 关系型数据库
查寻MySQL或SQL Server的连接数,并配置超时时间和最大连接量
以上步骤提供了直观、实用且易于理解且执行的指导方针来监管和优化数据库服务器配置。务必记得,在做任何重要变更前备份相关配置文件,并确保理解每个参数对系统性能可能产生影响后再做出调节。
785 11
|
8月前
|
缓存 关系型数据库 BI
使用MYSQL Report分析数据库性能(下)
使用MYSQL Report分析数据库性能
521 158
|
8月前
|
关系型数据库 MySQL 数据库
自建数据库如何迁移至RDS MySQL实例
数据库迁移是一项复杂且耗时的工程,需考虑数据安全、完整性及业务中断影响。使用阿里云数据传输服务DTS,可快速、平滑完成迁移任务,将应用停机时间降至分钟级。您还可通过全量备份自建数据库并恢复至RDS MySQL实例,实现间接迁移上云。
|
8月前
|
缓存 监控 关系型数据库
使用MYSQL Report分析数据库性能(中)
使用MYSQL Report分析数据库性能
551 156

推荐镜像

更多