【MySQL从入门到精通】【高级篇】(二十二)慢查询日志分析,SHOW PROFILE查看SQL执行成本

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 RDS MySQL,高可用系列 2核4GB
简介: 上一篇文章我们介绍数据库的优化步骤【MySQL从入门到精通】【高级篇】(二十一)数据库优化步骤_查看系统性能参数,其中,说到了通过开启慢查询日志来分析慢查询的SQL。这篇文章就是具体来介绍如何开启慢查询日志以及如何分析慢查询日志。

1. 简介

上一篇文章我们介绍数据库的优化步骤【MySQL从入门到精通】【高级篇】(二十一)数据库优化步骤_查看系统性能参数,其中,说到了通过开启慢查询日志来分析慢查询的SQL。这篇文章就是具体来介绍如何开启慢查询日志以及如何分析慢查询日志。

2. 定位执行慢的SQL:慢查询日志

MySQL中的慢查询日志,用来记录在MySQL中响应时间超过阈值的语句,具体就是运行时间超过long_query_time值的SQL。则会被记录到慢查询日志中。long_query_time的默认值为10,意思是运行10秒以上(不含10秒)的语句。


它的主要作用就是帮助我们发现那些执行时间特别长的SQL查询,并且有针对性地进行优化,从而提高系统的整体效率。当我们的数据库服务器发送阻塞,运行变慢的时候,检查一下慢查询日志,找到那些慢查询,对解决问题很有帮助,比如一条SQL语句执行超过2秒,我们就算慢sql,希望能够收集超过2秒的sql,结合explain进行全面分析。


默认情况下,MySQL数据库没有开启慢查询分析,需要我们手动设置这个参数,如果不是调优需要的话,一般不建议启动该参数,因为开启慢查询日志或多或少带来一定的性能影响。

2.1. 开启慢查询日志参数

开启slow_query_log
在使用前,我们需要先看下慢查询是否已经开启,使用下面这条命令即可:

mysql> show variables like '%slow_query_log';

我们能看到 slow_query_log=OFF,我们可以把慢查询日志打开,注意设置变量值的时候需要使用global,否则会报错;

mysql> set global slow_query_log=on;

然后我们再来查看下慢查询日志是否开启,以及慢查询日志文件的位置;

mysql> show variables like '%slow_query_log%';

修改long_query_time阈值
默认情况下long_query_time的阈值是10秒,可以使用如下命令进行查看:

mysql> show variables like 'long_query_time';

可以通过set命令进行修改,如下就是将long_query_time的阈值改成0.1秒,加global对全局生效,不加global则对当前会话生效。

#全局的long_query_time阈值设置为0.2
mysql> set global long_query_time=0.2;
#当前会话的long_query_time阈值设置为0.1
mysql> set long_query_time=0.1;

如下的方式相较于前面命令行方式,可以看作是永久设置的方式。

修改my.cnf 文件,在**[mysqld]下增加或者修改参数long_query_time**, slow_query_timeslow_query_log_file后,然后重启Mysql服务器。

[mysqld]
slow_query_log=ON  #开启慢查询日志的开关
slow_query_log_file=/var/lib/mysql/devdb-slow.log #慢查询日志的目录和文件名
long_query_time=0.1 #设置慢查询的阈值为0.1秒,超出此设置值的SQL即被记录到慢查询日志
log_output=FILE

如果不指定存储路径,慢查询日志将默认存储到MySQL数据库的数据文件夹下。如果不指定文件名,默认文件名为hostname-slow.log。

2.2. 查看慢查询

查询当前系统中有多少条慢查询记录

mysql > show global status like '%slow_queries';

3. 造数据进行测试

这里选用的数据还是 【MySQL从入门到精通】【高级篇】(二十)适合创建索引的11种情况&不适合创建索引的7种情况,万字长文 文章中提到的 feigedb库中的student表。student表中有100万条数据,这里执行

SELECT COUNT(*) FROM student WHERE student_id!=177875;

语句用于统计student_id不等于177875的记录数。此查询语句执行时间在0.18s。

接着在分析下有多少慢查询语句

mysql> show status like 'slow_queries';


除了上述变量,控制慢查询日志的还有一个系统变量:min_examined_row_limit。这个变量的意思是:查询扫描过的最少记录数。 这个变量和查询执行时间,共同组成了判别一个查询是否是慢查询的条件,如果查询扫描过的记录数大于等于这个变量的值,并且查询执行时间超过long_query_time的值,那么这个查询就会被记录到慢查询日志中,反之,则不会被记录到慢查询日志中。


4. 慢查询日志分析工具:mysqldumpslow

在生产环境中,如果要手工分析日志,查找,分析SQL,显然是个体力活,MySQL提供了日志分析mysqldumpslow。

查看mysqldumpslow的帮助信息

mysqldumpslow --help

这里我的服务器 mysqldumpslow.sh 不兼容Percona 扩展的慢查询日志,需要使用 pt-query-digest 命令来替换。

[root@devdb ~]# mysqldumpslow --help
"mysqldumpslow.sh" is not currently compatible with Percona extended slow query
log format. Please use "pt-query-digest" from Percona Toolkit instead
(https://www.percona.com/doc/percona-toolkit/2.2/pt-query-digest.html).

pt-query-digest

安装默认情况下直接使用pt-query-digest 命令会提示找不到该命令

本人系统的环境是Red Hat 环境

自动安装percona-toolkit

sudo yum install percona-toolkit

手动安装

如果该命令安装不行的话,则需要手动安装,首先就是下载percona-toolkit_3.0.3-1.jessie_amd64.deb 的安装包。

wget https://www.percona.com/downloads/percona-toolkit/3.0.3/binary/debian/jessie/x86_64/percona-toolkit_3.0.3-1.jessie_amd64.deb

下载好之后接着就是进行安装了。

yum localinstall -y percona-toolkit-3.2.1-1.el7.x86_64.rpm

安装好之后,输入 pt-query-digest --help 就能正常使用了。

pt-query-digest的使用

mysql系列(六)mysql 慢日志查询(pt-query-digest)/如何单条SQL分析和Explain及trace工具

percona-toolkit 之 【pt-query-digest】介绍

pt-query-digest /var/lib/mysql/devdb-slow.log

5. 关闭慢查询日志

MySQL服务器停止慢查询日志功能有两种

方式1:永久性方式

修改my.cnf或者my.ini文件,把[mysqld] 组下的slow_query_log值设置为OFF,修改保存,在重启MySQL服务器,即可生效

[mysqld]
slow_query_log=OFF

或者,把slow_query_log一项注释掉,或者删掉

[mysqld]
#slow_query_log=OFF

重启MySQL服务

service mysqld restart

执行如下语句查询慢日志功能

SHOW VARABLES LIKE '%slow%'; #查询慢查询日志所在目录
SHOW VARABLES LIKE '%long_query_time%'; #查询超时时长

可以看到,MySQL系统中的慢查询日志是关闭的。

方式2:临时性方式

停止MySQL慢查询日志功能,具体SQL语句如下:

SET GLOBAL slow_query_log=OFF

总结

本文详细介绍了如同进行慢查询日志分析


相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
2月前
|
SQL 数据库
为什么 SQL 日志文件很大,我应该如何处理?
为什么 SQL 日志文件很大,我应该如何处理?
|
2月前
|
SQL 存储 数据可视化
手机短信SQL分析技巧与方法
在手机短信应用中,SQL分析扮演着至关重要的角色
|
3月前
|
SQL 存储 缓存
高基数 GroupBy 在 SLS SQL 中的查询加速
本文详细介绍了SLS中的高基数GroupBy查询加速技术。
125 19
|
2月前
|
SQL 数据库
为什么SQL日志文件很大,该如何处理?
为什么SQL日志文件很大,该如何处理?
|
3月前
|
SQL 安全 数据库
基于SQL Server事务日志的数据库恢复技术及实战代码详解
基于事务日志的数据库恢复技术是SQL Server中一个非常强大的功能,它能够帮助数据库管理员在数据丢失或损坏的情况下,有效地恢复数据。通过定期备份数据库和事务日志,并在需要时按照正确的步骤恢复,可以最大限度地减少数据丢失的风险。需要注意的是,恢复数据是一个需要谨慎操作的过程,建议在执行恢复操作之前,详细了解相关的操作步骤和注意事项,以确保数据的安全和完整。
129 0
|
4月前
|
前端开发 C# 设计模式
“深度剖析WPF开发中的设计模式应用:以MVVM为核心,手把手教你重构代码结构,实现软件工程的最佳实践与高效协作”
【8月更文挑战第31天】设计模式是在软件工程中解决常见问题的成熟方案。在WPF开发中,合理应用如MVC、MVVM及工厂模式等能显著提升代码质量和可维护性。本文通过具体案例,详细解析了这些模式的实际应用,特别是MVVM模式如何通过分离UI逻辑与业务逻辑,实现视图与模型的松耦合,从而优化代码结构并提高开发效率。通过示例代码展示了从模型定义、视图模型管理到视图展示的全过程,帮助读者更好地理解并应用这些模式。
102 0
|
4月前
|
数据库 Java 监控
Struts 2 日志管理化身神秘魔法师,洞察应用运行乾坤,演绎奇幻篇章!
【8月更文挑战第31天】在软件开发中,了解应用运行状况至关重要。日志管理作为 Struts 2 应用的关键组件,记录着每个动作和决策,如同监控摄像头,帮助我们迅速定位问题、分析性能和使用情况,为优化提供依据。Struts 2 支持多种日志框架(如 Log4j、Logback),便于配置日志级别、格式和输出位置。通过在 Action 类中添加日志记录,我们能在开发过程中获取详细信息,及时发现并解决问题。合理配置日志不仅有助于调试,还能分析用户行为,提升应用性能和稳定性。
58 0
|
4月前
|
前端开发 Java JSON
Struts 2携手AngularJS与React:探索企业级后端与现代前端框架的完美融合之道
【8月更文挑战第31天】随着Web应用复杂性的提升,前端技术日新月异。AngularJS和React作为主流前端框架,凭借强大的数据绑定和组件化能力,显著提升了开发动态及交互式Web应用的效率。同时,Struts 2 以其出色的性能和丰富的功能,成为众多Java开发者构建企业级应用的首选后端框架。本文探讨了如何将 Struts 2 与 AngularJS 和 React 整合,以充分发挥前后端各自优势,构建更强大、灵活的 Web 应用。
61 0
|
4月前
|
SQL 数据采集 数据挖掘
为什么要使用 SQL 函数?详尽分析
【8月更文挑战第31天】
54 0
|
4月前
|
SQL 监控 关系型数据库
"SQL性能瓶颈大揭秘:一步步教你揪出慢查询元凶,从根源解决数据库拖沓问题,让应用速度飞起来!"
【8月更文挑战第31天】作为一名数据库管理员或开发者,面对复杂系统时,运行缓慢的SQL查询常常令人头疼。本文将指导你如何诊断并解决这些问题。首先,通过性能监控工具识别出问题查询;其次,利用`EXPLAIN`分析其执行计划,了解索引使用情况;接着,优化查询语句,如使用合适索引、减少JOIN操作等;再者,优化数据库设计,采用分区表或调整硬件资源;最后,持续监控性能并调优。通过这些步骤,可有效提升数据库的整体性能。
69 0