腾讯一面:你平时怎么排查并调优慢 SQL 的

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: 腾讯一面:你平时怎么排查并调优慢 SQL 的

一、前言

上一篇我们说了 腾讯一面:说一说 MySQL 中索引的底层原理,相信你对索引有个很清晰的认识了,这一篇我们来说一说慢 SQL 的排查以及调优。为啥面试官要问这个问题,其实跟上一篇的索引底层原理有一定关联关系的,一般慢 SQL 很大一部分原因对索引底层原理不够特别了解导致的,比如没建索引、索引失效、索引没满足最左前缀匹配原则导致慢 SQL,像腾讯这样数据量很大的公司,人家肯定有专门的 DBA 去做优化的,面试官考察的主要是你排查问题的能力以及知道索引的底层原理、以及知道优化的方向,不至于让你进来把人家规规矩矩的数据库搞乱了。

我们下面直接进入正题了,首先来说下怎么排查慢 SQL 的。

二、开启慢查询日志

MySQL 中与慢 SQL 有关的几个重要系统变量如下:

执行如下语句看是否启用了慢查询日志,ON 为启用,OFF 为未启用,默认为 OFF。

SHOW VARIABLES LIKE '%slow_query_log%';



可以看到,我这里是已经开启了的。如果你的没有开启,可以使用如下两种方式来开启慢查询。

2.1 修改配置文件

修改配置文件 vim /etc/my.cnf,在 [mysqld] 段落在加入如下配置:

[mysqld]

slow_query_log=1

slow_query_log_file=/var/lib/mysql/data/slow.log

long_query_time=3

log_output=FILE,TABLE

需要重启 MySQL 才可以生效,命令为 service mysqld restart

2.2 设置全局变量

如下打开慢查询日志,设置超时时间为 3 秒,并且将日志记录到文件以及 mysql.show_log 表中。

SET GLOBAL slow_query_log = 1;

SET GLOBAL slow_query_log_file='/var/lib/mysql/data/slow.log';

SET GLOBAL long_query_time=3;

SET GLOBAL log_output='FILE,TABLE';

想要永久生效得用上面那个配置文件里配置,否则数据库重启后,这些配置失效。

三、分析慢查询日志

3.1 获取慢 SQL 信息

查看慢查询日志记录数:

SHOW GLOBAL STATUS LIKE '%Slow_queries%';


模拟语句:

select sleep(5);

查看日志:

cat /var/lib/mysql/data/slow.log



3.2 mysqldumpslow

MySQL 内置了 mysqldumpslow 这个工具来帮我们分析慢查询日志。

#得到返回记录集最多的10个SQLmysqldumpslow -s r -t 10 /var/lib/mysql/data/slow.log
#得到访问次数最多的10个SQL
mysqldumpslow -s c -t 10 /var/lib/mysql/data/slow.log
#得到按照时间排序的前10条里面含有左连接的查询语句
mysqldumpslow -s t -t 10 -g "LEFT JOIN" /var/lib/mysql/data/slow.log
#结合| more使用,防止爆屏情况
mysqldumpslow -s r -t 10 /var/lib/mysql/data/slow.log | more
s:表示按何种方式排序
c:访问次数
l:锁定时间
r:返回记录
t:查询时间
al:平均锁定时间
ar:平均返回记录数
at:平均查询时间
t:返回前面多少条的数据
g:后边搭配一个正则匹配模式,大小写不敏感

3.3 pt-query-digest

pt-query-digest 是一款很强大的慢查询日志分析工具,可以分析 MySQL 数据库的 binary log 、 general log 日志,同时也可以使用 show processlist 或从 tcpdump 抓取的 MySQL 协议数据来进行分析。

这里老周不带大家搭建以及使用了哈,想进一步了解的可以看这份文档:pt-query-digest

四、Explain 执行计划分析慢 SQL

上一篇我们非常详细的去介绍了,一文读懂 MySQL Explain 执行计划

五、Show Profile 分析慢 SQL

Show Profile 也可以分析慢 SQL,比 explain 获取的信息更详细,比如能分析当前会话中语句执行的资源消耗情况,能分析这条 SQL 整个生命周期的耗时。但没有上面 pt-query-digest 那款慢查询日志分析工具强大,但 pt-query-digest 是外置的需要单独下载,如果你想用内置的话,能够满足你的需求的话,选择 Show Profile 就行。

5.1 如何开启

默认关闭。开启后,会在后台保存最近 15 次的运行结果,然后通过 Show Profile 命令查看结果。

-- 开启
SET profiling = ON;
-- 查看
SHOW VARIABLES LIKE 'profiling%';


5.2 SHOW profiles 查看 SQL 的耗时

5.3 SQL 整个生命周期的耗时

通过 Query_ID 可以得到具体 SQL 从连接——服务——引擎——存储四层结构完整生命周期的耗时

SHOW profile CPU, BLOCK IO FOR QUERY 4;



可用参数 type:

ALL # 显示所有的开销信息

BLOCK IO # 显示块IO相关开销

CONTEXT SWITCHES # 上下文切换相关开销

CPU # 显示CPU相关开销信息

IPC # 显示发送和接收相关开销信息

MEMORY # 显示内存相关开销信息

PAGE FAULTS # 显示页面错误相关开销信息

SOURCE # 显示和 Source_function,Source_file,Source_line 相关的开销信息

SWAPS # 显示交换次数相关开销的信息

5.4 危险状态

SHOW profile CPU, BLOCK IO FOR QUERY 2;

GROUP BY 可能创建了临时表

converting HEAP to MyISAM # 查询结果太大,内存不够用了,在往磁盘上搬。

Creating tmp table # 创建了临时表,回先把数据拷贝到临时表,用完后再删除临时表。

Copying to tmp table on disk # 把内存中临时表复制到磁盘

locked # 记录被锁了

看到这些危险状态可以进行相应的调优,然后我们线上也会针对慢 SQL 进行监控,存在慢 SQL 的话会触发告警机制,通知相应的人员快速定位慢 SQL 并优化。


欢迎大家Java栈的原理、源码分析、架构以及各种互联网高并发、高性能、高可用的解决方案。

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
2月前
|
SQL 关系型数据库 MySQL
惊呆:where 1=1 可能严重影响性能,差了10多倍,快去排查你的 sql
老架构师尼恩在读者交流群中分享了关于MySQL中“where 1=1”条件的性能影响及其解决方案。该条件在动态SQL中常用,但可能在无真实条件时导致全表扫描,严重影响性能。尼恩建议通过其他条件或SQL子句命中索引,或使用MyBatis的`<where>`标签来避免性能问题。他还提供了详细的执行计划分析和优化建议,帮助大家在面试中展示深厚的技术功底,赢得面试官的青睐。更多内容可参考《尼恩Java面试宝典PDF》。
|
4月前
|
存储 SQL 关系型数据库
【MySQL调优】如何进行MySQL调优?从参数、数据建模、索引、SQL语句等方向,三万字详细解读MySQL的性能优化方案(2024版)
MySQL调优主要分为三个步骤:监控报警、排查慢SQL、MySQL调优。 排查慢SQL:开启慢查询日志 、找出最慢的几条SQL、分析查询计划 。 MySQL调优: 基础优化:缓存优化、硬件优化、参数优化、定期清理垃圾、使用合适的存储引擎、读写分离、分库分表; 表设计优化:数据类型优化、冷热数据分表等。 索引优化:考虑索引失效的11个场景、遵循索引设计原则、连接查询优化、排序优化、深分页查询优化、覆盖索引、索引下推、用普通索引等。 SQL优化。
726 15
【MySQL调优】如何进行MySQL调优?从参数、数据建模、索引、SQL语句等方向,三万字详细解读MySQL的性能优化方案(2024版)
|
3月前
|
SQL Oracle 关系型数据库
Oracle SQL:了解执行计划和性能调优
Oracle SQL:了解执行计划和性能调优
95 1
|
4月前
|
SQL 分布式计算 数据库
SQL调优总结
数据库表的规范化和反规范化设计,设计合适的字段数据类型……
52 8
|
5月前
|
Java XML Maven
跨越时代的飞跃:Struts 2 升级秘籍——从旧版本无缝迁移到最新版,焕发应用新生!
【8月更文挑战第31天】随着软件技术的发展,Struts 2 框架也在不断更新。本文通过具体案例指导开发者如何从旧版平滑升级到 Struts 2.6.x。首先更新 `pom.xml` 中的依赖版本,并执行 `mvn clean install`。接着检查 `struts.xml` 配置,确保符合新版本要求,调整包扫描器等设置。审查 Action 类及其注解,检查配置文件中的弃用项及插件。更新自定义拦截器实现,并验证日志配置。最后,通过一系列测试确保升级后的系统正常运行。通过这些步骤,可以顺利完成 Struts 2 的版本升级,提升应用的安全性和性能。
952 0
|
5月前
|
Java 开发者 前端开发
Struts 2、Spring MVC、Play Framework 上演巅峰之战,Web 开发的未来何去何从?
【8月更文挑战第31天】在Web应用开发中,Struts 2框架因强大功能和灵活配置备受青睐,但开发者常遇配置错误、类型转换失败、标签属性设置不当及异常处理等问题。本文通过实例解析常见难题与解决方案,如配置文件中遗漏`result`元素致页面跳转失败、日期格式不匹配需自定义转换器、`<s:checkbox>`标签缺少`label`属性致显示不全及Action中未捕获异常影响用户体验等,助您有效应对挑战。
110 0
|
5月前
|
SQL 监控 关系型数据库
SQL性能监控与调优工具的神奇之处:如何用最佳实践选择最适合你的那一个,让你的数据库飞起来?
【8月更文挑战第31天】在现代软件开发中,数据库性能监控与调优对应用稳定性至关重要。本文对比了数据库内置工具、第三方工具及云服务工具等几种常用SQL性能监控与调优工具,并通过示例代码展示了如何利用MySQL的EXPLAIN功能分析查询性能。选择最适合的工具需综合考虑功能需求、数据库类型及成本预算等因素。遵循了解工具功能、试用工具及定期维护工具等最佳实践,可帮助开发者更高效地管理和优化数据库性能,迎接未来软件开发中的挑战与机遇。
69 0
|
5月前
|
SQL 关系型数据库 MySQL
SQL性能调优的神奇之处:如何用优化技巧让你的数据库查询飞起来,实现秒级响应?
【8月更文挑战第31天】在现代软件开发中,数据库性能至关重要。本文通过一个实战案例,展示了从慢查询到秒级响应的全过程。通过对查询的详细分析与优化,包括创建索引、改进查询语句及数据类型选择等措施,最终显著提升了性能。文章还提供了示例代码及最佳实践建议,帮助读者掌握SQL性能调优的核心技巧。
277 0
|
5月前
|
SQL 存储 测试技术
SQL Server 查询超时问题排查
【8月更文挑战第14天】遇到SQL Server查询超时,先检查查询复杂度与索引使用;审视服务器CPU、内存及磁盘I/O负载;审查SQL Server配置与超时设置;检测锁和阻塞状况;最后审查应用代码与网络环境。每步定位问题根源,针对性优化以提升查询效率。务必先行备份并在测试环境验证改动。
404 0
|
6月前
|
SQL 关系型数据库 分布式数据库
PolarDB产品使用问题之遇到SQL语法错误,该如何排查
PolarDB产品使用合集涵盖了从创建与管理、数据管理、性能优化与诊断、安全与合规到生态与集成、运维与支持等全方位的功能和服务,旨在帮助企业轻松构建高可用、高性能且易于管理的数据库环境,满足不同业务场景的需求。用户可以通过阿里云控制台、API、SDK等方式便捷地使用这些功能,实现数据库的高效运维与持续优化。