MySQL慢SQL优化

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: 基础知识慢SQL官方定义If a query takes longer than this many seconds, the server increments the Slow_queries status variable. If the slow query log is enabled, the query is logged to the slow query log file; Unit:Second.阿里云控制台慢SQL参数SQL优化原因与影响•SQL优化原因:查询效率低的SQL(慢SQL)会占用机器大量的CPU、内存和IO资源,影响正常业务。

基础知识

慢SQL官方定义

If a query takes longer than this many seconds, the server increments the Slow_queries status variable. If the slow query log is enabled, the query is logged to the slow query log file; Unit:Second.

阿里云控制台慢SQL参数

image.png

SQL优化原因与影响

•SQL优化原因:查询效率低的SQL(慢SQL)会占用机器大量的CPU、内存和IO资源,影响正常业务。
•慢SQL现象/影响:SQL查询缓慢、业务超时、数据库机器CPU/IO飙升、业务连接不上数据库、现网故障等。

SQL语句执行过程

image.png

Optimizer查询优化器方式

逻辑优化

优化器的逻辑优化,即根据关系代数规则,对SQL语句进行等价变化:
(1) 对投影、选择等操作进行句式优化;
(2) 对条件表达式进行谓词优化、条件化简;
(3) 对连接语义进行外连接、嵌套连接的优化;
(4) 对集合、GROUP BY、ORDER BY等优化
(5) 子查询优化、视图重写、语义优化

逻辑优化例子

条件化简 :

select id,sfzh,address from t1 where 1=1 and name ='宸谦';

子查询优化 :

select * from t1 where a in (select a from t2);

优化器逻辑优化结果:

select t1.* from t1 join t2 on t1.a= t2.a;

 

物理优化

物理优化的总代价模型 Cost = CPU Cost + IO Cost
(1) CPU Cost:MySQL Server层,处理返回记录所花开销。
CPU Cost = records / TIME_FOR_COMPARE =
records / 5,即每5条记录的处理时间,作为 1 CPU Cost。
(2) IO Cost:存储引擎层面,读取页面的IO开销。

执行计划

查看

在SQL语句前加explain关键字可查看SQL语句的执行计划,
常用语法:
(1)explain extended(输出更多扩展信息)
(2)explain format=json (json格式输出,可看到cost等信息)
image.png

结果字段注解

image.png

案例分析

优化原则

优化总原则:业务侧优化 > SQL 优化 > 数据库+操作系统参数优化
SQL优化原则:高频SQL收益 > 低频SQL收益
业务侧优化例子:
(1)某业务每隔1分钟会并发几十路去数据库查询A表(全表扫描),造成其他业务响应超时
(2)统计分析类SQL拆分,热点数据缓存

慢SQL例子

SELECT
    count(*) count
FROM
    app_mst
LEFT JOIN app_profile ON app_mst.app_id = app_profile.app_id
LEFT JOIN app_apply_step ON app_mst.app_id = app_apply_step.app_id
WHERE
    app_apply_step.is_exp = '0';

执行计划:
image.png

优化步骤

(1)查看执行计划:
在SQL前加上 explain extended,主要关注key(用到什么索引)、rows(查询执行扫描的元组个数)、extra(是否利用到排序、临时表等)。
image.png
(2)查看SQL涉及的表结构,此处主要查看app_apply_step 表:
show create table app_apply_step, 主要关注表的索引和where 条件中的字段类型。可见 app_apply_step 表 is_exp 字段上无索引,且为tinyint类型。
image.png
(3)思考可能优化的点:
先查看表 app_apply_step 
字段is_exp的索引区分度 ,执行语句:
select count(distinct col1),
count(distinct col2)/count(*) from tb_name;
image.png

(4)is_exp 字段区分度约等于0,表明通过索引筛选非常高效。

alter table app_apply_step add index idx_is_exp (is_exp);
image.png

优化步骤总结

  1. 查看执行计划 explain extended
  2. 如果有告警信息,查看告警信息 show warnings;
  3. 查看SQL涉及的表结构和索引信息
  4. 根据执行计划,思考可能的优化点
  5. 按照可能的优化点执行表结构变更、增加索引、SQL改写等操作
  6. 查看优化后的执行时间和执行计划
  7. 如果优化效果不明显,重复第四步操作

慢SQL常见问题汇总

image.png

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
18天前
|
SQL 关系型数据库 MySQL
深入解析MySQL的EXPLAIN:指标详解与索引优化
MySQL 中的 `EXPLAIN` 语句用于分析和优化 SQL 查询,帮助你了解查询优化器的执行计划。本文详细介绍了 `EXPLAIN` 输出的各项指标,如 `id`、`select_type`、`table`、`type`、`key` 等,并提供了如何利用这些指标优化索引结构和 SQL 语句的具体方法。通过实战案例,展示了如何通过创建合适索引和调整查询语句来提升查询性能。
118 9
|
11天前
|
SQL 存储 关系型数据库
【MySQL基础篇】全面学习总结SQL语法、DataGrip安装教程
本文详细介绍了MySQL中的SQL语法,包括数据定义(DDL)、数据操作(DML)、数据查询(DQL)和数据控制(DCL)四个主要部分。内容涵盖了创建、修改和删除数据库、表以及表字段的操作,以及通过图形化工具DataGrip进行数据库管理和查询。此外,还讲解了数据的增、删、改、查操作,以及查询语句的条件、聚合函数、分组、排序和分页等知识点。
【MySQL基础篇】全面学习总结SQL语法、DataGrip安装教程
|
17天前
|
SQL Oracle 数据库
使用访问指导(SQL Access Advisor)优化数据库业务负载
本文介绍了Oracle的SQL访问指导(SQL Access Advisor)的应用场景及其使用方法。访问指导通过分析给定的工作负载,提供索引、物化视图和分区等方面的优化建议,帮助DBA提升数据库性能。具体步骤包括创建访问指导任务、创建工作负载、连接工作负载至访问指导、设置任务参数、运行访问指导、查看和应用优化建议。访问指导不仅针对单条SQL语句,还能综合考虑多条SQL语句的优化效果,为DBA提供全面的决策支持。
44 11
|
23天前
|
缓存 关系型数据库 MySQL
MySQL 索引优化以及慢查询优化
通过本文的介绍,希望您能够深入理解MySQL索引优化和慢查询优化的方法,并在实际应用中灵活运用这些技术,提升数据库的整体性能。
61 18
|
22天前
|
缓存 关系型数据库 MySQL
MySQL 索引优化以及慢查询优化
通过本文的介绍,希望您能够深入理解MySQL索引优化和慢查询优化的方法,并在实际应用中灵活运用这些技术,提升数据库的整体性能。
22 7
|
21天前
|
缓存 关系型数据库 MySQL
MySQL 索引优化与慢查询优化:原理与实践
通过本文的介绍,希望您能够深入理解MySQL索引优化与慢查询优化的原理和实践方法,并在实际项目中灵活运用这些技术,提升数据库的整体性能。
52 5
|
29天前
|
SQL 存储 缓存
MySQL进阶突击系列(02)一条更新SQL执行过程 | 讲透undoLog、redoLog、binLog日志三宝
本文详细介绍了MySQL中update SQL执行过程涉及的undoLog、redoLog和binLog三种日志的作用及其工作原理,包括它们如何确保数据的一致性和完整性,以及在事务提交过程中各自的角色。同时,文章还探讨了这些日志在故障恢复中的重要性,强调了合理配置相关参数对于提高系统稳定性的必要性。
|
28天前
|
SQL 关系型数据库 MySQL
MySQL 高级(进阶) SQL 语句
MySQL 提供了丰富的高级 SQL 语句功能,能够处理复杂的数据查询和管理需求。通过掌握窗口函数、子查询、联合查询、复杂连接操作和事务处理等高级技术,能够大幅提升数据库操作的效率和灵活性。在实际应用中,合理使用这些高级功能,可以更高效地管理和查询数据,满足多样化的业务需求。
108 3
|
SQL 关系型数据库 索引
SQL优化常用方法53
分离表和索引
1331 0
|
SQL
SQL优化常用方法51
使用显式的游标(CURSORs)
1108 0