【MySQL高级】MySQL的优化

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
日志服务 SLS,月写入数据量 50GB 1个月
简介: 【MySQL高级】MySQL的优化

概念


在应用的的开发过程中,由于初期数据量小,开发人员写 SQL 语句时更重视功能上的实现,但是当应用系统正式上线后,随着生产数据量的急剧增长,很多 SQL 语句开始逐渐显露出性能问题,对生产的影响也越来越大,此时这些有问题的 SQL 语句就成为整个系统性能的瓶颈,因此我们必须要对它们进行优化.


MySQL的优化方式有很多,大致我们可以从以下几点来优化MySQL:


从设计上优化


从查询上优化


从索引上优化


从存储上优化


263e20b9a2ab4516ba09dbd3433e7d9a.png


查看SQL执行频率

MySQL 客户端连接成功后,通过 show [session|global] status 命令可以查看服务器状态信息。通过查看状态信息可以查看对当前数据库的主要操作类型。

--下面的命令显示了当前 session 中所有统计参数的值
show session status like 'Com_______';  -- 查看当前会话统计结果
show global  status  like 'Com_______';  -- 查看自数据库上次启动至今统计结果
show status like 'Innodb_rows_%’;       -- 查看针对Innodb引擎的统计结果

17589085df9d43c9bb8f6feffe9c49ea.png

定位低效率执行SQL

可以通过以下两种方式定位执行效率较低的 SQL 语句。

慢查询日志 : 通过慢查询日志定位那些执行效率较低的 SQL 语句。

show processlist:该命令查看当前MySQL在进行的线程,包括线程的状态、是否锁表等,可以实时地查看 SQL 的执行情况,同时对一些锁表操作进行优化。

定位低效率执行SQL-慢查询日志  

-- 查看慢日志配置信息 
show variables like '%slow_query_log%’; 
-- 开启慢日志查询 
set global slow_query_log=1; 
-- 查看慢日志记录SQL的最低阈值时间 
show variables like 'long_query_time%’; 
-- 修改慢日志记录SQL的最低阈值时间 
set global long_query_time=4;

定位低效率执行SQL-show processlist  

show processlist;

9eb23ce1ab3f48d7af13de700c7ae340.png


1) id列,用户登录mysql时,系统分配的"connection_id",可以使用函数connection_id()查看


2) user列,显示当前用户。如果不是root,这个命令就只显示用户权限范围的sql语句


3) host列,显示这个语句是从哪个ip的哪个端口上发的,可以用来跟踪出现问题语句的用户


4) db列,显示这个进程目前连接的是哪个数据库


5) command列,显示当前连接的执行的命令,一般取值为休眠(sleep),查询(query),连接(connect)等


6) time列,显示这个状态持续的时间,单位是秒


7) state列,显示使用当前连接的sql语句的状态,很重要的列。state描述的是语句执行中的某一个状态。一个sql语句,以查询为例,可能需要经过copying to tmp table、sorting result、sendingdata等状态才可以完成


8) info列,显示这个sql语句,是判断问题语句的一个重要依据  


explain分析执行计划


通过以上步骤查询到效率低的 SQL 语句后,可以通过 EXPLAIN命令获取 MySQL如何执行SELECT 语句的信息,包括在 SELECT 语句执行过程中表如何连接和连接的顺序。


-- 准备测试数据 
create database mydb13_optimize; 
use mydb13_optimize; 
执行sql脚本sql_optimize.sql添加数据 
explain select * from user where uid = 1;

9dc544fb61e84a25b7f33d0d17d987a2.png

explain select * from user where uname = '张飞';

0d454b2d60074a5b861b439ffd181e2f.png

image.png

Explain分析执行计划-Explain 之 id

id 字段是 select查询的序列号,是一组数字,表示的是查询中执行select子句或者是操作表的顺序。id 情况有三种:

1、id 相同表示加载表的顺序是从上到下。

explain select * from user u, user_role ur, role r where u.uid = ur.uid and ur.rid = r.rid ;

de9a01c35bc04daf818c983f0306eb7a.png

id 不同id值越大,优先级越高,越先被执行。

explain select * from role where rid = (select rid from user_role where uid = (select uid fro

3) id 有相同,也有不同,同时存在。id相同的可以认为是一组,从上往下顺序执行;在所有的组

中,id的值越大,优先级越高,越先执行。

explain select * from role r , (select * from user_role ur where ur.uid = (select uid from user where uname = '张飞')) t where r.rid = t.rid ; 

214a88708d7543288cb0563df46dc68b.png

Explain分析执行计划-Explain 之 select_type

表示 SELECT 的类型,常见的取值,如下表所示:

Explain分析执行计划-Explain 之 type

type 显示的是访问类型,是较为重要的一个指标,可取值为:


23e205ddf4324bab88f6ac5b99d1479a.png

结果值从最好到最坏以此是:system > const > eq_ref > ref > range > index > ALL

Explain分析执行计划-其他指标字段

Explain 之 table


显示这一步所访问数据库中表名称有时不是真实的表名字,可能是简称,


explain 之 rows


扫描行的数量。


Explain 之  key


possible_keys : 显示可能应用在这张表的索引, 一个或多个。 key : 实际使用的索引, 如果为NULL, 则没有使用索引。 key_len : 表示索引中使用的字节数, 该值为索引字段最大可能长度,


并非实际使用长度,在不损失精确性的前提下, 长度越短越好 。


show profile分析SQL


Mysql从5.0.37版本开始增加了对 show profiles 和 show profile 语句的支持。show profiles 能够在做SQL优化时帮助我们了解时间都耗费到哪里去了。。


通过 have_profiling 参数,能够看到当前MySQL是否支持profile:

select @@have_profiling; 
set profiling=1; -- 开启profiling 开关; 

5ce035381d93404b903dbea70b450171.png


通过profile,我们能够更清楚地了解SQL执行的过程。首先,我们可以执行一系列的操作

show databases;
use mydb13_optimize;
show tables;
select * from user where id < 2;
select count(*) from user;

执行完上述命令之后,再执行show profiles 指令, 来查看SQL语句执行的耗时:

show profiles;

450bd66c19714160a40df3581867c6ef.png

通过show  profile for  query  query_id 语句可以查看到该SQL执行过程中每个线程的状态和消耗时间:

show profile for query 8;

684e1989691d429b8041a306802f3710.png

在获取到最消耗时间的线程状态后,MySQL支持进一步选择all、cpu、block io 、context switch、

page faults等明细类型类查看MySQL在使用什么资源上耗费了过高的时间。例如,选择查看CPU的耗费时间  :

show profile cpu for query 133;  

c07a7b8aeee34402a05f0508ab0c64c0.png


trace分析优化器执行计划


MySQL5.6提供了对SQL的跟踪trace, 通过trace文件能够进一步了解为什么优化器选择A计划, 而不是选择B计划

23618647357d4ba887ca0916608418aa.png

打开trace , 设置格式为 JSON,并设置trace最大能够使用的内存大小,避免解析过程中因为默认内存过小而不能够完整展示。

SET optimizer_trace="enabled=on",end_markers_in_json=on; 
set optimizer_trace_max_mem_size=1000000;

执行SQL语句 :

select * from user where uid < 2;

最后, 检查information_schema.optimizer_trace就可以知道MySQL是如何执行SQL的 :

select * from information_schema.optimizer_trace\G;

8d2c71f9c3504a61965bb07008a19123.png

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
22天前
|
SQL 关系型数据库 MySQL
深入解析MySQL的EXPLAIN:指标详解与索引优化
MySQL 中的 `EXPLAIN` 语句用于分析和优化 SQL 查询,帮助你了解查询优化器的执行计划。本文详细介绍了 `EXPLAIN` 输出的各项指标,如 `id`、`select_type`、`table`、`type`、`key` 等,并提供了如何利用这些指标优化索引结构和 SQL 语句的具体方法。通过实战案例,展示了如何通过创建合适索引和调整查询语句来提升查询性能。
120 9
|
2月前
|
SQL 关系型数据库 MySQL
大厂面试官:聊下 MySQL 慢查询优化、索引优化?
MySQL慢查询优化、索引优化,是必知必备,大厂面试高频,本文深入详解,建议收藏。关注【mikechen的互联网架构】,10年+BAT架构经验分享。
大厂面试官:聊下 MySQL 慢查询优化、索引优化?
|
2天前
|
SQL 关系型数据库 MySQL
MySQL派生表合并优化的原理和实现
通过本文的详细介绍,希望能帮助您理解和实现MySQL中派生表合并优化,提高数据库查询性能。
30 16
|
3天前
|
SQL 关系型数据库 MySQL
MySQL派生表合并优化的原理和实现
通过本文的详细介绍,希望能帮助您理解和实现MySQL中派生表合并优化,提高数据库查询性能。
18 7
|
27天前
|
缓存 关系型数据库 MySQL
MySQL 索引优化以及慢查询优化
通过本文的介绍,希望您能够深入理解MySQL索引优化和慢查询优化的方法,并在实际应用中灵活运用这些技术,提升数据库的整体性能。
66 18
|
26天前
|
缓存 关系型数据库 MySQL
MySQL 索引优化以及慢查询优化
通过本文的介绍,希望您能够深入理解MySQL索引优化和慢查询优化的方法,并在实际应用中灵活运用这些技术,提升数据库的整体性能。
35 7
|
25天前
|
缓存 关系型数据库 MySQL
MySQL 索引优化与慢查询优化:原理与实践
通过本文的介绍,希望您能够深入理解MySQL索引优化与慢查询优化的原理和实践方法,并在实际项目中灵活运用这些技术,提升数据库的整体性能。
69 5
|
2月前
|
SQL 关系型数据库 MySQL
MySQL慢查询优化、索引优化、以及表等优化详解
本文详细介绍了MySQL优化方案,包括索引优化、SQL慢查询优化和数据库表优化,帮助提升数据库性能。关注【mikechen的互联网架构】,10年+BAT架构经验倾囊相授。
MySQL慢查询优化、索引优化、以及表等优化详解
|
2月前
|
关系型数据库 MySQL Java
MySQL索引优化与Java应用实践
【11月更文挑战第25天】在大数据量和高并发的业务场景下,MySQL数据库的索引优化是提升查询性能的关键。本文将深入探讨MySQL索引的多种类型、优化策略及其在Java应用中的实践,通过历史背景、业务场景、底层原理的介绍,并结合Java示例代码,帮助Java架构师更好地理解并应用这些技术。
61 2
|
2月前
|
缓存 监控 关系型数据库
如何优化MySQL查询速度?
如何优化MySQL查询速度?【10月更文挑战第31天】
156 3
下一篇
开通oss服务