性能提高20倍!MySQL排序引起的性能问题及解决方案

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: 负责公司的用户收藏服务,收到调用方反馈有read time out的情况,进行排查发现是某用户收藏数量太多引起的(有业务设计上的问题,正常应只保留有限时间的收藏或者限制用户收藏的数量),一般用户收藏数是不超过100的,查询耗时是几毫秒,该用户收藏数2W+,查询耗时接近200毫秒。

起因

负责公司的用户收藏服务,收到调用方反馈有read time out的情况,进行排查发现是某用户收藏数量太多引起的(有业务设计上的问题,正常只保留有限时间的收藏或者限制用户收藏的数量),一般用户收藏数是不超过100的,查询耗时是几毫秒,这个用户收藏数2W+,查询耗时接近200毫秒。

排查过程

表结构如下,删减了部分字段,原有20多个字段

CREATETABLE `user_favorite` (  `id` bigint(20)NOTNULL AUTO_INCREMENT BYGROUP COMMENT '自增ID',  `create_user_id` varchar(64)NOTNULL DEFAULT '' COMMENT '用户ID',  `channel_id` bigint(20)NOTNULL DEFAULT '0' COMMENT '渠道ID',  `goods_id` bigint(20)NOTNULL DEFAULT '0' COMMENT '收藏的产品ID',  `create_time` timestampNOTNULL DEFAULT '0000-00-00 00:00:00' COMMENT '创建时间',  `is_delete` tinyint(1)NOTNULL DEFAULT '0' COMMENT '是否删除',  PRIMARY KEY (`id`),  KEY `idx_create_user_id_goods_id` (`create_user_id`,`channel_id`,`goods_id`) USING BTREE
) ENGINE=InnoDB;


查询SQL

select*from user_favorite
where create_user_id ='1234567'and channel_id =1and is_delete =0orderby create_time desclimit0,20;


执行计划(EXPLAIN)

select_type

table

type

possible_keys

key

key_len

ref

rows

filtered

Extra

SIMPLE

user_favorite

ref

idx_create_user_id_goods_id

idx_create_user_id_goods_id

266

const,const

1

10.0

Using index condition; Using where;

Using filesort

问题分析

上面的explain的key可以看出,命中了表里唯一的索引

重点是Extra:

  • Using index condition:使用了索引下推,5.6的新功能,如果索引包含多个条件,索引过滤一遍再回表查询
  • Using where:有字段不在索引上,回表过滤
  • Using filesort:需要排序,不一定是文件排序也有可能是内存排序

先不管是文件排序还是内存排序(可通过optimizer_trace分析,但可以大致确定的是,是因为需要排序,影响了整体性能。将order by命令去掉,验证得出与数据量少的用户查询耗时一致。

MySQL的排序方式

可以看到sql后面的limit是用于分页的,不是用户的全量数据返回,只取其中的20条,但问题是不排序无法确定取的是哪20条,所以必须是将查询到的所有结果集进行排序后再取其中的20条,这也是为什么MySQL及其他数据库不能深度分页的原因。再者,查询出2W+数据,且字段众多,会使用多个临时文件进行归并排序。

解决方案

因为一定是需要按创建时间排序的,但排序又影响了性能,这个问题看似也没办法解决了,那有没有办法是,查询到的结果集已经不需要排序,可以直接返回呢?

答案是肯定的,按照MySQL常用的B+树索引,索引里面结果已经是排好序的,按照我们的查询条件是create_user_id+channel_id,再加上排序字段create_time,创建联合索引

CREATE INDEX user_favorite_cui_ci_ct_IDX USING BTREE

ON user_favorite (create_user_id,channel_id,create_time);

条件create_user_id+channel_id查询后的结果已经是按照create_time排序好的结果集,至此,问题完美解决,下面看一下添加索引后的执行计划,验证一下我们的猜想。

优化后的执行计划

select_type

table

type

possible_keys

key

key_len

ref

rows

filtered

Extra

SIMPLE

user_favorite

ref

idx_create_user_id_goods_id,user_favorite_cui_ci_ct_IDX

user_favorite_cui_ci_ct_IDX

266

const,const

1

10.0

Using where

可以命中了我们新创建的索引,并且已经不需要排序了,耗时也从200毫秒降至10毫秒左右,性能提高20倍

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
14天前
|
监控 关系型数据库 MySQL
MySQL自增ID耗尽应对策略:技术解决方案全解析
在数据库管理中,MySQL的自增ID(AUTO_INCREMENT)属性为表中的每一行提供了一个唯一的标识符。然而,当自增ID达到其最大值时,如何处理这一情况成为了数据库管理员和开发者必须面对的问题。本文将探讨MySQL自增ID耗尽的原因、影响以及有效的应对策略。
53 3
|
14天前
|
存储 监控 关系型数据库
MySQL自增ID耗尽解决方案:应对策略与实践技巧
在MySQL数据库中,自增ID(AUTO_INCREMENT)是一种特殊的属性,用于自动为新插入的行生成唯一的标识符。然而,当自增ID达到其最大值时,会发生什么?又该如何解决?本文将探讨MySQL自增ID耗尽的问题,并提供一些实用的解决方案。
25 1
|
24天前
|
SQL NoSQL 关系型数据库
2024Mysql And Redis基础与进阶操作系列(5)作者——LJS[含MySQL DQL基本查询:select;简单、排序、分组、聚合、分组、分页等详解步骤及常见报错问题所对应的解决方法]
MySQL DQL基本查询:select;简单、排序、分组、聚合、分组、分页、INSERT INTO SELECT / FROM查询结合精例等详解步骤及常见报错问题所对应的解决方法
|
22天前
|
缓存 监控 关系型数据库
如何根据监控结果调整 MySQL 数据库的参数以提高性能?
【10月更文挑战第28天】根据MySQL数据库的监控结果来调整参数以提高性能,需要综合考虑多个方面的因素
61 1
|
22天前
|
监控 关系型数据库 MySQL
如何监控和诊断 MySQL 数据库的性能问题?
【10月更文挑战第28天】监控和诊断MySQL数据库的性能问题是确保数据库高效稳定运行的关键
39 1
|
22天前
|
缓存 关系型数据库 MySQL
如何优化 MySQL 数据库的性能?
【10月更文挑战第28天】
45 1
|
23天前
|
监控 关系型数据库 MySQL
数据库优化:MySQL索引策略与查询性能调优实战
【10月更文挑战第27天】本文深入探讨了MySQL的索引策略和查询性能调优技巧。通过介绍B-Tree索引、哈希索引和全文索引等不同类型,以及如何创建和维护索引,结合实战案例分析查询执行计划,帮助读者掌握提升查询性能的方法。定期优化索引和调整查询语句是提高数据库性能的关键。
117 1
|
29天前
|
关系型数据库 MySQL 数据库
一个 MySQL 数据库死锁的案例和解决方案
本文介绍了一个 MySQL 数据库死锁的案例和解决方案。
65 3
|
1月前
|
存储 关系型数据库 MySQL
优化 MySQL 的锁机制以提高并发性能
【10月更文挑战第16天】优化 MySQL 锁机制需要综合考虑多个因素,根据具体的应用场景和需求进行针对性的调整。通过不断地优化和改进,可以提高数据库的并发性能,提升系统的整体效率。
68 1
|
24天前
|
监控 关系型数据库 MySQL
数据库优化:MySQL索引策略与查询性能调优实战
【10月更文挑战第26天】数据库作为现代应用系统的核心组件,其性能优化至关重要。本文主要探讨MySQL的索引策略与查询性能调优。通过合理创建索引(如B-Tree、复合索引)和优化查询语句(如使用EXPLAIN、优化分页查询),可以显著提升数据库的响应速度和稳定性。实践中还需定期审查慢查询日志,持续优化性能。
53 0
下一篇
无影云桌面