性能提高20倍!MySQL排序引起的性能问题及解决方案

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群版 2核4GB 100GB
推荐场景:
搭建个人博客
云数据库 RDS MySQL,高可用版 2核4GB 50GB
简介: 负责公司的用户收藏服务,收到调用方反馈有read time out的情况,进行排查发现是某用户收藏数量太多引起的(有业务设计上的问题,正常应只保留有限时间的收藏或者限制用户收藏的数量),一般用户收藏数是不超过100的,查询耗时是几毫秒,该用户收藏数2W+,查询耗时接近200毫秒。

起因

负责公司的用户收藏服务,收到调用方反馈有read time out的情况,进行排查发现是某用户收藏数量太多引起的(有业务设计上的问题,正常只保留有限时间的收藏或者限制用户收藏的数量),一般用户收藏数是不超过100的,查询耗时是几毫秒,这个用户收藏数2W+,查询耗时接近200毫秒。

排查过程

表结构如下,删减了部分字段,原有20多个字段

CREATETABLE `user_favorite` (  `id` bigint(20)NOTNULL AUTO_INCREMENT BYGROUP COMMENT '自增ID',  `create_user_id` varchar(64)NOTNULL DEFAULT '' COMMENT '用户ID',  `channel_id` bigint(20)NOTNULL DEFAULT '0' COMMENT '渠道ID',  `goods_id` bigint(20)NOTNULL DEFAULT '0' COMMENT '收藏的产品ID',  `create_time` timestampNOTNULL DEFAULT '0000-00-00 00:00:00' COMMENT '创建时间',  `is_delete` tinyint(1)NOTNULL DEFAULT '0' COMMENT '是否删除',  PRIMARY KEY (`id`),  KEY `idx_create_user_id_goods_id` (`create_user_id`,`channel_id`,`goods_id`) USING BTREE
) ENGINE=InnoDB;


查询SQL

select*from user_favorite
where create_user_id ='1234567'and channel_id =1and is_delete =0orderby create_time desclimit0,20;


执行计划(EXPLAIN)

select_type

table

type

possible_keys

key

key_len

ref

rows

filtered

Extra

SIMPLE

user_favorite

ref

idx_create_user_id_goods_id

idx_create_user_id_goods_id

266

const,const

1

10.0

Using index condition; Using where;

Using filesort

问题分析

上面的explain的key可以看出,命中了表里唯一的索引

重点是Extra:

  • Using index condition:使用了索引下推,5.6的新功能,如果索引包含多个条件,索引过滤一遍再回表查询
  • Using where:有字段不在索引上,回表过滤
  • Using filesort:需要排序,不一定是文件排序也有可能是内存排序

先不管是文件排序还是内存排序(可通过optimizer_trace分析,但可以大致确定的是,是因为需要排序,影响了整体性能。将order by命令去掉,验证得出与数据量少的用户查询耗时一致。

MySQL的排序方式

可以看到sql后面的limit是用于分页的,不是用户的全量数据返回,只取其中的20条,但问题是不排序无法确定取的是哪20条,所以必须是将查询到的所有结果集进行排序后再取其中的20条,这也是为什么MySQL及其他数据库不能深度分页的原因。再者,查询出2W+数据,且字段众多,会使用多个临时文件进行归并排序。

解决方案

因为一定是需要按创建时间排序的,但排序又影响了性能,这个问题看似也没办法解决了,那有没有办法是,查询到的结果集已经不需要排序,可以直接返回呢?

答案是肯定的,按照MySQL常用的B+树索引,索引里面结果已经是排好序的,按照我们的查询条件是create_user_id+channel_id,再加上排序字段create_time,创建联合索引

CREATE INDEX user_favorite_cui_ci_ct_IDX USING BTREE

ON user_favorite (create_user_id,channel_id,create_time);

条件create_user_id+channel_id查询后的结果已经是按照create_time排序好的结果集,至此,问题完美解决,下面看一下添加索引后的执行计划,验证一下我们的猜想。

优化后的执行计划

select_type

table

type

possible_keys

key

key_len

ref

rows

filtered

Extra

SIMPLE

user_favorite

ref

idx_create_user_id_goods_id,user_favorite_cui_ci_ct_IDX

user_favorite_cui_ci_ct_IDX

266

const,const

1

10.0

Using where

可以命中了我们新创建的索引,并且已经不需要排序了,耗时也从200毫秒降至10毫秒左右,性能提高20倍

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
19天前
|
存储 算法 关系型数据库
(二十二)全解MySQL之分库分表后带来的“副作用”一站式解决方案!
上篇《分库分表的正确姿势》中已经将分库分表的方法论全面阐述清楚了,总体看下来用一个字形容,那就是爽!尤其是分库分表技术能够让数据存储层真正成为三高架构,但前面爽是爽了,接着一起来看看分库分表后产生一系列的后患问题,注意我这里的用词,是一系列而不是几个,也就是分库分表虽然好,但你要解决的问题是海量的。
|
9天前
|
SQL 存储 关系型数据库
"MySQL增列必锁表?揭秘InnoDB在线DDL,让你的数据库操作飞一般,性能无忧!"
【8月更文挑战第11天】在数据库领域,MySQL凭借其稳定高效的表现深受开发者喜爱。对于是否会在给数据表添加列时锁表的问题,MySQL的行为受版本、存储引擎等因素影响。从5.6版起,InnoDB支持在线DDL,可在改动表结构时保持表的可访问性,避免长时间锁表。而MyISAM等则需锁表完成操作。例如,在使用InnoDB的表上运行`ALTER TABLE users ADD COLUMN email VARCHAR(255);`时,通常不会完全锁表。虽然在线DDL提高了灵活性,但复杂操作或大表变更仍可能暂时影响性能。因此,进行结构变更前应评估其影响并择机执行。
31 6
|
6天前
|
缓存 NoSQL Redis
一天五道Java面试题----第九天(简述MySQL中索引类型对数据库的性能的影响--------->缓存雪崩、缓存穿透、缓存击穿)
这篇文章是关于Java面试中可能会遇到的五个问题,包括MySQL索引类型及其对数据库性能的影响、Redis的RDB和AOF持久化机制、Redis的过期键删除策略、Redis的单线程模型为何高效,以及缓存雪崩、缓存穿透和缓存击穿的概念及其解决方案。
|
9天前
|
存储 关系型数据库 MySQL
"揭秘!MySQL为何独宠B+树?跳表再牛,也敌不过这性能王者的N重诱惑!"
【8月更文挑战第11天】MySQL作为主流关系型数据库,优选B+树而非跳表作为索引结构,基于其对范围查询的支持、低磁盘I/O开销及事务处理能力。B+树叶节点构成有序链表,利于范围查询;较矮的树形结构减少了磁盘访问次数;支持多版本并发控制,保障事务ACID特性。而跳表在线性扫描范围查询时效率低,难以高效实现事务管理,且额外指针增加空间消耗。示例代码展示了B+树节点分裂过程,突显其内部机制。综上,B+树为MySQL提供了高性能、可靠的数据存储与检索能力。
22 4
|
7天前
|
SQL 关系型数据库 MySQL
MySQL】-DQL(基本、条件、分组、排序、分页)详细版
通过这些查询方法,你可以高效地检索、分析和组织MySQL数据库中的数据,以满足各种应用需求。实践中,理解这些SQL语句的基础知识以及它们如何组合起来进行复杂的数据操作是至关重要的。
15 1
|
12天前
|
算法 关系型数据库 MySQL
揭秘MySQL中的版本号排序:这个超级算法将颠覆你的排序世界!
【8月更文挑战第8天】在软件开发与数据管理中,正确排序版本号对软件更新及数据分析至关重要。因MySQL默认按字符串排序版本号,可能出现'1.20.0'在'1.10.0'之前的不合理情况。解决办法是将版本号各部分转换为整数后排序。例如,使用`SUBSTRING_INDEX`和`CAST`函数从`software`表的`version`字段提取并转换版本号,再按这些整数排序。这种方法可确保版本号按逻辑正确排序,适用于'major.minor.patch'格式的版本号。对于更复杂格式,需调整处理逻辑。掌握此技巧可有效应对版本号排序需求。
39 3
|
13天前
|
关系型数据库 MySQL OLTP
性能工具之 MySQL OLTP Sysbench BenchMark 测试示例
【8月更文挑战第6天】使用 pt-query-digest 工具分析 MySQL 慢日志性能工具之 MySQL OLTP Sysbench BenchMark 测试示例
54 0
性能工具之 MySQL OLTP Sysbench BenchMark 测试示例
|
26天前
|
存储 负载均衡 关系型数据库
面试题MySQL问题之通过配置FastDFS提高性能如何解决
面试题MySQL问题之通过配置FastDFS提高性能如何解决
33 1
|
26天前
|
SQL 关系型数据库 MySQL
mysql性能调优:EXPLAIN命令21
【7月更文挑战第21天】掌握SQL性能调优:深入解析EXPLAIN命令的神奇用法!
32 1
|
12天前
|
SQL 关系型数据库 MySQL
MySQL运行在docker容器中会损失多少性能
MySQL运行在docker容器中会损失多少性能