性能提高20倍!MySQL排序引起的性能问题及解决方案

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
云数据库 RDS PostgreSQL,高可用系列 2核4GB
简介: 负责公司的用户收藏服务,收到调用方反馈有read time out的情况,进行排查发现是某用户收藏数量太多引起的(有业务设计上的问题,正常应只保留有限时间的收藏或者限制用户收藏的数量),一般用户收藏数是不超过100的,查询耗时是几毫秒,该用户收藏数2W+,查询耗时接近200毫秒。

起因

负责公司的用户收藏服务,收到调用方反馈有read time out的情况,进行排查发现是某用户收藏数量太多引起的(有业务设计上的问题,正常只保留有限时间的收藏或者限制用户收藏的数量),一般用户收藏数是不超过100的,查询耗时是几毫秒,这个用户收藏数2W+,查询耗时接近200毫秒。

排查过程

表结构如下,删减了部分字段,原有20多个字段

CREATETABLE `user_favorite` (  `id` bigint(20)NOTNULL AUTO_INCREMENT BYGROUP COMMENT '自增ID',  `create_user_id` varchar(64)NOTNULL DEFAULT '' COMMENT '用户ID',  `channel_id` bigint(20)NOTNULL DEFAULT '0' COMMENT '渠道ID',  `goods_id` bigint(20)NOTNULL DEFAULT '0' COMMENT '收藏的产品ID',  `create_time` timestampNOTNULL DEFAULT '0000-00-00 00:00:00' COMMENT '创建时间',  `is_delete` tinyint(1)NOTNULL DEFAULT '0' COMMENT '是否删除',  PRIMARY KEY (`id`),  KEY `idx_create_user_id_goods_id` (`create_user_id`,`channel_id`,`goods_id`) USING BTREE
) ENGINE=InnoDB;


查询SQL

select*from user_favorite
where create_user_id ='1234567'and channel_id =1and is_delete =0orderby create_time desclimit0,20;


执行计划(EXPLAIN)

select_type

table

type

possible_keys

key

key_len

ref

rows

filtered

Extra

SIMPLE

user_favorite

ref

idx_create_user_id_goods_id

idx_create_user_id_goods_id

266

const,const

1

10.0

Using index condition; Using where;

Using filesort

问题分析

上面的explain的key可以看出,命中了表里唯一的索引

重点是Extra:

  • Using index condition:使用了索引下推,5.6的新功能,如果索引包含多个条件,索引过滤一遍再回表查询
  • Using where:有字段不在索引上,回表过滤
  • Using filesort:需要排序,不一定是文件排序也有可能是内存排序

先不管是文件排序还是内存排序(可通过optimizer_trace分析,但可以大致确定的是,是因为需要排序,影响了整体性能。将order by命令去掉,验证得出与数据量少的用户查询耗时一致。

MySQL的排序方式

可以看到sql后面的limit是用于分页的,不是用户的全量数据返回,只取其中的20条,但问题是不排序无法确定取的是哪20条,所以必须是将查询到的所有结果集进行排序后再取其中的20条,这也是为什么MySQL及其他数据库不能深度分页的原因。再者,查询出2W+数据,且字段众多,会使用多个临时文件进行归并排序。

解决方案

因为一定是需要按创建时间排序的,但排序又影响了性能,这个问题看似也没办法解决了,那有没有办法是,查询到的结果集已经不需要排序,可以直接返回呢?

答案是肯定的,按照MySQL常用的B+树索引,索引里面结果已经是排好序的,按照我们的查询条件是create_user_id+channel_id,再加上排序字段create_time,创建联合索引

CREATE INDEX user_favorite_cui_ci_ct_IDX USING BTREE

ON user_favorite (create_user_id,channel_id,create_time);

条件create_user_id+channel_id查询后的结果已经是按照create_time排序好的结果集,至此,问题完美解决,下面看一下添加索引后的执行计划,验证一下我们的猜想。

优化后的执行计划

select_type

table

type

possible_keys

key

key_len

ref

rows

filtered

Extra

SIMPLE

user_favorite

ref

idx_create_user_id_goods_id,user_favorite_cui_ci_ct_IDX

user_favorite_cui_ci_ct_IDX

266

const,const

1

10.0

Using where

可以命中了我们新创建的索引,并且已经不需要排序了,耗时也从200毫秒降至10毫秒左右,性能提高20倍

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
打赏
0
0
0
0
2
分享
相关文章
大数据大厂之MySQL数据库课程设计:揭秘MySQL集群架构负载均衡核心算法:从理论到Java代码实战,让你的数据库性能飙升!
本文聚焦 MySQL 集群架构中的负载均衡算法,阐述其重要性。详细介绍轮询、加权轮询、最少连接、加权最少连接、随机、源地址哈希等常用算法,分析各自优缺点及适用场景。并提供 Java 语言代码实现示例,助力直观理解。文章结构清晰,语言通俗易懂,对理解和应用负载均衡算法具有实用价值和参考价值。
大数据大厂之MySQL数据库课程设计:揭秘MySQL集群架构负载均衡核心算法:从理论到Java代码实战,让你的数据库性能飙升!
Super MySQL|揭秘PolarDB全异步执行架构,高并发场景性能利器
阿里云瑶池旗下的云原生数据库PolarDB MySQL版设计了基于协程的全异步执行架构,实现鉴权、事务提交、锁等待等核心逻辑的异步化执行,这是业界首个真正意义上实现全异步执行架构的MySQL数据库产品,显著提升了PolarDB MySQL的高并发处理能力,其中通用写入性能提升超过70%,长尾延迟降低60%以上。
MySQL索引策略与查询性能调优实战
在实际应用中,需要根据具体的业务需求和查询模式,综合运用索引策略和查询性能调优方法,不断地测试和优化,以提高MySQL数据库的查询性能。
532 66
docker拉取MySQL后数据库连接失败解决方案
通过以上方法,可以解决Docker中拉取MySQL镜像后数据库连接失败的常见问题。关键步骤包括确保容器正确启动、配置正确的环境变量、合理设置网络和权限,以及检查主机防火墙设置等。通过逐步排查,可以快速定位并解决连接问题,确保MySQL服务的正常使用。
654 82
大数据新视界--大数据大厂之MySQL数据库课程设计:MySQL集群架构负载均衡故障排除与解决方案
本文深入探讨 MySQL 集群架构负载均衡的常见故障及排除方法。涵盖请求分配不均、节点无法响应、负载均衡器故障等现象,介绍多种负载均衡算法及故障排除步骤,包括检查负载均衡器状态、调整算法、诊断修复节点故障等。还阐述了预防措施与确保系统稳定性的方法,如定期监控维护、备份恢复策略、团队协作与知识管理等。为确保 MySQL 数据库系统高可用性提供全面指导。
Spring Boot整合MySQL主从集群同步延迟解决方案
本文针对电商系统在Spring Boot+MyBatis架构下的典型问题(如大促时订单状态延迟、库存超卖误判及用户信息更新延迟)提出解决方案。核心内容包括动态数据源路由(强制读主库)、大事务拆分优化以及延迟感知补偿机制,配合MySQL参数调优和监控集成,有效将主从延迟控制在1秒内。实际测试表明,在10万QPS场景下,订单查询延迟显著降低,超卖误判率下降98%。
114 5
MySQL底层概述—8.JOIN排序索引优化
本文主要介绍了MySQL中几种关键的优化技术和概念,包括Join算法原理、IN和EXISTS函数的使用场景、索引排序与额外排序(Using filesort)的区别及优化方法、以及单表和多表查询的索引优化策略。
243 22
MySQL底层概述—8.JOIN排序索引优化
ThinkPHP框架show columns引发mysql性能问题
ThinkPHP框架的show columns引发mysql性能问题,结尾有关闭方式。
115 13
无缝集成 MySQL,解锁秒级 OLAP 分析性能极限,完成任务可领取三合一数据线!
通过 AnalyticDB MySQL 版、DMS、DTS 和 RDS MySQL 版协同工作,解决大规模业务数据统计难题,参与活动完成任务即可领取三合一数据线(限量200个),还有机会抽取蓝牙音箱大奖!

推荐镜像

更多
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等

登录插画

登录以查看您的控制台资源

管理云资源
状态一览
快捷访问