mysql性能优化:单表1400w查询最后十条数据(耗时0.036s)

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: 看几个关键字段,type、key、extra,不算完美,但也还行,毕竟我们这种非DBA选手,sql能力有限顺便科普下这个执行计划,看id列,1 1 2,执行顺序是第三行 第一行 第二行,记住口诀:id不同大的先走,id相同,从上往下

排查问题发现线上mysql有个表数据量达到了1.4kw,观察了下,日增量大概40-50w的样子

ba01712c49734bdca7ed89382c5828a7.png


突然联想到一个场景,如果我要拿这1.4kw数据中的最后十条怎么办(这就是所谓的深度分页)


本着理科生有问题解决问题,没问题制造问题来解决的心态


开始了性能压榨

b305b783d817485a837ec25baf9362d2.png


先来看常规查询(公平起见,全部用select *)

0ae989848d8b433db3351638080e3271.png

我的天,用了19s,这要是再结合一些复杂查询,不得30+s,这谁顶得住啊


分析原因


不用想,这个sql肯定是没走索引了

a4a64422335f4536b5ee4a52c0439b9b.png

看type类型,ALL代表进行了全表扫描


试图优化


既然没走索引那我就让你走索引

看了下表结构,只有一个字段建了索引,哪个字段我就不说了,秘密,我就直接用主键吧


select * 没走索引,那select id呢

001948c9e0c94ee79b0f6927c235b41f.png

时间缩短了不少,但是我想要所有字段,不可能只查id啊


所以

d92ecaf821644847973ac40aa97f2fa6.png

这不就妥了,我先查id,再通过id拿其它字段,靠谱~


到现在,原本 19s 的 sql 已经缩短到3s,nice


看下执行计划,我们得知道为啥变快了

fbd692659d154bed8694b1d9731e8bf5.png

看几个关键字段,type、key、extra,不算完美,但也还行,毕竟我们这种非DBA选手,sql能力有限


顺便科普下这个执行计划,看id列,1 1 2,执行顺序是第三行 第一行 第二行,记住口诀:id不同大的先走,id相同,从上往下

所以第一行中type列的ALL并不是指进行了全部扫描,而是表示对子查询中的结果集进行了全部扫描,很合理


关于详细执行计划,出门右转 mysql执行计划explain属性解析


一千四百万数据量深度分页能3秒,算不错了,但是还能不能继续优化?



教你个绝活,老板见了都要激动的拍打轮椅

e036cf0a924d4151864b3ae6c9fa4113.png

你没有看错,就是0.036s,刺不刺激


虽然性能嘎嘎猛,但局限性太大,首先你得是自增id,并且id不能有断层,这对表维护要求很高,每次删除了数据都得清一下旧id,就图个乐吧,量大了老老实实上es、ck,要么就让你的用户接受查询慢一点


总结

//常规分页
SELECT * FROM table_name limit 14000000,10//耗时19.426s
//先查id ,写法很多,看个人习惯
SELECT * FROM table_name a,(SELECT id FROM table_name limit 14000000,10) b WHERE a.id = b.id  //耗时3.068
//如果你的表有自增id(并且没断层),就这么写,效率直接起飞
SELECT * FROM table_name WHERE id>14000000 LIMIT 10  //耗时0.036

完结

撒花


ok我话说完


相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
15天前
|
缓存 关系型数据库 MySQL
MySQL索引策略与查询性能调优实战
在实际应用中,需要根据具体的业务需求和查询模式,综合运用索引策略和查询性能调优方法,不断地测试和优化,以提高MySQL数据库的查询性能。
|
20天前
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
本文介绍了MySQL InnoDB存储引擎中的数据文件和重做日志文件。数据文件包括`.ibd`和`ibdata`文件,用于存放InnoDB数据和索引。重做日志文件(redo log)确保数据的可靠性和事务的持久性,其大小和路径可由相关参数配置。文章还提供了视频讲解和示例代码。
129 11
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
|
20天前
|
缓存 NoSQL 关系型数据库
Redis和Mysql如何保证数据⼀致?
在项目中,为了解决Redis与Mysql的数据一致性问题,我们采用了多种策略:对于低一致性要求的数据,不做特别处理;时效性数据通过设置缓存过期时间来减少不一致风险;高一致性但时效性要求不高的数据,利用MQ异步同步确保最终一致性;而对一致性和时效性都有高要求的数据,则采用分布式事务(如Seata TCC模式)来保障。
53 14
|
20天前
|
存储 缓存 负载均衡
mysql的性能优化
在数据库设计中,应选择合适的存储引擎(如MyISAM或InnoDB)、字段类型(如char、varchar、tinyint),并遵循范式(1NF、2NF、3NF)。功能上,可以通过索引优化、缓存和分库分表来提升性能。架构上,采用主从复制、读写分离和负载均衡可进一步提高系统稳定性和扩展性。
36 9
|
23天前
|
SQL 前端开发 关系型数据库
SpringBoot使用mysql查询昨天、今天、过去一周、过去半年、过去一年数据
SpringBoot使用mysql查询昨天、今天、过去一周、过去半年、过去一年数据
49 9
|
24天前
|
缓存 监控 关系型数据库
如何优化MySQL查询速度?
如何优化MySQL查询速度?【10月更文挑战第31天】
56 3
|
28天前
|
监控 关系型数据库 MySQL
数据库优化:MySQL索引策略与查询性能调优实战
【10月更文挑战第27天】本文深入探讨了MySQL的索引策略和查询性能调优技巧。通过介绍B-Tree索引、哈希索引和全文索引等不同类型,以及如何创建和维护索引,结合实战案例分析查询执行计划,帮助读者掌握提升查询性能的方法。定期优化索引和调整查询语句是提高数据库性能的关键。
158 1
|
分布式计算 关系型数据库 MySQL
E-Mapreduce如何处理RDS的数据
目前网站的一些业务数据存在了数据库中,这些数据往往需要做进一步的分析,如:需要跟一些日志数据关联分析,或者需要进行一些如机器学习的分析。在阿里云上,目前E-Mapreduce可以满足这类进一步分析的需求。
4974 0
|
19天前
|
SQL 关系型数据库 MySQL
12 PHP配置数据库MySQL
路老师分享了PHP操作MySQL数据库的方法,包括安装并连接MySQL服务器、选择数据库、执行SQL语句(如插入、更新、删除和查询),以及将结果集返回到数组。通过具体示例代码,详细介绍了每一步的操作流程,帮助读者快速入门PHP与MySQL的交互。
34 1
|
21天前
|
SQL 关系型数据库 MySQL
go语言数据库中mysql驱动安装
【11月更文挑战第2天】
36 4