mysql性能优化:单表1400w查询最后十条数据(耗时0.036s)-阿里云开发者社区

开发者社区> 负债程序猿> 正文

mysql性能优化:单表1400w查询最后十条数据(耗时0.036s)

简介: 看几个关键字段,type、key、extra,不算完美,但也还行,毕竟我们这种非DBA选手,sql能力有限 顺便科普下这个执行计划,看id列,1 1 2,执行顺序是第三行 第一行 第二行,记住口诀:id不同大的先走,id相同,从上往下
+关注继续查看

排查问题发现线上mysql有个表数据量达到了1.4kw,观察了下,日增量大概40-50w的样子

ba01712c49734bdca7ed89382c5828a7.png


突然联想到一个场景,如果我要拿这1.4kw数据中的最后十条怎么办(这就是所谓的深度分页)


本着理科生有问题解决问题,没问题制造问题来解决的心态


开始了性能压榨

b305b783d817485a837ec25baf9362d2.png


先来看常规查询(公平起见,全部用select *)

0ae989848d8b433db3351638080e3271.png

我的天,用了19s,这要是再结合一些复杂查询,不得30+s,这谁顶得住啊


分析原因


不用想,这个sql肯定是没走索引了

a4a64422335f4536b5ee4a52c0439b9b.png

看type类型,ALL代表进行了全表扫描


试图优化


既然没走索引那我就让你走索引

看了下表结构,只有一个字段建了索引,哪个字段我就不说了,秘密,我就直接用主键吧


select * 没走索引,那select id呢

001948c9e0c94ee79b0f6927c235b41f.png

时间缩短了不少,但是我想要所有字段,不可能只查id啊


所以

d92ecaf821644847973ac40aa97f2fa6.png

这不就妥了,我先查id,再通过id拿其它字段,靠谱~


到现在,原本 19s 的 sql 已经缩短到3s,nice


看下执行计划,我们得知道为啥变快了

fbd692659d154bed8694b1d9731e8bf5.png

看几个关键字段,type、key、extra,不算完美,但也还行,毕竟我们这种非DBA选手,sql能力有限


顺便科普下这个执行计划,看id列,1 1 2,执行顺序是第三行 第一行 第二行,记住口诀:id不同大的先走,id相同,从上往下

所以第一行中type列的ALL并不是指进行了全部扫描,而是表示对子查询中的结果集进行了全部扫描,很合理


关于详细执行计划,出门右转 mysql执行计划explain属性解析


一千四百万数据量深度分页能3秒,算不错了,但是还能不能继续优化?



教你个绝活,老板见了都要激动的拍打轮椅

e036cf0a924d4151864b3ae6c9fa4113.png

你没有看错,就是0.036s,刺不刺激


虽然性能嘎嘎猛,但局限性太大,首先你得是自增id,并且id不能有断层,这对表维护要求很高,每次删除了数据都得清一下旧id,就图个乐吧,量大了老老实实上es、ck,要么就让你的用户接受查询慢一点


总结

//常规分页
SELECT * FROM table_name limit 14000000,10//耗时19.426s

//先查id ,写法很多,看个人习惯
SELECT * FROM table_name a,(SELECT id FROM table_name limit 14000000,10) b WHERE a.id = b.id  //耗时3.068

//如果你的表有自增id(并且没断层),就这么写,效率直接起飞
SELECT * FROM table_name WHERE id>14000000 LIMIT 10  //耗时0.036

完结

撒花


ok我话说完


版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
MySql查询性能优化
避免向数据库请求不需要的数据 在访问数据库时,应该只请求需要的行和列。请求多余的行和列会消耗MySql服务器的CPU和内存资源,并增加网络开销。 例如在处理分页时,应该使用LIMIT限制MySql只返回一页的数据,而不是向应用程序返回全部数据后,再由应用程序过滤不需要的行。 当一行数据被多次使用时可以考虑将数据行缓存起来,避免每次使用都要到MySql查询。 避免使用SELECT *这种方式进行查询,应该只返回需要的列。 查询数据的方式 查询数据的方式有全表扫描、索引扫描、范围扫描、唯一索引查询、常数引用等。这些查询方式,速度从慢到快,扫描的行数也是从多到少。可以通过EXPLAIN语句中的ty
24 0
一个相同查询在不同 RDS for MySQL 实例上性能差异的案例分析
一个相同查询在不同 RDS for MySQL 实例上性能差异的案例分析 1. 问题出现 2. 问题原因 3. 问题解决 4. 问题结论 相同查询在数据量相近的情况下在不同 RDS for MySQL 实例上有不同的性能表现,容易引发用户对 RDS for MySQL 实例的性能差异性的疑虑,本文分享下近期碰到的一个原因比较隐蔽但很常见的案例。
137 0
4.mysql数据库创建,表创建模等模板脚本,mysql_SQL99标准的连接查询(内连接,外连接,满外连接,交叉连接)
 mysql数据库创建,表创建模等模板脚本 -- 用root用户登录系统,执行脚本   -- 创建数据库 create database mydb61 character set utf8 ;   -- 选择数据库 use mydb61;   -- 增加 dbuser1 用户
1383 0
怎么设置阿里云服务器安全组?阿里云安全组规则详细解说
阿里云服务器安全组设置规则分享,阿里云服务器安全组如何放行端口设置教程
8418 0
MySQL 基础---多表数据查询
多表数据记录查询: 关系数据的各种操作 内连接查询 外连接查询 子查询 关系数据操作 传统的运算: 并(UNION) 笛卡尔积(CARTESIAN PRODUCT) 专门针对数据库操作的运算---连接(JOIN) (1) 并(UNION) “并”就是把具有相同字段数目和字段类型的表合并到一起。
724 0
mysql 性能优化
http://www.cnblogs.com/angryprogrammer/p/6667741.html
955 0
MySQL 基础---单表数据记录查询
**查询数据记录操作: ** 简单数据记录查询 条件数据记录查询 排序数据记录查询 限制数据记录查询 统计函数和分组数据记录查询 测试表 # 创建雇员表 create table t_employee( empno int(1...
787 0
+关注
负债程序猿
知道的越多,不知道的越多
118
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载