记一次Mysql大数据分页优化问题

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: 记一次Mysql大数据分页优化问题

一般分页用的是limit


当数据量比较大的时候比如select * from u_user limit 10000000,10


这样查询就会奇慢无比,因为mysql会查询前面 一百万+10条数据之后 再丢弃前面一百万条数据返回最后10条数据;


怎么优化呢? 优化方式很多,一般的方式是


select * from u_user where id >= (select id from u_user limit 10000000,1) limit 10


这样优化没有错,速度也大幅度提高;


1.但是后来发现了这样一个问题,优化后和优化前的数据不一致啊?


后来发现select id from u_user limit 10000000,1每次的结果也不一致;


正式因为这个不一致导致了上面优化的查询不一致。为什么会不一致呢?


然后百度,mysql的默认排序规则;


http://www.cnblogs.com/fnlingnzb-learner/p/6692680.html


今天遇到一个问题,有一个 Select 语句没有加 “Order By”,返回的数据是不确定的。


这种问题碰到不止几次了。追根寻底, Select 语句如果不加 “Order By”, MySQL会怎么排序呢?


在网上搜了一下,在MySQL论坛发现了这篇文章。


http://forums.mysql.com/read.PHP?21,239471,239688#msg-239688


简单翻译一下


* 不能依赖 MySQL 的默认排序

* 如果你想排序,总是加上 Order By

* GROUP BY 强加了 Order By (这与标准语法冲突,如果要避免,请使用 ORDER BY NULL)这里我有疑问,

到底强加了何种 Order by


对于 MyISAM 表

MySQL Select 默认排序是按照物理存储顺序显示的。(不进行额外排序).

也就是说

SELECT * FROM tbl – 会产生“表扫描”。如果表没有删除、替换、更新操作,记录会显示为插入的顺序。


InnoDB 表

同样的情况,会按主键的顺序排列。再次强调,这只是潜规则(artifact of the underlying implementation:怎么翻译?),

不靠谱的。


我的理解与推测:


“Select” 不加 “Order by”时, MySQL 会尝试以尽可能快的方法(MySQL 实际的方法不见得快)返回数据。

由于访问主键、索引大多数情况会快一些(在Cache里)所以返回的数据有可能以主键、索引的顺序输出,

这里并不会真的进行排序,主要是由于主键、索引本身就是排序放到内存的,所以连续输出时可能是某种序列。

在一些情况下消耗硬盘寻道时间最短的数据会先返回。

如果只查询单个表,在特殊的情况下是有规律的。


最后总结


“Order By 是要加的”


如果谁想更深一步了解,需要看看 MySQL 的源代码了。

如上,是关键,因为mysql默认排序的不确定性,所以每次返回的都不一样



相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
9月前
|
存储 JSON 关系型数据库
轻松入门MySQL:MySQL字段类型精解,优化存储结构,助力系统高效运行(2)
轻松入门MySQL:MySQL字段类型精解,优化存储结构,助力系统高效运行(2)
105 0
|
9月前
|
SQL 存储 NoSQL
SQL vs. NoSQL:如何根据大数据需求选择合适数据库
【4月更文挑战第8天】本文对比分析了SQL与NoSQL数据库在大数据项目中的应用。SQL数据库适合结构化数据、强一致性和复杂事务处理,如金融系统,而NoSQL则适用于半结构化和非结构化数据、高并发及大数据场景,如社交网络。选择时应考虑业务需求、技术栈、团队经验和成本效益,以找到最佳解决方案。随着技术发展,NewSQL和Multi-model数据库也提供了更多选择。
555 0
|
9月前
|
存储 关系型数据库 MySQL
Mysql大数据批量插入方法
Mysql大数据批量插入方法
145 0
|
关系型数据库 MySQL 大数据
【大数据系列之MySQL】(十二):MySQL的条件查询语句
【大数据系列之MySQL】(十二):MySQL的条件查询语句
80 0
【大数据系列之MySQL】(十二):MySQL的条件查询语句
|
关系型数据库 MySQL 大数据
【大数据系列之MySQL】(二十八):MySQL中的联合查询
【大数据系列之MySQL】(二十八):MySQL中的联合查询
120 0
【大数据系列之MySQL】(二十八):MySQL中的联合查询
|
存储 关系型数据库 MySQL
记一次Mysql大数据分页优化问题
记一次Mysql大数据分页优化问题
|
关系型数据库 MySQL 大数据
【大数据系列之MySQL】(二十七):子查询的经典使用案例
【大数据系列之MySQL】(二十七):子查询的经典使用案例
208 0
|
关系型数据库 MySQL 大数据
【大数据系列之MySQL】(十四):MySQL中的排序查询语句
【大数据系列之MySQL】(十四):MySQL中的排序查询语句
178 0
|
存储 SQL 关系型数据库
【大数据系列之MySQL】(三十四):存储过程的介绍
【大数据系列之MySQL】(三十四):存储过程的介绍
183 0
|
关系型数据库 MySQL 大数据
【大数据系列之MySQL】(二十六):MySQL中的分页查询
【大数据系列之MySQL】(二十六):MySQL中的分页查询
124 0

热门文章

最新文章