Mysql数据库order by实现原理

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: Mysql数据库order by实现原理

业务背景

在应用开发过程中,业务场景可能需要根据某个字段进行排序,并返回指定结果集,就需要用到order by,今天我们来聊聊 order by 的执行流程。

假设你要查询城市是“北京”的所有人的名字,并且按照名字进行排序返回前1000个人的姓名和年龄。建表语句如下:

mysql> create table `user` (
  `id` int(11),
  `name` varchar(16) NOT NULL,
  `age` int(11) NOT NULL,
  `city` varchar(16) NOT NULL,
  PRIMARY KEY(`id`),
  KEY `city` (`city`)
)ENGINE=InnoDB;

SQL语句如下:

mysql> select name, age from user where city = "北京" order by name limit 1000;

全字段排序

为了避免全表扫描,我们需要在city字段上创建索引,用explain命令查看这条语句的执行情况:

mysql> explain select name, age from user where city = "北京" order by name limit 1000;

可以看到 key 为 city,确实走了索引,扫描行数rows为4000,表示city为北京的记录有4000条,Extra字段中的“Using filesort”,表示需要排序,Mysql 会给每个线程分配一段内存用于排序,这段内存称为sort_buffer。

执行流程:

  1. 初始化sort_buffer;
  2. 从city索引找到第一个满足city=“北京”条件的主键Id,也就是途中的ID-x;
  3. 到主键ID-x索引找到这条记录,拿到name、city、age三个字段的值放入sort_buffer;
  4. 从city索引找下一条记录,取到主键id;
  5. 重复步骤3、4 直到city不满足条件为止,也就是到途中的ID-y为止;
  6. 对sort_buffer中的数据按照name做快速排序;
  7. 返回排序结果的前1000条记录;

说明:

步骤6中,按照name字段排序的动作,可能在内存中完成,也可能需要使用外部排序,取决于排序数据所需要的内存和参数sort_buffer_size。sort_buffer_size就是Mysql为排序分配的内存。如果排序的数据量小于sort_buffer_size,排序就在内存中完成,否则就需要利用磁盘的临时文件进行辅助排序。

rowid排序

上面讲到的全字段排序,我们在拿到主键id后,取了结果集的所需全部字段(name、city、age)放入sort_buffer,按照name排序完可以直接返回。这个算法有个问题,就是sort_buffer放入的字段太多,导致内存中放入的行数很少,可能分成很多个临时文件,排序的性能会很差。

rowid排序思路:只把要排序的name字段和主键id放入sort_buffer,也就是尽可能多的放入更多的行。但是,因为sort_buffer中少了city和age字段,不能直接返回了,执行流程如下:

  1. 初始化sort_buffer,确认放入两个字段(name、id);
  2. 从city索引找到第一个city=“北京”的主键id,也就是图中的ID-x;
  3. 根据主键id索引,拿到name、id两个字段放入sort_buffer;
  4. 从city索引找下一条记录,取到主键id;
  5. 重复步骤3、4 直到city不满足条件为止,也就是到途中的ID-y为止;
  6. 对sort_buffer中的数据按照name做快速排序;
  7. 遍历排序结果,取前1000行的id,再回到原表中,拿到city、age、name三个字段,返回结果。

全字段排序 和 rowid排序比较

Msyql的设计思想:如果内存够,尽量使用内存,尽量减少磁盘访问。

如果Mysql认为内存太小,就会使用rowid排序,好处是可以放入更多行的数据,缺点需要再回原表查询数据。

思考:order by是否一定需要排序?

答案是:不一定。可以利用覆盖索引,优化order by语句,比如,可以创建city_name_age的联合索引,该联合索引树的叶子结点的值就已经包含了我们需要的结果,这样的话就不需要回表了哦。

笔记参考于极客时间《MySQL实战45讲》


相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
1月前
|
自然语言处理 搜索推荐 关系型数据库
MySQL实现文档全文搜索,分词匹配多段落重排展示,知识库搜索原理分享
本文介绍了在文档管理系统中实现高效全文搜索的方案。为解决原有ES搜索引擎私有化部署复杂、运维成本高的问题,我们转而使用MySQL实现搜索功能。通过对用户输入预处理、数据库模糊匹配、结果分段与关键字标红等步骤,实现了精准且高效的搜索效果。目前方案适用于中小企业,未来将根据需求优化并可能重新引入专业搜索引擎以提升性能。
103 5
|
28天前
|
SQL 算法 搜索推荐
mysql 之order by工作流程
本文深入解析了MySQL中`ORDER BY`的排序机制,通过具体示例展示了排序过程及性能优化方法。文章首先分析了基于内存和磁盘的排序方式,包括`sort_buffer_size`的影响以及临时文件的使用场景。接着介绍了`rowid`排序算法,该算法通过减少参与排序的数据量来提升性能,并对比了其与传统排序的区别。此外,还探讨了随机查询`ORDER BY RAND()`的执行流程及其优化策略。最后提到了MySQL 5.6引入的优先队列排序算法,适用于仅需部分有序结果的场景。文章结合`optimizer_trace`工具详细说明了各配置参数对排序行为的影响,为优化查询提供了实用指导。
mysql 之order by工作流程
|
2月前
|
关系型数据库 MySQL 数据库
RDS用多了,你还知道MySQL主从复制底层原理和实现方案吗?
随着数据量增长和业务扩展,单个数据库难以满足需求,需调整为集群模式以实现负载均衡和读写分离。MySQL主从复制是常见的高可用架构,通过binlog日志同步数据,确保主从数据一致性。本文详细介绍MySQL主从复制原理及配置步骤,包括一主二从集群的搭建过程,帮助读者实现稳定可靠的数据库高可用架构。
150 9
RDS用多了,你还知道MySQL主从复制底层原理和实现方案吗?
|
2月前
|
SQL 存储 关系型数据库
MySQL原理简介—9.MySQL索引原理
本文详细介绍了MySQL索引的设计与使用原则,涵盖磁盘数据页的存储结构、页分裂机制、主键索引设计及查询过程、聚簇索引和二级索引的原理、B+树索引的维护、联合索引的使用规则、SQL排序和分组时如何利用索引、回表查询对性能的影响以及索引覆盖的概念。此外还讨论了索引设计的案例,包括如何处理where筛选和order by排序之间的冲突、低基数字段的处理方式、范围查询字段的位置安排,以及通过辅助索引来优化特定查询场景。总结了设计索引的原则,如尽量包含where、order by、group by中的字段,选择离散度高的字段作为索引,限制索引数量,并针对频繁查询的低基数字段进行特殊处理等。
130 18
MySQL原理简介—9.MySQL索引原理
|
2月前
|
缓存 NoSQL Redis
Redis原理—2.单机数据库的实现
本文概述了Redis数据库的核心结构和操作机制。
Redis原理—2.单机数据库的实现
|
2月前
|
存储 关系型数据库 MySQL
MySQL底层概述—6.索引原理
本文详细回顾了:索引原理、二叉查找树、平衡二叉树(AVL树)、红黑树、B-Tree、B+Tree、Hash索引、聚簇索引与非聚簇索引。
129 11
MySQL底层概述—6.索引原理
|
2月前
|
SQL 监控 关系型数据库
MySQL原理简介—12.MySQL主从同步
本文介绍了四种为MySQL搭建主从复制架构的方法:异步复制、半同步复制、GTID复制和并行复制。异步复制通过配置主库和从库实现简单的主从架构,但存在数据丢失风险;半同步复制确保日志复制到从库后再提交事务,提高了数据安全性;GTID复制简化了配置过程,增强了复制的可靠性和管理性;并行复制通过多线程技术降低主从同步延迟,保证数据一致性。此外,还讨论了如何使用工具监控主从延迟及应对策略,如强制读主库以确保即时读取最新数据。
MySQL原理简介—12.MySQL主从同步
|
2月前
|
SQL 缓存 关系型数据库
MySQL原理简介—7.redo日志的底层原理
本文介绍了MySQL中redo日志和undo日志的主要内容: 1. redo日志的意义:确保事务提交后数据不丢失,通过记录修改操作并在系统宕机后重做日志恢复数据。 2. redo日志文件构成:记录表空间号、数据页号、偏移量及修改内容。 3. redo日志写入机制:redo日志先写入Redo Log Buffer,再批量刷入磁盘文件,减少随机写以提高性能。 4. Redo Log Buffer解析:描述Redo Log Buffer的内存结构及刷盘时机,如事务提交、Buffer过半或后台线程定时刷新。 5. undo日志原理:用于事务回滚,记录插入、删除和更新前的数据状态,确保事务可完整回滚。
168 22
|
2月前
|
SQL 缓存 关系型数据库
MySQL原理简介—8.MySQL并发事务处理
这段内容深入探讨了SQL语句执行原理、事务并发问题、MySQL事务隔离级别及其实现机制、锁机制以及数据库性能优化等多个方面。
106 13
|
2月前
|
SQL 关系型数据库 MySQL
MySQL原理简介—11.优化案例介绍
本文介绍了四个SQL性能优化案例,涵盖不同场景下的问题分析与解决方案: 1. 禁止或改写SQL避免自动半连接优化。 2. 指定索引避免按聚簇索引全表扫描大表。 3. 按聚簇索引扫描小表减少回表次数。 4. 避免产生长事务长时间执行。