MySQL学习笔记-order by工作原理

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 RDS MySQL,高可用系列 2核4GB
简介: MySQL学习笔记-order by工作原理

1.表结构

CREATE TABLE `t` (
  `id` int unsigned NOT NULL AUTO_INCREMENT,
  `city` varchar(16) NOT NULL,
  `name` varchar(16) NOT NULL DEFAULT '',
  `age` int unsigned NOT NULL DEFAULT '0',
  `addr` varchar(128) NOT NULL DEFAULT '',
  PRIMARY KEY (`id`),
  KEY `city` (`city`) USING BTREE
) ENGINE=InnoDB;

2.插入实验数据

delimiter;
create procedure idata()
begin
  declare i int;
  set i=1;
  while(i<=20000)do
      if i<=15000 then
            insert into t values(i,SUBSTRING("杭州杭州杭州杭州杭州",1,RAND()*10), SUBSTRING("爱因诗贤爱因诗贤爱因诗贤",1,RAND()*10), RAND()*100,SUBSTRING("地址地址地址地址地址",1,RAND()*10));
        else
            insert into t values(i,"武汉", SUBSTRING("爱因诗贤爱因诗贤爱因诗贤",1,RAND()*10), RAND()*100,SUBSTRING("地址地址地址地址地址",1,RAND()*10));
        end if;
    set i=i+1;
  end while;
end;
delimiter ;
call idata();

Tips:使用存储过程插了 20000 条数据,其中插入了 5000city='武汉' 的数据。

3.执行排序查询

select city,name,age from t where city='武汉' order by name limit 1000;

执行结果如下图:

4.explain 分析

explain select city,name,age from t where city='武汉' order by name limit 1000;

Tips:可以看到扫描行数 rows=5000 行,Extra 中的 Using filesort 表示需要排序

5.全字段排序流程

       若查询要返回的字段很少,每行要返回的结果集数据比较小,内存中能同时存放的行数比较多,全字段排序流程如下:

  • (1)初始化 sort_buffer,确定放入 name、city、age 这三个字段
  • (2) 从二级索引树 city 上找到第一个满足 city='武汉' 条件的主键 id
  • (3)然后到主键索引树上通过 id 取出整行,取 name、city、age 三个字段的值,存入 sort_buffer
  • (4)从二级索引树 city 取下一个记录的主键 id
  • (5)重复步骤 (3)、(4) 直到 city 的值不满足查询条件为止
  • (6)sort_buffer 中的数据按照字段 name快速排序
  • (7)按照排序结果取前 1000 行返回给客户端

Tips:MySQL 会给每个线程分配一块内存用于排序,称为 sort_buffer,其中第 (6) 步按照 name 快速排序,可能在内存中完成,也可能需要外部排序,取决于参数 sort_buffer_size 的大小。

6.rowid 排序流程

       如果查询要返回的字段很多的话,那么 sort_buffer 里面要放的字段数太多,这样内存里能够同时放下的行数很少,要分成很多个临时文件,排序的性能会很差,先设置一个参数,可以让 MySQL 采用 rowid 的方式来排序:

SET max_length_for_sort_data = 16;

Tips:max_length_for_sort_data 表示用于排序的行数据的长度的参数,表示如果单行的长度超过这个值,MySQL 就认为单行太大,要换一个排序算法,city、name、age 这三个字段的定义总长度是 36,比 16 大。

rowid 排序流程如下:

  • (1)初始化 sort_buffer,确定放入两个字段,即 nameid
  • (2) 从二级索引树 city 上找到第一个满足 city='武汉' 条件的主键 id
  • (3)然后到主键索引树上通过 id 取出整行,取 name、id 这两个字段,存入 sort_buffer
  • (4)从二级索引树 city 取下一个记录的主键 id
  • (5)重复步骤 (3)、(4) 直到 city 的值不满足查询条件为止
  • (6)sort_buffer 中的数据按照字段 name 排序
  • (7)遍历排序结果,取前 1000 行,并按照 id 的值回到原表中取出 city、nameage 三个字段返回给客户端

Tips:相比于全字段排序,rowid 排序多了一次回表

7.优化建议

  • 上述排序是按照 name 字段进行排序的,如果 name 字段本来就是有序的,那么在排序查询就不需要使用排序这个步骤,因此可以建立 city、name 联合索引:
ALTER TABLE `t` DROP INDEX `city`,ADD INDEX `city_user`(`city`, `name`) USING BTREE;
  • explain 分析如下:
explain select city,name,age from t where city='武汉' order by name limit 1000;

Tips:此时 Extra 中没有 Using filesort 了,因此不需要排序了。

  • 由于最后返回字段总共包含 citynameage 三个字段,为了减少回表次数,可以在上面基础上,直接建立 citynameage 联合索引:
ALTER TABLE `t` DROP INDEX `city_user`,
ADD INDEX `city_user_age`(`city`, `name`, `age`) USING BTREE;
相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
打赏
0
0
0
0
1
分享
相关文章
MySQL实现文档全文搜索,分词匹配多段落重排展示,知识库搜索原理分享
本文介绍了在文档管理系统中实现高效全文搜索的方案。为解决原有ES搜索引擎私有化部署复杂、运维成本高的问题,我们转而使用MySQL实现搜索功能。通过对用户输入预处理、数据库模糊匹配、结果分段与关键字标红等步骤,实现了精准且高效的搜索效果。目前方案适用于中小企业,未来将根据需求优化并可能重新引入专业搜索引擎以提升性能。
mysql 之order by工作流程
本文深入解析了MySQL中`ORDER BY`的排序机制,通过具体示例展示了排序过程及性能优化方法。文章首先分析了基于内存和磁盘的排序方式,包括`sort_buffer_size`的影响以及临时文件的使用场景。接着介绍了`rowid`排序算法,该算法通过减少参与排序的数据量来提升性能,并对比了其与传统排序的区别。此外,还探讨了随机查询`ORDER BY RAND()`的执行流程及其优化策略。最后提到了MySQL 5.6引入的优先队列排序算法,适用于仅需部分有序结果的场景。文章结合`optimizer_trace`工具详细说明了各配置参数对排序行为的影响,为优化查询提供了实用指导。
mysql 之order by工作流程
RDS用多了,你还知道MySQL主从复制底层原理和实现方案吗?
随着数据量增长和业务扩展,单个数据库难以满足需求,需调整为集群模式以实现负载均衡和读写分离。MySQL主从复制是常见的高可用架构,通过binlog日志同步数据,确保主从数据一致性。本文详细介绍MySQL主从复制原理及配置步骤,包括一主二从集群的搭建过程,帮助读者实现稳定可靠的数据库高可用架构。
108 9
RDS用多了,你还知道MySQL主从复制底层原理和实现方案吗?
MySQL原理简介—9.MySQL索引原理
本文详细介绍了MySQL索引的设计与使用原则,涵盖磁盘数据页的存储结构、页分裂机制、主键索引设计及查询过程、聚簇索引和二级索引的原理、B+树索引的维护、联合索引的使用规则、SQL排序和分组时如何利用索引、回表查询对性能的影响以及索引覆盖的概念。此外还讨论了索引设计的案例,包括如何处理where筛选和order by排序之间的冲突、低基数字段的处理方式、范围查询字段的位置安排,以及通过辅助索引来优化特定查询场景。总结了设计索引的原则,如尽量包含where、order by、group by中的字段,选择离散度高的字段作为索引,限制索引数量,并针对频繁查询的低基数字段进行特殊处理等。
MySQL原理简介—9.MySQL索引原理
MySQL底层概述—6.索引原理
本文详细回顾了:索引原理、二叉查找树、平衡二叉树(AVL树)、红黑树、B-Tree、B+Tree、Hash索引、聚簇索引与非聚簇索引。
102 11
MySQL底层概述—6.索引原理
MySQL原理简介—12.MySQL主从同步
本文介绍了四种为MySQL搭建主从复制架构的方法:异步复制、半同步复制、GTID复制和并行复制。异步复制通过配置主库和从库实现简单的主从架构,但存在数据丢失风险;半同步复制确保日志复制到从库后再提交事务,提高了数据安全性;GTID复制简化了配置过程,增强了复制的可靠性和管理性;并行复制通过多线程技术降低主从同步延迟,保证数据一致性。此外,还讨论了如何使用工具监控主从延迟及应对策略,如强制读主库以确保即时读取最新数据。
MySQL原理简介—12.MySQL主从同步
MySQL原理简介—11.优化案例介绍
本文介绍了四个SQL性能优化案例,涵盖不同场景下的问题分析与解决方案: 1. 禁止或改写SQL避免自动半连接优化。 2. 指定索引避免按聚簇索引全表扫描大表。 3. 按聚簇索引扫描小表减少回表次数。 4. 避免产生长事务长时间执行。
MySQL原理简介—10.SQL语句和执行计划
本文介绍了MySQL执行计划的相关概念及其优化方法。首先解释了什么是执行计划,它是SQL语句在查询时如何检索、筛选和排序数据的过程。接着详细描述了执行计划中常见的访问类型,如const、ref、range、index和all等,并分析了它们的性能特点。文中还探讨了多表关联查询的原理及优化策略,包括驱动表和被驱动表的选择。此外,文章讨论了全表扫描和索引的成本计算方法,以及MySQL如何通过成本估算选择最优执行计划。最后,介绍了explain命令的各个参数含义,帮助理解查询优化器的工作机制。通过这些内容,读者可以更好地理解和优化SQL查询性能。
【YashanDB知识库】原生mysql驱动配置连接崖山数据库
【YashanDB知识库】原生mysql驱动配置连接崖山数据库
【YashanDB知识库】原生mysql驱动配置连接崖山数据库
docker拉取MySQL后数据库连接失败解决方案
通过以上方法,可以解决Docker中拉取MySQL镜像后数据库连接失败的常见问题。关键步骤包括确保容器正确启动、配置正确的环境变量、合理设置网络和权限,以及检查主机防火墙设置等。通过逐步排查,可以快速定位并解决连接问题,确保MySQL服务的正常使用。
124 82