MySQL学习笔记-order by工作原理

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: MySQL学习笔记-order by工作原理

1.表结构

CREATE TABLE `t` (
  `id` int unsigned NOT NULL AUTO_INCREMENT,
  `city` varchar(16) NOT NULL,
  `name` varchar(16) NOT NULL DEFAULT '',
  `age` int unsigned NOT NULL DEFAULT '0',
  `addr` varchar(128) NOT NULL DEFAULT '',
  PRIMARY KEY (`id`),
  KEY `city` (`city`) USING BTREE
) ENGINE=InnoDB;

2.插入实验数据

delimiter;
create procedure idata()
begin
  declare i int;
  set i=1;
  while(i<=20000)do
      if i<=15000 then
            insert into t values(i,SUBSTRING("杭州杭州杭州杭州杭州",1,RAND()*10), SUBSTRING("爱因诗贤爱因诗贤爱因诗贤",1,RAND()*10), RAND()*100,SUBSTRING("地址地址地址地址地址",1,RAND()*10));
        else
            insert into t values(i,"武汉", SUBSTRING("爱因诗贤爱因诗贤爱因诗贤",1,RAND()*10), RAND()*100,SUBSTRING("地址地址地址地址地址",1,RAND()*10));
        end if;
    set i=i+1;
  end while;
end;
delimiter ;
call idata();

Tips:使用存储过程插了 20000 条数据,其中插入了 5000city='武汉' 的数据。

3.执行排序查询

select city,name,age from t where city='武汉' order by name limit 1000;

执行结果如下图:

4.explain 分析

explain select city,name,age from t where city='武汉' order by name limit 1000;

Tips:可以看到扫描行数 rows=5000 行,Extra 中的 Using filesort 表示需要排序

5.全字段排序流程

       若查询要返回的字段很少,每行要返回的结果集数据比较小,内存中能同时存放的行数比较多,全字段排序流程如下:

  • (1)初始化 sort_buffer,确定放入 name、city、age 这三个字段
  • (2) 从二级索引树 city 上找到第一个满足 city='武汉' 条件的主键 id
  • (3)然后到主键索引树上通过 id 取出整行,取 name、city、age 三个字段的值,存入 sort_buffer
  • (4)从二级索引树 city 取下一个记录的主键 id
  • (5)重复步骤 (3)、(4) 直到 city 的值不满足查询条件为止
  • (6)sort_buffer 中的数据按照字段 name快速排序
  • (7)按照排序结果取前 1000 行返回给客户端

Tips:MySQL 会给每个线程分配一块内存用于排序,称为 sort_buffer,其中第 (6) 步按照 name 快速排序,可能在内存中完成,也可能需要外部排序,取决于参数 sort_buffer_size 的大小。

6.rowid 排序流程

       如果查询要返回的字段很多的话,那么 sort_buffer 里面要放的字段数太多,这样内存里能够同时放下的行数很少,要分成很多个临时文件,排序的性能会很差,先设置一个参数,可以让 MySQL 采用 rowid 的方式来排序:

SET max_length_for_sort_data = 16;

Tips:max_length_for_sort_data 表示用于排序的行数据的长度的参数,表示如果单行的长度超过这个值,MySQL 就认为单行太大,要换一个排序算法,city、name、age 这三个字段的定义总长度是 36,比 16 大。

rowid 排序流程如下:

  • (1)初始化 sort_buffer,确定放入两个字段,即 nameid
  • (2) 从二级索引树 city 上找到第一个满足 city='武汉' 条件的主键 id
  • (3)然后到主键索引树上通过 id 取出整行,取 name、id 这两个字段,存入 sort_buffer
  • (4)从二级索引树 city 取下一个记录的主键 id
  • (5)重复步骤 (3)、(4) 直到 city 的值不满足查询条件为止
  • (6)sort_buffer 中的数据按照字段 name 排序
  • (7)遍历排序结果,取前 1000 行,并按照 id 的值回到原表中取出 city、nameage 三个字段返回给客户端

Tips:相比于全字段排序,rowid 排序多了一次回表

7.优化建议

  • 上述排序是按照 name 字段进行排序的,如果 name 字段本来就是有序的,那么在排序查询就不需要使用排序这个步骤,因此可以建立 city、name 联合索引:
ALTER TABLE `t` DROP INDEX `city`,ADD INDEX `city_user`(`city`, `name`) USING BTREE;
  • explain 分析如下:
explain select city,name,age from t where city='武汉' order by name limit 1000;

Tips:此时 Extra 中没有 Using filesort 了,因此不需要排序了。

  • 由于最后返回字段总共包含 citynameage 三个字段,为了减少回表次数,可以在上面基础上,直接建立 citynameage 联合索引:
ALTER TABLE `t` DROP INDEX `city_user`,
ADD INDEX `city_user_age`(`city`, `name`, `age`) USING BTREE;
相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
6天前
|
SQL 关系型数据库 MySQL
Mysql 的binlog日志的原理【4月更文挑战第1天】
【4月更文挑战第1天】 MySQL的binlog(二进制日志)是一个记录数据库更改的日志文件,它主要用于复制和恢复操作。以下是binlog日志的工作原理的简要概述: **事件写入**:当MySQL服务器执行一个事务时,它会将该事务中所有对数据库的修改操作(如INSERT、UPDATE和DELETE等)记录为一个事件(event)。这些事件包含了修改操作的相关信息,如操作类型、涉及的表、修改的行等。
|
6天前
|
SQL 关系型数据库 MySQL
MySQL中主从复制的原理和配置命令
要原因包括提高性能、实现高可用性、数据备份和灾难恢复。了解两大线程( I/O 和 SQL)I/O线程:目的:I/O线程主要负责与MySQL服务器之外的其他MySQL服务器进行通信,以便复制(replication)数据。 功能: 当一个MySQL服务器作为主服务器(master)时,I/O线程会将变更日志(binary log)中的事件传输给从服务器(slave)。从服务器上的I/O线程负责接收主服务器的二进制日志,并将这些事件写入本地的中继日志(relay log)。 配置: 在MySQL配置文件中,你可以通过配置参数如和来启用二进制日志和指定服务器ID。log-bin server
MySQL中主从复制的原理和配置命令
|
6天前
|
存储 SQL 关系型数据库
【MySQL】主从同步原理、分库分表
【MySQL】主从同步原理、分库分表
13 0
|
6天前
|
存储 算法 关系型数据库
MySQL连接的原理⭐️4种优化连接的手段性能提升240%🚀
MySQL连接的原理⭐️4种优化连接的手段性能提升240%🚀
|
6天前
|
SQL 存储 关系型数据库
MySQL查询原理,看这一篇就够了!
MySQL查询原理,看这一篇就够了!
|
6天前
|
存储 关系型数据库 MySQL
MySQL 8 索引原理详细分析
了解索引的详细原则,不仅有助于优化,能把索引搞清楚的,面试中优势也会很突显。 关于数据库优化的话题,V哥觉得还有很多地方可以聊,如果你有兴趣,欢迎关注一起讨论。
MySQL 8 索引原理详细分析
|
6天前
|
关系型数据库 MySQL Linux
【mysql】MySql主从复制,从原理到实践!
【mysql】MySql主从复制,从原理到实践!
33 0
|
4天前
|
关系型数据库 MySQL API
实时计算 Flink版产品使用合集之可以通过mysql-cdc动态监听MySQL数据库的数据变动吗
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
79 0
|
6天前
|
关系型数据库 MySQL 数据库
docker MySQL删除数据库时的错误(errno: 39)
docker MySQL删除数据库时的错误(errno: 39)
60 0
|
6天前
|
Java 关系型数据库 MySQL
【MySQL × SpringBoot 突发奇想】全面实现流程 · xlsx文件,Excel表格导入数据库的接口(下)
【MySQL × SpringBoot 突发奇想】全面实现流程 · xlsx文件,Excel表格导入数据库的接口
44 0