MySQL学习笔记-order by工作原理

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 RDS MySQL,高可用系列 2核4GB
简介: MySQL学习笔记-order by工作原理

1.表结构

CREATE TABLE `t` (
  `id` int unsigned NOT NULL AUTO_INCREMENT,
  `city` varchar(16) NOT NULL,
  `name` varchar(16) NOT NULL DEFAULT '',
  `age` int unsigned NOT NULL DEFAULT '0',
  `addr` varchar(128) NOT NULL DEFAULT '',
  PRIMARY KEY (`id`),
  KEY `city` (`city`) USING BTREE
) ENGINE=InnoDB;

2.插入实验数据

delimiter;
create procedure idata()
begin
  declare i int;
  set i=1;
  while(i<=20000)do
      if i<=15000 then
            insert into t values(i,SUBSTRING("杭州杭州杭州杭州杭州",1,RAND()*10), SUBSTRING("爱因诗贤爱因诗贤爱因诗贤",1,RAND()*10), RAND()*100,SUBSTRING("地址地址地址地址地址",1,RAND()*10));
        else
            insert into t values(i,"武汉", SUBSTRING("爱因诗贤爱因诗贤爱因诗贤",1,RAND()*10), RAND()*100,SUBSTRING("地址地址地址地址地址",1,RAND()*10));
        end if;
    set i=i+1;
  end while;
end;
delimiter ;
call idata();

Tips:使用存储过程插了 20000 条数据,其中插入了 5000city='武汉' 的数据。

3.执行排序查询

select city,name,age from t where city='武汉' order by name limit 1000;

执行结果如下图:

4.explain 分析

explain select city,name,age from t where city='武汉' order by name limit 1000;

Tips:可以看到扫描行数 rows=5000 行,Extra 中的 Using filesort 表示需要排序

5.全字段排序流程

       若查询要返回的字段很少,每行要返回的结果集数据比较小,内存中能同时存放的行数比较多,全字段排序流程如下:

  • (1)初始化 sort_buffer,确定放入 name、city、age 这三个字段
  • (2) 从二级索引树 city 上找到第一个满足 city='武汉' 条件的主键 id
  • (3)然后到主键索引树上通过 id 取出整行,取 name、city、age 三个字段的值,存入 sort_buffer
  • (4)从二级索引树 city 取下一个记录的主键 id
  • (5)重复步骤 (3)、(4) 直到 city 的值不满足查询条件为止
  • (6)sort_buffer 中的数据按照字段 name快速排序
  • (7)按照排序结果取前 1000 行返回给客户端

Tips:MySQL 会给每个线程分配一块内存用于排序,称为 sort_buffer,其中第 (6) 步按照 name 快速排序,可能在内存中完成,也可能需要外部排序,取决于参数 sort_buffer_size 的大小。

6.rowid 排序流程

       如果查询要返回的字段很多的话,那么 sort_buffer 里面要放的字段数太多,这样内存里能够同时放下的行数很少,要分成很多个临时文件,排序的性能会很差,先设置一个参数,可以让 MySQL 采用 rowid 的方式来排序:

SET max_length_for_sort_data = 16;

Tips:max_length_for_sort_data 表示用于排序的行数据的长度的参数,表示如果单行的长度超过这个值,MySQL 就认为单行太大,要换一个排序算法,city、name、age 这三个字段的定义总长度是 36,比 16 大。

rowid 排序流程如下:

  • (1)初始化 sort_buffer,确定放入两个字段,即 nameid
  • (2) 从二级索引树 city 上找到第一个满足 city='武汉' 条件的主键 id
  • (3)然后到主键索引树上通过 id 取出整行,取 name、id 这两个字段,存入 sort_buffer
  • (4)从二级索引树 city 取下一个记录的主键 id
  • (5)重复步骤 (3)、(4) 直到 city 的值不满足查询条件为止
  • (6)sort_buffer 中的数据按照字段 name 排序
  • (7)遍历排序结果,取前 1000 行,并按照 id 的值回到原表中取出 city、nameage 三个字段返回给客户端

Tips:相比于全字段排序,rowid 排序多了一次回表

7.优化建议

  • 上述排序是按照 name 字段进行排序的,如果 name 字段本来就是有序的,那么在排序查询就不需要使用排序这个步骤,因此可以建立 city、name 联合索引:
ALTER TABLE `t` DROP INDEX `city`,ADD INDEX `city_user`(`city`, `name`) USING BTREE;
  • explain 分析如下:
explain select city,name,age from t where city='武汉' order by name limit 1000;

Tips:此时 Extra 中没有 Using filesort 了,因此不需要排序了。

  • 由于最后返回字段总共包含 citynameage 三个字段,为了减少回表次数,可以在上面基础上,直接建立 citynameage 联合索引:
ALTER TABLE `t` DROP INDEX `city_user`,
ADD INDEX `city_user_age`(`city`, `name`, `age`) USING BTREE;
相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
1月前
|
存储 SQL 关系型数据库
Mysql学习笔记(二):数据库命令行代码总结
这篇文章是关于MySQL数据库命令行操作的总结,包括登录、退出、查看时间与版本、数据库和数据表的基本操作(如创建、删除、查看)、数据的增删改查等。它还涉及了如何通过SQL语句进行条件查询、模糊查询、范围查询和限制查询,以及如何进行表结构的修改。这些内容对于初学者来说非常实用,是学习MySQL数据库管理的基础。
124 6
|
22天前
|
存储 关系型数据库 MySQL
MySQL主从复制原理和使用
本文介绍了MySQL主从复制的基本概念、原理及其实现方法,详细讲解了一主两从的架构设计,以及三种常见的复制模式(全同步、异步、半同步)的特点与适用场景。此外,文章还提供了Spring Boot环境下配置主从复制的具体代码示例,包括数据源配置、上下文切换、路由实现及切面编程等内容,帮助读者理解如何在实际项目中实现数据库的读写分离。
MySQL主从复制原理和使用
|
1月前
|
SQL 关系型数据库 MySQL
Mysql学习笔记(三):fetchone(), fetchmany(), fetchall()详细总结
MySQL中用于数据检索的`fetchone()`, `fetchmany()`, `fetchall()`函数的功能、SQL语句示例和应用场景。
52 3
Mysql学习笔记(三):fetchone(), fetchmany(), fetchall()详细总结
|
1月前
|
SQL Ubuntu 关系型数据库
Mysql学习笔记(一):数据库详细介绍以及Navicat简单使用
本文为MySQL学习笔记,介绍了数据库的基本概念,包括行、列、主键等,并解释了C/S和B/S架构以及SQL语言的分类。接着,指导如何在Windows和Ubuntu系统上安装MySQL,并提供了启动、停止和重启服务的命令。文章还涵盖了Navicat的使用,包括安装、登录和新建表格等步骤。最后,介绍了MySQL中的数据类型和字段约束,如主键、外键、非空和唯一等。
69 3
Mysql学习笔记(一):数据库详细介绍以及Navicat简单使用
|
1月前
|
缓存 算法 关系型数据库
Mysql(3)—数据库相关概念及工作原理
数据库是一个以某种有组织的方式存储的数据集合。它通常包括一个或多个不同的主题领域或用途的数据表。
50 5
Mysql(3)—数据库相关概念及工作原理
|
1月前
|
存储 缓存 关系型数据库
MySQL事务日志-Redo Log工作原理分析
事务的隔离性和原子性分别通过锁和事务日志实现,而持久性则依赖于事务日志中的`Redo Log`。在MySQL中,`Redo Log`确保已提交事务的数据能持久保存,即使系统崩溃也能通过重做日志恢复数据。其工作原理是记录数据在内存中的更改,待事务提交时写入磁盘。此外,`Redo Log`采用简单的物理日志格式和高效的顺序IO,确保快速提交。通过不同的落盘策略,可在性能和安全性之间做出权衡。
1625 14
|
22天前
|
SQL 关系型数据库 MySQL
Mysql中搭建主从复制原理和配置
主从复制在数据库管理中广泛应用,主要优点包括提高性能、实现高可用性、数据备份及灾难恢复。通过读写分离、从服务器接管、实时备份和地理分布等机制,有效增强系统的稳定性和数据安全性。主从复制涉及I/O线程和SQL线程,前者负责日志传输,后者负责日志应用,确保数据同步。配置过程中需开启二进制日志、设置唯一服务器ID,并创建复制用户,通过CHANGE MASTER TO命令配置从服务器连接主服务器,实现数据同步。实验部分展示了如何在两台CentOS 7服务器上配置MySQL 5.7主从复制,包括关闭防火墙、配置静态IP、设置域名解析、配置主从服务器、启动复制及验证同步效果。
Mysql中搭建主从复制原理和配置
|
30天前
|
SQL 关系型数据库 MySQL
阿里面试:MYSQL 事务ACID,底层原理是什么? 具体是如何实现的?
尼恩,一位40岁的资深架构师,通过其丰富的经验和深厚的技術功底,为众多读者提供了宝贵的面试指导和技术分享。在他的读者交流群中,许多小伙伴获得了来自一线互联网企业的面试机会,并成功应对了诸如事务ACID特性实现、MVCC等相关面试题。尼恩特别整理了这些常见面试题的系统化解答,形成了《MVCC 学习圣经:一次穿透MYSQL MVCC》PDF文档,旨在帮助大家在面试中展示出扎实的技术功底,提高面试成功率。此外,他还编写了《尼恩Java面试宝典》等资料,涵盖了大量面试题和答案,帮助读者全面提升技术面试的表现。这些资料不仅内容详实,而且持续更新,是求职者备战技术面试的宝贵资源。
阿里面试:MYSQL 事务ACID,底层原理是什么? 具体是如何实现的?
|
1月前
|
关系型数据库 MySQL 数据库
Mysql学习笔记(四):Python与Mysql交互--实现增删改查
如何使用Python与MySQL数据库进行交互,实现增删改查等基本操作的教程。
61 1
|
1月前
|
存储 SQL 关系型数据库
mysql中主键索引和联合索引的原理与区别
本文详细介绍了MySQL中的主键索引和联合索引原理及其区别。主键索引按主键值排序,叶节点仅存储数据区,而索引页则存储索引和指向数据域的指针。联合索引由多个字段组成,遵循最左前缀原则,可提高查询效率。文章还探讨了索引扫描原理、索引失效情况及设计原则,并对比了InnoDB与MyISAM存储引擎中聚簇索引和非聚簇索引的特点。对于优化MySQL性能具有参考价值。