MySQL查询原理,看这一篇就够了!

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: MySQL查询原理,看这一篇就够了!

查询原理篇

上篇文章MySQL索引篇熟悉了MySQL的索引,这篇文章来熟悉查询相关的原理

连接原理

selecte * from t1,t2 where t1.m1 > 1 and t1.m1 = t2.m2 and t2.n2 < 'd'

image.png

先在驱动表t1上使用二级索引或者聚簇索引根据t1.m1 > 1寻找符合的记录(如图中2号位置),再根据这条记录 t1.m1 = 2 去匹配另一个查询条件 2 = t2.m2 ,然后再匹配其他查询条件再被驱动表t2上查找,找到还可能需要回表查询所有记录,然后再从驱动表上寻找下一条记录

访问一次驱动表,根据驱动表的结果集来访问多次被驱动表

因此驱动表结果集越小访问被驱动表的次数就越少,因此最好小表驱动大表

这种嵌套循环连接的方式时间复杂度是指数级别的,如果联多个表时间开销会指数级增长

由于访问多次被驱动表,在联表查询时可以适当的在被驱动表上建立索引来加快连接

联表查询中使用索引的情况下,可能索引列不满足查询列表,因此会回表,这种情况下回表会产生随机IO,innodb会通过MRR缓冲排序主键值再回表,以此来避免随机IO

在嵌套循环连接且无法使用索引的情况下,时间开销会很大,innodb使用基于块的嵌套循环连接来优化:申请一块join buffer,将驱动表记录放在join buffer中,再访问被驱动表时就能够用join buffer中的记录与被驱动表记录对比,join buffer够大的情况下,完全可以只访问一次被驱动表

join buffer中存储查询列表和搜索条件,因此查询列表不要用*,在无法使用索引的情况下也可以适当增大join buffer

查询优化

优化器会对SQL的查询条件进行优化,比如移除永远为true或false的表达式、移除一些不必要的括号等

查询排序

在使用order by、group by的情况下会对某个列进行排序,如果这个列是索引列,那么使用该索引查询时,它天然就是有序的;但如果这个列不是索引列,则可能先使用二级索引或者聚簇索引查出结果集,在将这些结果放在sort buffer中对要排序的列进行排序。

对于内存充足,查询量不大的情况下使用全字段排序,sort buffer中存在完整的记录,再对需要排序的列排序后直接返回(图中对name排序,先使用city二级索引查询再排序)

image.png

对于内存不足,查询量大的情况下使用rowid排序,sort buffer中只存需要排序的列和主键值,排序好后再通过回表的方式获取完整记录

image.png

外连接消除

外连接与内连接的区别就是内连接的驱动表与被驱动表可以由优化器来选择最优的结果,而外连接由编写SQL来指定

外连接使用on来针对驱动表记录没在被驱动表中匹配时将被驱动表中的值填充为NULL加入结果集,因此只要在where条件中隐式的指定被驱动表其他列不能为NULL,就不能加入结果集,这样就能够消除外连接与内连接区别,从而让优化器来选择最优的驱动表与被驱动表

in子查询半连接优化

in 子查询半连接优化:在一定条件下会将子查询物化成一个临时表(数据量小在内存中使用哈希索引;数据量大在磁盘中使用B+树索引),由临时表与外部查询的表进行内连接,并通过一些措施防止取重复值(唯一索引保证不重复、去重等)

总结

驱动表访问一次,被驱动表访问多次,适当为被驱动表建立索引;不使用索引加快的情况下,会使用join buffer,适当增大join buffer;不要在查询列表中使用*,可能导致不使用覆盖索引、占用join buffer空间等

查询中使用order by或group by时会排序,尽量为要排序的列建立索引,否则还要使用临时表sort buffer去排序;数据量小时使用全字段排序,数据量大的情况下使用rowid排序,排序完还要进行回表查询完整记录

联表查询使用外连接时,如果能够隐式的让被驱动表其他列不为null就可以触发外连接消除,由优化器来选择最优驱动表与被驱动表

in子查询使用半连接优化,一定条件下将子查询物化为临时表,根据防重复措施来与外部查询进行内连接


相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
22天前
|
缓存 关系型数据库 MySQL
MySQL索引策略与查询性能调优实战
在实际应用中,需要根据具体的业务需求和查询模式,综合运用索引策略和查询性能调优方法,不断地测试和优化,以提高MySQL数据库的查询性能。
|
2月前
|
存储 关系型数据库 MySQL
MySQL主从复制原理和使用
本文介绍了MySQL主从复制的基本概念、原理及其实现方法,详细讲解了一主两从的架构设计,以及三种常见的复制模式(全同步、异步、半同步)的特点与适用场景。此外,文章还提供了Spring Boot环境下配置主从复制的具体代码示例,包括数据源配置、上下文切换、路由实现及切面编程等内容,帮助读者理解如何在实际项目中实现数据库的读写分离。
MySQL主从复制原理和使用
|
29天前
|
SQL 前端开发 关系型数据库
SpringBoot使用mysql查询昨天、今天、过去一周、过去半年、过去一年数据
SpringBoot使用mysql查询昨天、今天、过去一周、过去半年、过去一年数据
53 9
|
1月前
|
缓存 监控 关系型数据库
如何优化MySQL查询速度?
如何优化MySQL查询速度?【10月更文挑战第31天】
70 3
|
1月前
|
SQL NoSQL 关系型数据库
2024Mysql And Redis基础与进阶操作系列(5)作者——LJS[含MySQL DQL基本查询:select;简单、排序、分组、聚合、分组、分页等详解步骤及常见报错问题所对应的解决方法]
MySQL DQL基本查询:select;简单、排序、分组、聚合、分组、分页、INSERT INTO SELECT / FROM查询结合精例等详解步骤及常见报错问题所对应的解决方法
|
1月前
|
监控 关系型数据库 MySQL
数据库优化:MySQL索引策略与查询性能调优实战
【10月更文挑战第27天】本文深入探讨了MySQL的索引策略和查询性能调优技巧。通过介绍B-Tree索引、哈希索引和全文索引等不同类型,以及如何创建和维护索引,结合实战案例分析查询执行计划,帮助读者掌握提升查询性能的方法。定期优化索引和调整查询语句是提高数据库性能的关键。
191 1
|
2月前
|
SQL Java 关系型数据库
java连接mysql查询数据(基础版,无框架)
【10月更文挑战第12天】该示例展示了如何使用Java通过JDBC连接MySQL数据库并查询数据。首先在项目中引入`mysql-connector-java`依赖,然后通过`JdbcUtil`类中的`main`方法实现数据库连接、执行SQL查询及结果处理,最后关闭相关资源。
|
1月前
|
SQL 关系型数据库 MySQL
定时任务频繁插入数据导致锁表问题 -> 查询mysql进程
定时任务频繁插入数据导致锁表问题 -> 查询mysql进程
47 1
|
2月前
|
SQL 关系型数据库 MySQL
Mysql中搭建主从复制原理和配置
主从复制在数据库管理中广泛应用,主要优点包括提高性能、实现高可用性、数据备份及灾难恢复。通过读写分离、从服务器接管、实时备份和地理分布等机制,有效增强系统的稳定性和数据安全性。主从复制涉及I/O线程和SQL线程,前者负责日志传输,后者负责日志应用,确保数据同步。配置过程中需开启二进制日志、设置唯一服务器ID,并创建复制用户,通过CHANGE MASTER TO命令配置从服务器连接主服务器,实现数据同步。实验部分展示了如何在两台CentOS 7服务器上配置MySQL 5.7主从复制,包括关闭防火墙、配置静态IP、设置域名解析、配置主从服务器、启动复制及验证同步效果。
Mysql中搭建主从复制原理和配置
|
1月前
|
监控 关系型数据库 MySQL
数据库优化:MySQL索引策略与查询性能调优实战
【10月更文挑战第26天】数据库作为现代应用系统的核心组件,其性能优化至关重要。本文主要探讨MySQL的索引策略与查询性能调优。通过合理创建索引(如B-Tree、复合索引)和优化查询语句(如使用EXPLAIN、优化分页查询),可以显著提升数据库的响应速度和稳定性。实践中还需定期审查慢查询日志,持续优化性能。
78 0