Mysql专栏 - mysql索引(一)

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
云数据库 RDS PostgreSQL,高可用系列 2核4GB
简介: Mysql专栏 - mysql索引(一)

前言


本文为mysql专栏系统索引的第一个小节的文章,索引包含的内容却是不少, 为了让这些知识点不过分的堆积在一起,这里会将本文拆分为多个小节,并且后续的内容会逐渐加深,本文更多是为索引的深入理解进行概念性的讲述,包含索引的基础结构页目录和数据页的关联,以及索引如何根据页目录扩展主键目录,以及后续的索引页的设计介绍进行前置内容的讲解。


概述


  1. 索引页的基础结构:数据页和页目录的介绍,介绍关于页分裂的细节,他是mysql维护索引的一项重要特性,直接影响索引的查询效率。
  2. 关于全表扫描的基础步骤理解,以及主键查询原理简单介绍,后续会做更加详细的介绍。
  3. 关于索引的概览:主键索引和BTree索引的基础设计介绍。


索引的基础结构



数据页


之前介绍过数据页的基本逻辑结构,在了解索引之前,我们先来了解索引的物理结构,首先我们需要知道在磁盘上大致如何存储:

在磁盘文件的结构:数据页的每一行其实是一个二进制的特殊格式,每一个数据页包含指针,一个指向上一个数据页,一个指向下一个数据页,也就是说数据页是用双向链表进行串联的。总而言之,数据页是多个链表进行串联的,那么按照推理数据行其实也是链表的方式进行存储的,不过使用的是单向的链表,并且数据行是按照主键从小到大进行排序的。


页目录


了解数据行的结构之后,接着就是和索引有关的结构,这个结构叫做页目录,为了维护数据页,每一个数据页的头部会包含页目录,根据数据行的主键进行存放,数据行同时被分散到不同的槽位上去。可以说页目录是一个从小到大排序的一个动态数组,里面存放的是键值对内容,键就是主键,值就是对应的数据页的数据行。

针对上面数据页和页目录,我们来看下整个页目录和数据页的的基础结构:


网络异常,图片无法展示
|


页分裂


既然提到了页目录和数据页的结构,下面需要介绍一个和索引有关的重要特性:页分裂。页分裂说的是在传统的物理存储结构上,数据页之间都是使用双向链表进行串联的,数据页内的数据行是单向链表的形式进行串联,比如像上面这样,此时如何我们新插入一条数据,会把数据按照链表的形式串联起来,并且如果主键是自增的情况下,他会按照主键自增的顺序进行链接。


**上面的情况在主键自增的情况下通常没有什么问题。**但是如果你的主键不是自增的,比如现在你插入12,下一次你插入8,就会出现问题了,此时就会很页分裂,关于页分裂的内容,可以看下面的格式:


什么是页分裂?

简单来讲,在一个多链表链接的多个数据页里面,页分裂会把一个主键较大的值挪动到新的的数据页,而新插入的主键较小的值会挪动到之前的数据页

1. 比如如果我们不按照自增的方式增长主键,就会出现下面的方式。


网络异常,图片无法展示
|


  1. 接着,根据页目录的维护规则,需要对于数据也进行挪移的动作,其实挪移的规则很简单:把主键更大的值挪到更新的数据页,把更小的值挪到一起


网络异常,图片无法展示
|


页分裂对于mysql的索引有哪些影响?

页分裂的行为会影响mysql的索引,可能会出现mysql找不到数据所在的页出现全表扫描


全表扫描



了解了数据页和页目录的基础结构之后,我们来看下全表扫描是如何处理的,全表扫描其实是数据页不断加载到缓冲区的过程,这个过程在之前的文章有过介绍这里不做过多赘述,在没有索引的情况下,数据页加载到缓冲区只能按照数据页的链表一个个访问,比如说加载第一个数据页没有找到数据,就加载第二个,没有第二个就加载第三个,以此类推,最后找到我们想要的数据为止,如果数据页十分多但是需要的数据零散的分布在多数的数据页上,这样的查找效率是非常低的。

最后我们针对索引做一个简单的介绍,这就好比你去图书馆找书,你要把所有的货架都扫完了才能找到你要的书,这样未免就太慢了,页目录就好像一个小册子,标记那一个货架有你要的书,然后找到对应的货架去扫描就行了。。

为了加快这个查找速度,我们最先想到的是主键查询的方式:


主键查询的原理


其实知道了页目录之后,我们就知道主键是如何查找的,主键是按照从小到大的顺序排序的,查找主键其实就是二分查找的方式按照页目录的排序进行查找找到对应的主键,然后取出对应的的槽位并且找到对应的数据页进行扫描,而数据页之间也是链表查找,找到数据页之后找到对应的数据行就行。这就是主键查询的大致思路。


索引介绍



主键索引


什么是主键索引?之前的页分裂我们了解了数据页会在主键上把主键的内容进行排序。而主键索引实际上就是针对主键制作一个主键目录,把每个数据页的页号,数据页最小的主键值放大一起,组成一个索引,这样通过找到最小的主键号就可以快速的找到对应的数据页和数据行了。

主键索引的结构图如下:


网络异常,图片无法展示
|


BTree索引(重点)



索引页的设计形式


接下来就是本文的重点也是mysql重要的btree索引,在具体的了解之前,我们需要了解一下他的索引设计结构,也就是索引页

什么是索引页?大家可以思考一下,如果把索引页和数据页分开成为单独的结构,其实是十分不方便的,这样增大了磁盘扫描和数据加载到内存的开销,并且数据页太多了之后存储页十分不方便,所以其实索引也是被设计为“数据页”的,只不过存储的内容和一般的数据页不一样,存储的是每个数据页的最小主键。这里为了更好的理解,我们从逻辑上把他们拆分为两种表现形式,下面我们用结构图来表示索引页的设计形式:


网络异常,图片无法展示
|


但是遇到一个问题,如果把索引页全都是平级的关系,会不知道找到哪一个索引页,所以在索引页存在上下级的关系,接下来我们又可以把索引页多加一个层级出来,在更高的索引层级里,保存了每个索引页的索引页的号码和索引页里的最小主键值


网络异常,图片无法展示
|


我们假设索引页如上面的设计,首先索引要先从35找到索引页1,然后使用索引页1的二分查找定位到目标的索引页,找到比如在数据页8里面有数据,然后找到数据页8的数据行进行扫描,找到最后的数据。因为在存储的过程中不断的分裂出一个层级,可以发现这种派生的方式其实就是组成一个bTree 的树。

以上就是关于BTree索引的大致设计概览,当然实际的细节远远没有上面说的简单,但是上面的内容可以基本了解关于索引的设计规则。


总结


这一节更像是对于mysql索引的底层入门介绍,但是内容并不算十分复杂。


写在最后


mysql的索引第一篇,关于索引更多的内容将会在后续的小节继续深入。

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
相关文章
|
机器学习/深度学习 编解码 计算机视觉
一文读懂深度学习中的各种卷积 !!
一文读懂深度学习中的各种卷积 !!
486 0
|
缓存 API 流计算
Flink--7、窗口(窗口的概念、分类、API、分配器、窗口函数)、触发器、移除器
Flink--7、窗口(窗口的概念、分类、API、分配器、窗口函数)、触发器、移除器
|
弹性计算 运维 架构师
阿里云推出“百炼计划”训练营,“训战结合”精准提升伙伴能力
阿里云组织的首场面向合作伙伴的“百炼计划”训练营在山东省圆满收官。
|
Java Spring 容器
Spring的AOP失效场景详解
Spring的AOP失效场景详解
1733 0
|
IDE Java 测试技术
IDEA安装并使用通义灵码
本文介绍了“通义灵码”这一智能编码助手的功能特点,并提供了在IDEA中安装和使用的详细步骤,旨在帮助提升编程效率和代码质量。
IDEA安装并使用通义灵码
|
人工智能 自然语言处理 算法
GPT-4无师自通预测蛋白质结构登Nature子刊!LLM全面进军生物学,AlphaFold被偷家?
【9月更文挑战第17天】近日,《自然》子刊发表的一篇论文展示了GPT-4在预测蛋白质结构方面的惊人能力,这一突破不仅揭示了大型语言模型在生物学领域的巨大潜力,还可能影响传统预测工具如AlphaFold的地位。研究人员发现,GPT-4仅通过自然语言处理就能准确预测蛋白质的三维结构,包括常见的氨基酸序列和复杂的α-螺旋结构。实验结果显示,其预测精度与实际结构非常接近。这一成果意味着自然语言处理技术也可应用于生物学研究,但同时也引发了关于其局限性和对现有工具影响的讨论。论文详情见:https://www.nature.com/articles/s41598-024-69021-2
281 8
|
机器学习/深度学习 自然语言处理 开发者
大语言模型应用框架介绍
大型语言模型(LLM)是在大规模文本数据上训练而成,用于执行自然语言处理任务的深度学习模型,如文本分类、问答、总结和生成等。尽管LLM如ChatGPT、GPT-3、LaMDA等备受关注,但其泛化能力和特定任务优化方面仍有限制。为此,应用框架如LangChain应运而生,提供了更优化的解决方案。学习LLM应用框架可循序渐进,掌握其应用场景及常见框架,构建具体应用。
|
存储 传感器 物联网
|
JSON JavaScript 前端开发
Vue项目使用Cookie,以Json格式存入与读取Cookie,设置过期时间以及删除操作
这篇文章介绍了在Vue项目中如何使用JavaScript操作Cookie,包括设置、读取、设置过期时间以及删除Cookie的方法。
743 0
|
安全 网络安全 数据安全/隐私保护
什么是双因素身份验证 (2FA)?
【4月更文挑战第14天】
2299 2