前言
本文为mysql专栏系统索引的第一个小节的文章,索引包含的内容却是不少, 为了让这些知识点不过分的堆积在一起,这里会将本文拆分为多个小节,并且后续的内容会逐渐加深,本文更多是为索引的深入理解进行概念性的讲述,包含索引的基础结构页目录和数据页的关联,以及索引如何根据页目录扩展主键目录,以及后续的索引页的设计介绍进行前置内容的讲解。
概述
- 索引页的基础结构:数据页和页目录的介绍,介绍关于页分裂的细节,他是mysql维护索引的一项重要特性,直接影响索引的查询效率。
- 关于全表扫描的基础步骤理解,以及主键查询原理简单介绍,后续会做更加详细的介绍。
- 关于索引的概览:主键索引和BTree索引的基础设计介绍。
索引的基础结构
数据页
之前介绍过数据页的基本逻辑结构,在了解索引之前,我们先来了解索引的物理结构,首先我们需要知道在磁盘上大致如何存储:
在磁盘文件的结构:数据页的每一行其实是一个二进制的特殊格式,每一个数据页包含指针,一个指向上一个数据页,一个指向下一个数据页,也就是说数据页是用双向链表进行串联的。总而言之,数据页是多个链表进行串联的,那么按照推理数据行其实也是链表的方式进行存储的,不过使用的是单向的链表,并且数据行是按照主键从小到大进行排序的。
页目录
了解数据行的结构之后,接着就是和索引有关的结构,这个结构叫做页目录,为了维护数据页,每一个数据页的头部会包含页目录,根据数据行的主键进行存放,数据行同时被分散到不同的槽位上去。可以说页目录是一个从小到大排序的一个动态数组,里面存放的是键值对内容,键就是主键,值就是对应的数据页的数据行。
针对上面数据页和页目录,我们来看下整个页目录和数据页的的基础结构:
页分裂
既然提到了页目录和数据页的结构,下面需要介绍一个和索引有关的重要特性:页分裂。页分裂说的是在传统的物理存储结构上,数据页之间都是使用双向链表进行串联的,数据页内的数据行是单向链表的形式进行串联,比如像上面这样,此时如何我们新插入一条数据,会把数据按照链表的形式串联起来,并且如果主键是自增的情况下,他会按照主键自增的顺序进行链接。
**上面的情况在主键自增的情况下通常没有什么问题。**但是如果你的主键不是自增的,比如现在你插入12,下一次你插入8,就会出现问题了,此时就会很页分裂,关于页分裂的内容,可以看下面的格式:
什么是页分裂?
简单来讲,在一个多链表链接的多个数据页里面,页分裂会把一个主键较大的值挪动到新的的数据页,而新插入的主键较小的值会挪动到之前的数据页
1. 比如如果我们不按照自增的方式增长主键,就会出现下面的方式。
- 接着,根据页目录的维护规则,需要对于数据也进行挪移的动作,其实挪移的规则很简单:把主键更大的值挪到更新的数据页,把更小的值挪到一起。
页分裂对于mysql的索引有哪些影响?
页分裂的行为会影响mysql的索引,可能会出现mysql找不到数据所在的页出现全表扫描
全表扫描
了解了数据页和页目录的基础结构之后,我们来看下全表扫描是如何处理的,全表扫描其实是数据页不断加载到缓冲区的过程,这个过程在之前的文章有过介绍这里不做过多赘述,在没有索引的情况下,数据页加载到缓冲区只能按照数据页的链表一个个访问,比如说加载第一个数据页没有找到数据,就加载第二个,没有第二个就加载第三个,以此类推,最后找到我们想要的数据为止,如果数据页十分多但是需要的数据零散的分布在多数的数据页上,这样的查找效率是非常低的。
最后我们针对索引做一个简单的介绍,这就好比你去图书馆找书,你要把所有的货架都扫完了才能找到你要的书,这样未免就太慢了,页目录就好像一个小册子,标记那一个货架有你要的书,然后找到对应的货架去扫描就行了。。
为了加快这个查找速度,我们最先想到的是主键查询的方式:
主键查询的原理
其实知道了页目录之后,我们就知道主键是如何查找的,主键是按照从小到大的顺序排序的,查找主键其实就是二分查找的方式按照页目录的排序进行查找找到对应的主键,然后取出对应的的槽位并且找到对应的数据页进行扫描,而数据页之间也是链表查找,找到数据页之后找到对应的数据行就行。这就是主键查询的大致思路。
索引介绍
主键索引
什么是主键索引?之前的页分裂我们了解了数据页会在主键上把主键的内容进行排序。而主键索引实际上就是针对主键制作一个主键目录,把每个数据页的页号,数据页最小的主键值放大一起,组成一个索引,这样通过找到最小的主键号就可以快速的找到对应的数据页和数据行了。
主键索引的结构图如下:
BTree索引(重点)
索引页的设计形式
接下来就是本文的重点也是mysql重要的btree索引,在具体的了解之前,我们需要了解一下他的索引设计结构,也就是索引页。
什么是索引页?大家可以思考一下,如果把索引页和数据页分开成为单独的结构,其实是十分不方便的,这样增大了磁盘扫描和数据加载到内存的开销,并且数据页太多了之后存储页十分不方便,所以其实索引也是被设计为“数据页”的,只不过存储的内容和一般的数据页不一样,存储的是每个数据页的最小主键。这里为了更好的理解,我们从逻辑上把他们拆分为两种表现形式,下面我们用结构图来表示索引页的设计形式:
但是遇到一个问题,如果把索引页全都是平级的关系,会不知道找到哪一个索引页,所以在索引页存在上下级的关系,接下来我们又可以把索引页多加一个层级出来,在更高的索引层级里,保存了每个索引页的索引页的号码和索引页里的最小主键值:
我们假设索引页如上面的设计,首先索引要先从35找到索引页1,然后使用索引页1的二分查找定位到目标的索引页,找到比如在数据页8里面有数据,然后找到数据页8的数据行进行扫描,找到最后的数据。因为在存储的过程中不断的分裂出一个层级,可以发现这种派生的方式其实就是组成一个bTree 的树。
以上就是关于BTree索引的大致设计概览,当然实际的细节远远没有上面说的简单,但是上面的内容可以基本了解关于索引的设计规则。
总结
这一节更像是对于mysql索引的底层入门介绍,但是内容并不算十分复杂。
写在最后
mysql的索引第一篇,关于索引更多的内容将会在后续的小节继续深入。