从0开始回顾MySQL---系列三

本文涉及的产品
RDS MySQL DuckDB 分析主实例,集群系列 4核8GB
RDS MySQL DuckDB 分析主实例,基础系列 4核8GB
RDS AI 助手,专业版
简介: 索引1、没有索引如何查找数据?在一个页中的查找,分为两种情况: 以主键为搜索条件可以在 页目录 中使用二分法快速定位到对应的槽,然后再遍历该槽对应 分组中的记录即可快速找到指定的记录。以其他列作为搜索条件 对非主键列的查找的过程可就不这么幸运了,因为在数据页中并没有对非主键列建立所谓的 页目录 ,所以 我们无法通过二分法快速定位相应的 槽 。这种情况下只能从 最小记录 开始依次遍历单链表中的每条记录, 然后对比每条记录是不是符合搜索条件。很显然,这种查找的效率是非常低的。在很多页中的查找,可以分为两个步骤: 定位到记录所在的页。 从所在的页内中查找相应的记录。在没有索引的情

索引

1、没有索引如何查找数据?


在一个页中的查找,分为两种情况:

  1. 以主键为搜索条件

可以在 页目录 中使用二分法快速定位到对应的槽,然后再遍历该槽对应 分组中的记录即可快速找到指定的记录。

  1. 以其他列作为搜索条件

对非主键列的查找的过程可就不这么幸运了,因为在数据页中并没有对非主键列建立所谓的 页目录 ,所以 我们无法通过二分法快速定位相应的 。这种情况下只能从 最小记录 开始依次遍历单链表中的每条记录, 然后对比每条记录是不是符合搜索条件。很显然,这种查找的效率是非常低的。

在很多页中的查找,可以分为两个步骤

  1. 定位到记录所在的页。
  2. 从所在的页内中查找相应的记录。

在没有索引的情况下,不论是根据主键列或者其他列的值进行查找,由于我们并不能快速的定位到记录所在的页,所以只能从第一个页沿着双向链表一直往下找,在每一个页中根据我们刚刚唠叨过的查找方式去查找指定的记录。


2、索引是什么?


索引本质是排好序的数据结构,一种特殊的文件,包含着对数据表里所有记录的引用指针,直接在索引中查找符合条件的选项,加快数据库的查询速度,而不是一行一行去遍历数据后才选择出符合条件的。

优点

  • 可以大大加快数据的检索速度,这也是创建索引的最主要的原因。
  • 通过使用索引,可以在查询的过程中,使用优化隐藏器,提高系统的性能。

缺点

  • 索引是一个文件,它是要占据物理空间的。
  • 创建索引和维护索引要耗费时间,具体地,当对表中的数据进行增加、删除和修改的时候,索引也要动态的维护,会降低增/改/删的执行效率。

3、MySQL有哪几种索引类型?


  1. 从数据结构上来划分:哈希索引,B树索引,B+树索引。
  2. 从功能层次上来划分:普通索引,唯一索引,主键索引,联合索引。
  • 普通索引:即一个索引只包含单个列,一个表可以有多个单列索引。
  • 唯一索引:索引列的值必须唯一,但允许有空值。
  • 主键索引:一种特殊的唯一索引,不允许有空值,一般在建表时同时创建主键索引;
  • 联合索引:多列值组成一个索引,专门用于组合搜索。
  1. 从物理存贮上来划分:聚簇索引,非聚簇索引。

4、聚簇索引和非聚簇索引?


聚簇索引聚簇索引是按照每张表的主键构造一颗B+树,叶子节点中存放的就是整张表的数据,将聚簇索引的叶子节点称为数据页。

c1,c2,c3三列,我们以c1列建立索引,索引树如下图所示:

聚簇索引的特点

聚簇索引不需要我们显式去创建,InnoDB 存储引擎会自动的为我们创建聚簇索引并且在 InnoDB 存储引擎中, 聚簇索引 就是数据的存储方式(所有的用户记录都存储在了叶子节点 ),也就是所谓的索引即数据,数据即索引

聚簇索引的优点

  • 数据访问更快,聚簇索引将索引和数据保存在同一个 B+ 树中,因此从聚簇索引中获取数据比非聚簇索引更快;
  • 聚簇索引对于主键的排序查找和范围查找速度非常快。

聚簇索引的缺点

  • 插入速度严重依赖于插入顺序,按照主键的顺序(递增)插入是最快的方式,否则将会出现页分裂,严重影响性能。
  • 更新主键的代价很高,将会导致被更新的行移动,所以对于 InnoDB 表,一般定义主键为不可更新。
  • 聚簇索引只能在搜索条件是主键值时才能发挥作用,因为 B+ 树中的数据都是按照主键进行排序的。


非聚簇索引非聚簇索引叶子节点存储的是主键值,而不是数据的物理地址,所以访问数据需要二次查找,推荐使用覆盖索引,可以减少回表查询。

以c2列作为索引列,建立B+树:

非聚簇索引的特点:

  • B+ 树的叶子节点存储的并不是完整的用户记录,而只是 索引列+主键 这两个列的值。
  • 以索引列大小排序的 B+ 树只能确定我们要查找记录的主键值,所以如果我们想根据 c2 列的值查找到完整的用户记录的话,仍然需要到 聚簇索引 中再查一遍,这个过程也被称为 回表

非聚簇索引的优点

  • 非聚簇索引由于不存储实际数据,所以实际文件较小,相比于聚簇索引再读取时可以减少磁盘IO。
  • 非聚簇索引使用主键作为”指针” 而不是使用地址值作为指针的好处是,减少了当出现行移动或者数据页分裂时辅助索引的维护工作。

非聚簇索引的缺点

  • 需要进行回表查询,即查询到对应的聚簇索引之后再通过聚簇索引查询到所需数据。

5、索引底层实现(数据结构)?


  1. Hash索引
  • 哈希表是一种以键—值(key-value)存储数据的结构,我们只要输入待查找的值即 key,就可以找到其对应的值即 Value。哈希的思路很简单,把值放在数组里,用一个哈希函数把 key 换算成一个确定的位置,然后把 value 放在数组的这个位置。
  • 不可避免地,多个 key 值经过哈希函数的换算,会出现同一个值的情况。处理这种情况的一种方法是,拉出一个链表。
  • 哈希表这种结构适用于只有等值查询的场景比如 Memcached 及其他一些 NoSQL 引擎。
  1. B 树索引
  • B 树索引,又称平衡树索引B Tree能加快数据的访问速度,因为存储引擎不再需要进行全表扫描来获取数据,数据分布在各个节点之中
  • 一棵 m 阶 B Tree 的特性如下:
  • 每个结点最多 m 个子结点;
  • 所有的叶子结点都位于同一层;
  • 每个节点中的元素按关键字key从小到大排列
  • 每个元素子左结点的值都小于或等于该元素,右结点的值都大于或等于该元素。
  • 数据库以 B-Tree 的数据结构存储数据的图示如下:

  1. B+Tree索引
  • 是B-Tree的改进版本,同时也是数据库索引所采用的存储结构。数据都在叶子节点上,并且增加了顺序访问指针,每个叶子节点都指向相邻的叶子节点的地址。相比B-Tree来说,进行范围查找时只需要查找两个节点,进行遍历即可。而B-Tree需要获取所有节点,相比之下B+Tree效率更高。
  • B+tree性质:
  • n棵子树的节点包含n个关键字,不用来保存数据而是保存数据的索引。
  • 所有的非叶子结点只存储 关键字key信息,及指向含这些关键字记录的指针,且叶子结点本身依关键字的大小自小而大顺序链接;
  • 所有具体数据都存在叶子结点中;
  • 所有的叶子结点中包含了全部元素的信息;
  • 所有叶子节点之间都有一个链指针。
  • 数据库以 B+ Tree 的数据结构存储数据的图示如下:

6、为什么索引结构默认使用B+Tree,而不是B-Tree,Hash,二叉树,红黑树?


B+树与B树相比:

  • B+树的磁盘读写代价更低:B+树的非叶子节点不存贮数据,只存贮关键词key信息,进行数据索引,使每个非叶子节点所能保存的关键字大大增加。这样磁盘块所能容纳的关键字数量也越多,一次性读入内存的需要查找的关键字也就越多,相对IO读写次数就降低了
  • 更加适合区间查询:B树的数据分布在各个节点之中,当进行范围查找时会出现回旋查找。而B+树的数据都存储在叶子结点中,并且MySQL 索引数据结构对经典的 B+Tree 进行了优化,增加一个指向相邻叶子节点的链表指针,就形成了带有顺序指针的 B+Tree,提高了区间访问的性能,防止回旋查找

B+树与Hash相比:

  • Hash虽然可以快速定位,但是没有顺序,IO复杂度高。
  • Hash索引基于Hash表实现,只有Memory存储引擎显式支持哈希索引 。
  • Hash索引因为不是按照索引值顺序存储的,就不能像B+Tree索引一样利用索引完成排序。
  • 如果有大量重复键值得情况下,哈希索引的效率会很低,因为存在哈希碰撞问题 。

B+树与红黑树相比:

  • 红黑树的高度随着数据量增加而增加,IO代价高。

B+树与普通二叉树相比:

  • 树的高度不均匀,不能自平衡,查找效率跟数据有关(树的高度),并且IO代价高。
  • 普通二叉树存在退化的情况,如果它退化成链表,相当于全表扫描。

B+树与平衡二叉树相比:

  • 读取数据的时候,是从磁盘读到内存。如果树这种数据结构作为索引,那每查找⼀次数据就需要从磁盘中读取⼀个节点,也就是⼀个磁盘块,但是平衡二叉树的每个节点只存储⼀个键值和数据,的节点将会非常多,高度也会极其高。如果是 B+ 树,可以存储更多的节点数据,树的高度也会降低,因此读取磁盘的次数就降下来了,查询效率就会更快。

7、索引的B+树到底有多高?


InnoDB中页的大小一般为16 KB,我们假设一行记录的数据大小为1KB(实际上现在很多互联网业务数据记录大小通常就是1K左右)

  • 如果 B+ 树只有1层,也就是只有1个用于存放用户记录的节点,可以存放 16KB / 1KB = 16条数据记录
  • 如果 B+ 树有2层:
  • 我们假设主键ID为bigint类型,长度为8字节,而指针大小在InnoDB源码中设置为6字节,这样一共14字节,一个页中共可以存放 16 * 1024 / 14 = 1170个指针,因此可以存放 1170 * 16 = 18720条数据记录
  • 如果 B+ 树有3层:可以存放 1170 * 1170 * 16 =  21902400,大约2000w条数据记录

所以在InnoDB中B+树高度一般为1-3层,它就能满足千万级的数据存储。在查找数据时一次页的查找代表一次IO,所以通过主键索引查询通常只需要1-3次IO操作即可查找到数据。

与此同时,我们也可以发现索引的B+树高度也跟索引字段的数据类型有关数据类型越小,索引占用的存储空间就越少,在一个数据页内就可以放下更多的记录,从而减少磁盘 I/O 带来的性能损耗,也就意味着可以把更多的数据页缓存在内存中,从而加快读写效率。


8、索引的代价(索引是不是越多越好)?


  1. 空间上的代价
  • 每建立一个索引都要为它建立一棵 B+ 树,每一棵 B+ 树的每一个节点都是一个数据页, 一个页默认会占用 16KB 的存储空间,一棵很大的 B+ 树由许多数据页组成,就是很大的一片存储空间,在增删改记录的时候性能就越差。
  1. 时间上的代价
  • 每次对表中的数据进行增、删、改操作时,都需要去修改各个 B+ 树索引。而增、删、改操作可能会对节点和记录的排序造成破坏,所以存储引擎需要额外的时间进行一些记录移位,页面分裂、页面回收啥的操作来维护好节点和记录的排序。
相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
相关文章
|
9月前
|
人工智能 运维 安全
邀您参加丨云栖大会中企出海技术分论坛
【云栖大会中企出海技术分论坛专场】2025 年 9 月 25 日 上午 9:30-12:20 ,阿里云·云栖小镇 D2-2 馆丨“中企出海技术分论坛” 即将启幕!
426 70
|
4月前
|
存储 数据可视化 物联网
拒绝"炼丹"玄学:一文读懂 LoRA、P-Tuning 与全量微调的核心差异
本文通俗解析大模型微调核心方法:全量微调(效果好但显存昂贵、易遗忘)、LoRA(冻结原权重,低秩矩阵高效适配,适合注入领域知识)、P-Tuning(学习软提示,擅长安排风格与指令)。厘清术语差异,给出实战选型建议与关键参数调优要点,助开发者跨越入门门槛。
|
9月前
|
SQL 存储 关系型数据库
MySQL内存引擎:Memory存储引擎的适用场景
MySQL Memory存储引擎将数据存储在内存中,提供极速读写性能,适用于会话存储、临时数据处理、高速缓存和实时统计等场景。但其数据在服务器重启后会丢失,不适合持久化存储、大容量数据及高并发写入场景。本文深入解析其特性、原理、适用场景与限制,并提供性能优化技巧及替代方案比较,助你合理利用这一“内存闪电”。
|
6月前
|
XML 算法 安全
详解RAG五种分块策略,技术原理、优劣对比与场景选型之道
RAG通过检索与生成结合,提升大模型在企业场景中的准确性与可控性。分块策略是其核心,直接影响检索效率与回答质量。本文系统解析固定大小、语义、递归、基于结构和LLM的五种分块方法,对比优缺点及适用场景,并探讨RAG在知识关联、多模态理解等方面的前沿挑战与优化路径。
458 0
详解RAG五种分块策略,技术原理、优劣对比与场景选型之道
|
Go
一行代码处理字符串,Go语言链式调用技术深度指南
一行代码处理字符串,Go语言链式调用技术深度指南
713 0
|
Java C++
JVM之符号引用和直接引用
本文介绍了Java中直接引用和符号引用的概念及其区别。直接引用与虚拟机布局相关,包括指向目标的指针、相对偏移量或间接句柄,通常在目标已被加载到内存时使用。符号引用则涉及编译原理,包含类/接口全限定名、字段及方法的名称和描述符,在Class文件中保存,需在运行时解析为具体内存地址。文中还详细说明了描述符规则以及数组类型的表示方式,帮助理解Java虚拟机的动态链接过程。
402 2
|
SQL 存储 缓存
MySQL的架构与SQL语句执行过程
MySQL架构分为Server层和存储引擎层,具有高度灵活性和可扩展性。Server层包括连接器、查询缓存(MySQL 8.0已移除)、分析器、优化器和执行器,负责处理SQL语句;存储引擎层负责数据的存储和读取,常见引擎有InnoDB、MyISAM和Memory。SQL执行过程涉及连接、解析、优化、执行和结果返回等步骤,本文详细讲解了一条SQL语句的完整执行过程。
585 3
|
缓存 关系型数据库 MySQL
图解MySQL【日志】——Buffer Pool
Buffer Pool 是数据库管理系统(DBMS)中用于缓存磁盘数据页的内存区域,主要包含数据页、索引页、undo 页等。它通过减少磁盘 I/O 提升性能,特别是在处理大型数据库时效果显著。查询时,整个数据页而非单条记录会被加载到 Buffer Pool 中,以提高访问效率。
409 0
图解MySQL【日志】——Buffer Pool
|
SQL 存储 缓存
MySQL进阶突击系列(02)一条更新SQL执行过程 | 讲透undoLog、redoLog、binLog日志三宝
本文详细介绍了MySQL中update SQL执行过程涉及的undoLog、redoLog和binLog三种日志的作用及其工作原理,包括它们如何确保数据的一致性和完整性,以及在事务提交过程中各自的角色。同时,文章还探讨了这些日志在故障恢复中的重要性,强调了合理配置相关参数对于提高系统稳定性的必要性。
|
安全 Java
unsafe类和varhandle类讲解
本文介绍了Java中的Unsafe类和VarHandle类,展示了Unsafe类如何通过底层操作绕过Java的安全限制直接访问内存和对象,以及VarHandle类如何在Java 9及以上版本中提供原子性和可变性访问。
405 1
unsafe类和varhandle类讲解

热门文章

最新文章