聊聊性能,如何合理设置索引?

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 Tair(兼容Redis),内存型 2GB
简介: 【6月更文挑战第1天】本文介绍了数据库索引过多的索引会使更新表的速度变慢,增大数据库体积和维护成本。索引过多的风险包括降低增删改操作性能、增大数据库体积、增加存储压力和维护开销,以及加大SQL Server优化开销。建议的核心表索引不超过7个,普通表不超过5个,小型表不超过3个。针对索引过多的问题,文章提出需要根据实际需求进行分析并提供解决方案。

1 简介

这里主要介绍索引的功能,索引的作用和原理,它能加速数据查询但过度使用会导致性能下降。索引是一种数据结构,用于快速访问数据库中的信息,通过减少磁盘访问次数提升性能。
以及为什么索引可帮助使用者优化如何查询已经存储的数据的同时,过多的使用反而导致性能下降。

question_ans.png

索引通过最大限度地减少完成查询所需的光盘访问次数来提高数据库性能。

它是一种数据结构技术,用于查找和快速访问数据库中的数据。多个数据库字段用于生成索引。表的主键或候选键在第一列中重复,即搜索键。

为了加快数据检索速度,这些值也按排序顺序保存。应该强调的是,不需要对数据进行排序。

第二列是数据引用或指针,其中包含一组指针,用于保存可以找到该特定键值的磁盘块的地址

索引和优化器提示 可单独使用或一起使用。

索引提示适用于 SELECT,DELETE 和 UPDATE 语句。 索引提示一般在表名之后指定。

2 数据库索引

MySQL和Oracle等数据库本身提供索引的功能,合理创建索引可以提高数据的检索效率,降低数据库服务器IO和CPU的消耗。

但由于索引也会降低更新表的速度,经常增删改的表或字段不适合创建索引,所以在开发初期,我们就应该根据数据库模型表和字段的作用来决定是否为该表建立索引,为数据记录较多的表中,频繁作为查询条件的字段建立索引。

            #python3
        class Article(models.Model):
            "文章"
            title = models.CharField('标题',max_length=200,)
            class Meta:
                indexes = [models.Index(fields=['title']),]

3 索引过多的问题

表所允许的索引数量,数据库允许的索引数量,最大并发事务处理能力,负载均衡能力,最大连接数。

  • 索引太多的问题

    对于太小的表,经常更新的的属性和表,属性值很少的查询,过长的属性,特殊数据类型的属性比如大文本,多媒体数据,不出现或很少出现的属性不宜建立索引。

而对于常用属性建立太多属性将会降低增删改查的性能。

也会导致数据库体积变大,加大数据库优化的开销,数据库将对索引定义建立列计算统计信息更新开销,过多的索引导致更新范围大,时间变长。索引失效维护成本高。

  • 索引过多

是指单表上非聚集索引数量太多,至于多少才为太多,这个实际上没有标准,虽然某些书上有说过单表上不要超过6个索引,但是那些书是 通常是很久远的书籍(大概10年前左右),那时候的硬件资源还没比较紧张,不可能支持太多索引。

但是即使是今天的硬件资源,随着系统的复杂程度和数据量的 增长,硬件资源也容易不足,同时索引过多也会带来很多风险。 以下详细解读。

4 索引过多具体风险主要有以下几个:

  • 降低增删改操作的性能。

由于增删改操作特别是删、增两个,往往引发聚集索引键的变更,标上的非聚集索引叶节点存储了聚集索引键,所以也会连带被更 新。而这些非聚集索引往往是没有提高这些操作的性能,反而对操作带来负面影响。这就是所谓的牵一发而动全身。

如果有些增删改操作带有WHERE条 件,这些情况下,有些索引能提高性能,比如百万级别的表中删除一行数据,如果没有索引(假设连聚集索引也没有),那么就只有扫描全表删除,那速度简直无法接受。

  • 过多索引还导致了数据库“体积”变大。

本质上,数据库的性能问题几乎都是由于“体积”过大导致的。我们知道,聚集索引就是表本身,表多大,聚集索 引几乎就有多大,根据B-Tree的层级,可能会比表更大(不过一般大不了多少)。而非聚集索引叶子节点由于存储了索引键的数据,索引也有一定体量。

  • 过多索引导致存储压力和维护开销。

由于SQL Server不直接访问磁盘,每个操作都需要先把数据从磁盘加载到内存中,内存的容量相对磁盘来说又比较小,一旦索引很大,查询过程造成的内存压力也会随 之而来,对数据缓存和计划缓存都有不可忽视的影响。对聚集索引的维护,比如重建,会引发非聚集索引的连带效应。索引越多速度越慢。很多系统并没有充足的时 间让你任意维护索引。

  • 加大了SQL Server优化开销。

虽然通常优化引擎不会花太多时间在优化上,最起码相对于执行而言,优化的时间你可能感知不到,但是过度优化、编译重编译,都会对 CPU带来压力。

当索引很多时,优化器必须针对查询及上面的统计信息进行分析,如果有一些索引都能支持这个查询时,优化器又必须比对哪个索引开销更低。 要优化器选择也有选择恐惧症,太多的选择它就会折中,不一定会花更多资源去选择最优方案,万一当时其他操作的影响导致优化器选择了不合理的索引,性 能反而更差。

统计信息更新开销,默认情况下,SQL Server会对索引定义中的列计算统计信息,这种统计信息是索引级别的,每个索引有自己的统计信息,索引越多,由于数据变更或者其他变更带来统计信息更新时,需要更新的范围就越大,时间越久。

  • 索引失效:
    在运维的数据库时,不定期可能出现某些功能卡顿的情况,通过重建索引,功能恢复一定时间的稳定,但是过一段时间 后又出现了卡顿。

从表象看来,这类似与索引失效的情况,但是目前官方资料中并没有出现索引失效的描述,所以可以认为索引失效其实只是个表象,更多的是优化器对 索引选择的混乱。

通过降低索引的数量和提高每个索引的重用度,这种情况目前再无发生。简单来说,对于OLTP数据库,单表索引不应该过多。

5 总结

一个简单的经验标准:

对于核心表:所有索引不要超过7个。
对于普通表:所有索引不要超过5个。
对于小型表:所有索引不要超过3个。

当单表有很多索引(比如上面提到的20多个)时,就应该考虑是否真有必要维持这种数量,在本系列的最后部分会给出解决方案。

当然极端情况下,20多个索引的表性能表现也不一定不好。当然,总是需要按照实际场景需求去分析的。

目录
相关文章
|
IDE API 开发工具
FastAPI快速搭建一个博客系统
FastAPI快速搭建一个博客系统
1027 0
FastAPI快速搭建一个博客系统
|
机器学习/深度学习 数据采集 人工智能
Python实现深度神经网络RNN-LSTM分类模型(医学疾病诊断)
Python实现深度神经网络RNN-LSTM分类模型(医学疾病诊断)
Python实现深度神经网络RNN-LSTM分类模型(医学疾病诊断)
|
12月前
|
存储 关系型数据库 MySQL
MySQL 如何存储地理信息
MySQL 如何存储地理信息
1203 1
|
10月前
|
存储 关系型数据库 MySQL
MySQL主键谁与争锋:MySQL为何钟爱自增主键ID+UUID?
本文深入探讨了在MySQL中使用自增类型主键的优势与局限性。自增主键通过保证数据的有序性和减少索引维护成本,提升了查询和插入性能,简化了数据库管理和维护,并提高了数据一致性。然而,在某些业务场景下,如跨表唯一性需求或分布式系统中,自增主键可能无法满足要求,且存在主键值易预测的安全风险。因此,选择主键类型时需综合考虑业务需求和应用场景。
322 2
|
12月前
|
数据采集 数据安全/隐私保护 开发者
一些`StringIndexOutOfBoundsException`异常的实际案例
本内容展示了几个实际中遇到的`StringIndexOutOfBoundsException`异常案例,帮助开发者理解该异常发生的原因及解决方法。
264 5
|
12月前
|
人工智能 安全 网络协议
如何防御DDoS攻击?教你由被动安全转变为主动安全
如何防御DDoS攻击?教你由被动安全转变为主动安全
741 0
|
SQL druid Java
解决 ‘The last packet successfully received from the server was xxx milliseconds ago‘ 问题
解决 ‘The last packet successfully received from the server was xxx milliseconds ago‘ 问题
6470 0
【多线程面试题十一】、如何实现子线程先执行,主线程再执行?
要实现子线程先执行,主线程再执行,可以在启动子线程后立即调用其join()方法,使主线程等待子线程执行完成。
|
负载均衡 算法 Ubuntu
IPVSADM命令详解及负载均衡配置示例
IPVSADM命令详解及负载均衡配置示例
|
数据采集 机器学习/深度学习 Web App开发
提升爬虫OCR识别率:解决嘈杂验证码问题
使用OCR技术提升爬虫识别嘈杂验证码的准确率,结合Python代码示例展示了如何预处理图像、使用Tesseract和代理IP来规避反爬。通过灰度化、二值化增强验证码可读性,并利用代理IP保持爬虫稳定性。
459 0