MySQL的前缀索引及Oracle的类似实现

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群版 2核4GB 100GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介:

MySQL有一个很有意思的索引类型,叫做前缀索引,它可以给某个文本字段的前面部分单独做索引,从而降低索引的大小。

其实,Oracle也有类似的实现,对于文本,它可以通过substr的函数索引,实现同样甚至更多的功能。另外,经过探索,我们发现,原来数字和时间字段,在Oracle也可以实现类似的功能。

MySQL的前缀索引

MySQL的前缀索引指的是对指定的栏位的前面几位建立的索引。

Altertable Table_Name add key(column_name(prefix_len));

或者

Createindex index_name on Table_Name(column_name(prefix_len));

建立前缀索引后,可以直接当做普通索引进行过滤。

Select ..from table_name where column_name=’…’;

前缀索引的最大的好处是降低索引的大小。另外,由于InnoDB单列索引长度不能超过767bytes,如果是text或者blob字段,直接建立索引可能会报错,而前缀索引可以绕过这一限制。

做个测试看一下。

delimiter;;

dropFUNCTION if exists random_str;;

CREATEFUNCTION random_str(n int) RETURNS varchar(30000)

begin

declarereturn_str varchar(30000) default “”;

declare iint default 0;

whilelength(return_str) < n do

setreturn_str=concat(return_str,md5(rand()));

endwhile;

returnsubstring(return_str,1,n);

end;;

首先,创建一个生成超过1000长度的随机字符串的函数。

创建测试表

CREATETABLE TEST_PREFIX_IND (

ID INT(10) PRIMARY KEY AUTO_INCREMENT,

NORMAL_STR VARCHAR(20) ,

LONG_STR VARCHAR(1000),

TEXT_STR TEXT,

BLOB_STR BLOB

);

插入10000行记录:

drop  procedure if exists init_test_prefix_ind;;

createprocedure init_test_prefix_ind(n int)

begin

declare iint default 0;

while i< n do

insertinto test_prefix_ind(NORMAL_STR,long_str,  TEXT_STR,BLOB_STR)

values(random_str(20),random_str(rand()*1000+1),random_str(rand()*1000+1),random_str(rand()*300+1));

seti=i+1;

endwhile;

end;;

callinit_test_prefix_ind(10000);;

尝试在类型为varchar(1000)的LONG_STR创建索引

altertable test_prefix_ind add key(LONG_STR);;

成功了,但是Sub_part显示为767,表示系统自动创建了前缀长度为767的前缀索引;

索引

看看大小: 8992k

尝试在TEXT和BLOB的栏位上直接创建索引

mysql> alter table test_prefix_ind add key(text_str);

ERROR 1170 (42000): BLOB/TEXT column ‘text_str’ used in key specification without a key length

mysql> alter table test_prefix_ind add key(blob_str);;

ERROR 1170 (42000): BLOB/TEXT column ‘blob_str’ used in key specification without a key length

在TEXT和BLOB栏位上建立索引,必须指定前缀长度。

alter table test_prefix_ind add key(text_str(30));;

看看大小,528k(9520-8992), 远远小于LONG_STR的8992k.

alter table test_prefix_ind add key(blob_str(30));;

看看大小,544k(10064-9520)。

看看几个表的前缀长度和大小。前缀长度显著降低了索引的大小。

索引

看看查询是否能正常进行:

可以使用上索引。

前缀索引长度的选择

对于一个可能挺长的栏位,怎么判断合适的前缀索引呢?

简单做法:

Select count(distinct substr(long_str,1,5))/count(*) from test_prefix_ind;

炫一点的写法,通过一些小技巧,可以在同一个SQL里遍历多个值,同时查看多个值的选择度。

select R,count(distinct substr(long_str,1,R))/count(*)

from

(SELECT @rownum:=ceil(@rownum*1.4) AS  R

FROM (SELECT @rownum:=1) r,test_prefix_ind limit 1,10

) R,test_prefix_ind T

group by R;;

对于这个表,由于数据是随机的,所以,前5位已经足够好。

我们创建一个前缀长度为5的前缀索引。

alter table test_prefix_ind add key(long_str(5));

看看大小,仅仅258k(10320-10064),远低于最早创建的8992k

测试一下性能,有前缀索引时:

删除索引后,性能差距很明显:

Oracle的类似实现

从前面的做法中,我们可以发现,前缀索引本质上就是把栏位的前N位作为索引,这个看起来,很像Oracle的函数索引。类似于:

Create index index_name on table_name(substr(column_name,1,<length>) );

对于Oracle的函数索引,我们一个比较深的印象就是,where条件必须和函数索引里的表达式一致,才能利用上函数索引。但既然MySQL可以用前缀索引,作为老前辈的Oracle, 似乎应该也能实现才对。

我们来看看,在Oracle里面,是否能够实现同样的功能。

创建表格:

Create table test_substr as

select object_id,object_name||dbms_random.string(‘x’,dbms_random.value(1,1000) as object_name,created from all_objects ,

(select * from dual connect by level < 100)

where rownum < 10000;

创建substr的函数索引:

Create index test_substr_inx on test_substr(substr(object_name,1,5));

看看执行计划:

神奇的事情发生了,的确走了索引,Oracle也支持前缀索引~~

我们可以看到,找谓词中,增加了一个原来语句中没有的东西:

换成绑定变量看看:

可以看到,谓词中变成了:

为什么多了这个东西?因为,从逻辑上来说:

select * from test_

select * from test_substr where object_name=:a and substr(object_name,1,5)=substr(:a,1,5);

是百分百等价的。Oracle相当于自动做了语义上的优化。

有兴趣的,可以做个10053。Oracle内部实际进行执行计划解析的,就是这样一个SQL。

SELECT * FROM TEST_SUBSTR WHERE OBJECT_NAME=:A AND SUBSTR(OBJECT_NAME,1,5)=SUBSTR(:A,1,5);

看看如果创建普通索引,空间占用是多少。

Create index test_substr_inx2 on test_substr(object_name);

大小分别是7M256K.

但Oracle仅止于此吗?我们在来试试看另一个SQL, 这次,我们在条件上也使用substr,但是长度不为5。

果然还是可以的。因为逻辑上来说

select * from test_substr

where substr(object_name,1,<N>)=:a;

在N>=5的时候,

select * from test_substr

where substr(object_name,1,<N>)=:a and substr(object_name,1,5)=substr(:a,1,5);

还是等价的。所以优化器还是可以继续加一个谓词。

当然,如果把WHERE条件中substr换成小于5的值,就不再能用得上索引。因为无法直接换为等价的、又带有substr(object_name,1,5)的语句。

Oracle时间、数字上的前缀索引

仅仅就这样吗?除了字符类型之外,数字类型和时间类型是否也支持?

我们再看看。

在刚才的表的基础上,创建时间类型上的trunc函数索引。

Create index test_trunc_date_inx on test_substr(trunc(created));

看看执行计划:

没问题,还是可以的。

创建数字类型上的trunc函数索引:

create index test_trunc_number on TEST_SUBSTR(trunc(object_id));

实际上,问题的关键在于等价与优化器的内部改写。

我们最后再看另一个例子。

建另一个表,相当栏位长度最长为5。

create table test_scale (object_name varchar2(5));

insert into test_scale select substr(object_name,1,5) from all_objects;

create index test_scale_str_inx in test_scale(object_name);

来看看这个语句的执行效果

select * from  test_scale where object_name = ‘DBA_TABLES’;

神奇的事情再次发生,autotrace中db block gets/consistent gets都为0,这代表数据库根本就没去访问表。

原因很简单,‘DBA_TABLES’这个值长度大于5, 超出了表定义中的varchar2(5)了。object_name = ‘DBA_TABLES’就等价于恒否的条件了。这个,在10053里也找不到,但的确存在。

文章来源于网络

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
1天前
|
存储 关系型数据库 MySQL
MySQL bit类型增加索引后查询结果不正确案例浅析
【8月更文挑战第17天】在MySQL中,`BIT`类型字段在添加索引后可能出现查询结果异常。表现为查询结果与预期不符,如返回错误记录或遗漏部分数据。原因包括索引使用不当、数据存储及比较问题,以及索引创建时未充分考虑`BIT`特性。解决方法涉及正确运用索引、理解`BIT`的存储和比较机制,以及合理创建索引以覆盖各种查询条件。通过`EXPLAIN`分析执行计划可帮助诊断和优化查询。
|
4天前
|
SQL 存储 关系型数据库
mysql加索引真的会锁表吗?揭秘背后的技术细节与规避策略
【8月更文挑战第16天】在数据库管理中,添加索引能大幅提升查询效率。MySQL执行此操作时的锁定行为常引起关注。文章详细解析MySQL中索引添加时的锁定机制及其原理。不同存储引擎及SQL语句影响锁定策略:MyISAM需全表锁定;InnoDB提供更灵活选项,如使用`ALTER TABLE... LOCK=NONE`可在加索引时允许读写访问,尽管可能延长索引构建时间。自MySQL 5.6起,在线DDL技术可进一步减少锁定时间,通过`ALGORITHM=INPLACE`和`LOCK=NONE`实现近乎无锁的表结构变更。合理配置这些选项有助于最小化对业务的影响并保持数据库高效运行。
15 4
|
4天前
|
SQL JavaScript 关系型数据库
Mysql索引不当引发死锁问题
本文通过真实案例解析了MySQL在高并发环境下出现死锁的问题。数据库表`t_award`包含多个索引,但在执行特定SQL语句时遭遇索引失效,导致更新操作变慢并引发死锁。分析发现,联合索引`(pool_id, identifier, status, is_redeemed)`因`identifier`允许为空值而导致索引部分失效。此外,`pool_id`上的普通索引产生的间隙锁在高并发下加剧了死锁风险。为解决此问题,文中提出了调整索引顺序至`(pool_id, status, is_redeemed, identifier)`等方案来优化索引使用,进而减轻死锁现象。
|
6天前
|
缓存 NoSQL Redis
一天五道Java面试题----第九天(简述MySQL中索引类型对数据库的性能的影响--------->缓存雪崩、缓存穿透、缓存击穿)
这篇文章是关于Java面试中可能会遇到的五个问题,包括MySQL索引类型及其对数据库性能的影响、Redis的RDB和AOF持久化机制、Redis的过期键删除策略、Redis的单线程模型为何高效,以及缓存雪崩、缓存穿透和缓存击穿的概念及其解决方案。
|
8天前
|
Oracle 关系型数据库 MySQL
Mysql和Oracle数据库死锁查看以及解决
【8月更文挑战第11天】本文介绍了解决MySQL与Oracle数据库死锁的方法。MySQL可通过`SHOW ENGINE INNODB STATUS`查看死锁详情,并自动回滚一个事务解除死锁;也可手动KILL事务。Oracle则通过查询V$LOCK与V$SESSION视图定位死锁,并用`ALTER SYSTEM KILL SESSION`命令终止相关会话。预防措施包括遵循ACID原则、优化索引及拆分大型事务。
|
20天前
|
存储 SQL 关系型数据库
(六)MySQL索引原理篇:深入数据库底层揭开索引机制的神秘面纱!
《索引原理篇》它现在终于来了!但对于索引原理及底层实现,相信大家多多少少都有了解过,毕竟这也是面试过程中出现次数较为频繁的一个技术点。在本文中就来一窥`MySQL`索引底层的神秘面纱!
|
20天前
|
SQL 存储 关系型数据库
(五)MySQL索引应用篇:建立索引的正确姿势与使用索引的最佳指南!
在本篇中,则重点讲解索引应用相关的方式方法,例如各索引优劣分析、建立索引的原则、使用索引的指南以及索引失效与索引优化等内容。
|
24天前
|
SQL 缓存 关系型数据库
MySQL 查询索引失效及如何进行索引优化
MySQL 查询索引失效及如何进行索引优化
61 1
|
14天前
|
缓存 关系型数据库 MySQL
MySQL调优秘籍曝光!从索引到事务,全方位解锁高可用秘诀,让你的数据库性能飞起来!
【8月更文挑战第6天】MySQL是顶级关系型数据库之一,其性能直接影响应用的高可用性与用户体验。本文聚焦MySQL的高性能调优,从索引设计到事务管理,逐一解析。介绍如何构建高效索引,如联合索引`CREATE INDEX idx_order_customer ON orders(order_id, customer_id);`,以及索引覆盖查询等技术。
39 0
|
20天前
|
存储 SQL 关系型数据库
(四)MySQL之索引初识篇:索引机制、索引分类、索引使用与管理综述
本篇中就对MySQL的索引机制有了全面认知,从索引的由来,到索引概述、索引管理、索引分类、唯一/全文/联合/空间索引的创建与使用等内容,进行了全面概述。

热门文章

最新文章

推荐镜像

更多