MySQL · myrocks · clustered index特性

本文涉及的产品
RDS PostgreSQL Serverless,0.5-4RCU 50GB 3个月
推荐场景:
对影评进行热评分析
云数据库 RDS SQL Server,基础系列 2核4GB
云原生数据库 PolarDB 分布式版,标准版 2核8GB
简介: Cluster index介绍最近在RDS MyRocks中,我们引入了一个重要功能,二级聚集索引(secondary clustering index). 我们知道innodb和rocksdb引擎的主键就是clustered index。

Cluster index介绍

最近在RDS MyRocks中,我们引入了一个重要功能,二级聚集索引(secondary clustering index). 我们知道innodb和rocksdb引擎的主键就是clustered index。二级聚集索引和普通二级索引的区别是,普通二级索引只包括索引列和主键列数据,而二级聚集索引列包含表的所有列数据。可以说二级聚集索引是表数据的一个完整的copy.

下面通过例子来看下二级聚集索引和普通二级索引在查询优化上的区别

  • 普通二级索引 查询使用了c2普通二级索引,但不是cover index
    create table t1(c1 int primary key, c2 int, c3 int, key(c2)) engine=rocksdb;
    explain select * from t1 where c2=22;
    id	select_type	table	type	possible_keys	key	key_len	ref	rows	Extra
    1	SIMPLE	t1	ref	c2	c2	5	const	1	NULL
    
    AI 代码解读
  • 二级聚集索引 查询使用了c2二级聚集索引,并且是cover index
    create table t1(c1 int primary key, c2 int, c3 int, clustering key(c2)) engine=rocksdb;
    explain select * from t1 where c2=22;
    id	select_type	table	type	possible_keys	key	key_len	ref	rows	Extra
    1	SIMPLE	t1	ref	c2	c2	5	const	1	Using index
    
    AI 代码解读

Cluster index用法

建表时指定cluster index

create table t1(c1 int primary key, c2 int clustering, c3 int) engine=rocksdb;
create table t2(c1 int primary key, c2 int clustering unique, c3 int) engine=rocksdb;
create table t3(c1 int primary key, c2 int, c3 int, clustering key(c3)) engine=rocksdb;
AI 代码解读

修改cluster index

create clustering index idx1 on t1(c2);
alter table t1 add clustering key(c3);
AI 代码解读

一个表支持同时建多个cluster index

create table t1(c1 int primary key, c2 int clustering , c3 int, clustering key(c3)) engine=rocksdb;
AI 代码解读

cluster index的优势

二级聚集索引相对普通二级索引,查询可以走cover index,可以省去二级索引回主键查数据的代价。对于MyRocks读能力不强的引擎来说,cover index显得尤为重要。

那么问题来了,如果我把表的所有列都建成一个普通二级索引,那么和二级聚集索引可以达到一样的效果,一样也可以使用cover index. 然而,二级索引有一些限制

  • MySQL索引最多支持16列,否则报如下错误 1070: Too many key parts specified; max 16 parts allowed
  • MyRocks索引列总长度限制16K max_supported_key_length

另外,二级聚集索引性能更好

  • 全列普通二级索引key的长度较大,排序的开销更大
  • 全列普通二级索引在MyRocks中,数据都在key中,存储key时格式是memcomparable的,存取数据需encode/decode, 而二级聚集索引数据主要在value中,value中的数据不需要encode/decode

二级聚集索引更易维护

  • 对表的执行加减列操作后,全列普通二级索引需要重建,而二级聚集索引则不需要。

cluster index数据格式

  • 普通二级索引

MyRocks中普通二级索引对应的KV存储格式如下:

key: index_id,NULL-byte, 二级索引列, 主键列 value: unpack_info

key由index_id,二级索引键和主键组成, 其中NULL-byte表示索引列是否为空。 value只有unpack_info,表示二级索引键和主键列转换为memcomparable格式的信息,如果不需要额外转换信息则unpace_info为null

  • 二级聚集索引

MyRocks中二级聚集索引对应的KV存储格式如下:

key: index_id,NULL-byte, 二级索引列, 主键列 value: unpack_info, 表中其他所有列

相对普通二级索引,value中还包括索引其他所有列的数据

cluster index更新

由于二级聚集索引包含所有列信息,执行update语句更新非索引列时,二级聚集索引数据也需要更新。例如, t1表c2列为普通二级索引,c3列为二级聚集索引

   create table t1(c1 int primary, c2 int unique, c3 int clustering, c4 int) engine=rocksdb;
   insert into t1 values(1,1,1,1);
AI 代码解读

执行以下更新时,c2列为普通二级索引不需要更新,但二级聚集索引需要更新(delete+insert)。

   update  t1 set c4=2 where c1=1;
AI 代码解读

总结

二级聚集索引是MyRocks表数据的一个完整copy, 结合MyRocks高压缩特性,这种冗余数据的方式在MyRocks上非常合适。二级聚集索引是MyRocks的一个重要feature,它能够让查询尽量走cover index,避免回表操作,提升了MyRocks的读能力。

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
db匠
+关注
目录
打赏
0
0
0
0
9495
分享
相关文章
【MySQL基础篇】事务(事务操作、事务四大特性、并发事务问题、事务隔离级别)
事务是MySQL中一组不可分割的操作集合,确保所有操作要么全部成功,要么全部失败。本文利用SQL演示并总结了事务操作、事务四大特性、并发事务问题、事务隔离级别。
【MySQL基础篇】事务(事务操作、事务四大特性、并发事务问题、事务隔离级别)
MySQL中为什么要使用索引合并(Index Merge)?
通过这些内容的详细介绍和实际案例分析,希望能帮助您深入理解索引合并及其在MySQL中的
141 10
mysql事务特性
原子性:一个事务内的操作统一成功或失败 一致性:事务前后的数据总量不变 隔离性:事务与事务之间相互不影响 持久性:事务一旦提交发生的改变不可逆
MySQL 8.0特性-自增变量的持久化
【11月更文挑战第8天】在 MySQL 8.0 之前,自增变量(`AUTO_INCREMENT`)的行为在服务器重启后可能会发生变化,导致意外结果。MySQL 8.0 引入了自增变量的持久化特性,将其信息存储在数据字典中,确保重启后的一致性。这提高了开发和管理的稳定性,减少了主键冲突和数据不一致的风险。默认情况下,MySQL 8.0 启用了这一特性,但在升级时需注意行为变化。
105 1
MySQL 8.0 新特性
MySQL 8.0 新特性
209 10
MySQL 8.0 新特性
Oracle和MySQL有哪些区别?从基本特性、技术选型、字段类型、事务、语句等角度详细对比Oracle和MySQL
从基本特性、技术选型、字段类型、事务提交方式、SQL语句、分页方法等方面对比Oracle和MySQL的区别。
1037 18
MySQL8.2有哪些新特性?
【10月更文挑战第3天】MySQL8.2有哪些新特性?
105 2
一天五道Java面试题----第七天(mysql索引结构,各自的优劣--------->事务的基本特性和隔离级别)
这篇文章是关于MySQL的面试题总结,包括索引结构的优劣、索引设计原则、MySQL锁的类型、执行计划的解读以及事务的基本特性和隔离级别。
(二十)MySQL特性篇:2022年的我们,必须要懂的那些数据库新技术!
 MySQL数据库从1995年诞生至今,已经过去了二十多个年头了,到2022.04.26日为止,MySQL8.0.29正式发行了GA版本,在此之前版本也发生了多次迭代,发行了大大小小N多个版本,其中每个版本中都有各自的新特性,所有版本的特性加起来,用一本书的篇幅也无法完全阐述清楚,因此本章主要会挑重点特性来讲,具体各版本的特性可参考MySQL官网的开发手册。
287 1
MySQL 报错 ERROR 1709: Index column size too large
MySQL 报错 ERROR 1709: Index column size too large
318 4

相关产品

  • 云数据库 RDS MySQL 版
  • AI助理

    你好,我是AI助理

    可以解答问题、推荐解决方案等