MySQL · myrocks · clustered index特性

本文涉及的产品
云原生数据库 PolarDB MySQL 版,Serverless 5000PCU 100GB
云原生数据库 PolarDB 分布式版,标准版 2核8GB
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介: Cluster index介绍最近在RDS MyRocks中,我们引入了一个重要功能,二级聚集索引(secondary clustering index). 我们知道innodb和rocksdb引擎的主键就是clustered index。

Cluster index介绍

最近在RDS MyRocks中,我们引入了一个重要功能,二级聚集索引(secondary clustering index). 我们知道innodb和rocksdb引擎的主键就是clustered index。二级聚集索引和普通二级索引的区别是,普通二级索引只包括索引列和主键列数据,而二级聚集索引列包含表的所有列数据。可以说二级聚集索引是表数据的一个完整的copy.

下面通过例子来看下二级聚集索引和普通二级索引在查询优化上的区别

  • 普通二级索引 查询使用了c2普通二级索引,但不是cover index
    create table t1(c1 int primary key, c2 int, c3 int, key(c2)) engine=rocksdb;
    explain select * from t1 where c2=22;
    id	select_type	table	type	possible_keys	key	key_len	ref	rows	Extra
    1	SIMPLE	t1	ref	c2	c2	5	const	1	NULL
    
  • 二级聚集索引 查询使用了c2二级聚集索引,并且是cover index
    create table t1(c1 int primary key, c2 int, c3 int, clustering key(c2)) engine=rocksdb;
    explain select * from t1 where c2=22;
    id	select_type	table	type	possible_keys	key	key_len	ref	rows	Extra
    1	SIMPLE	t1	ref	c2	c2	5	const	1	Using index
    

Cluster index用法

建表时指定cluster index

create table t1(c1 int primary key, c2 int clustering, c3 int) engine=rocksdb;
create table t2(c1 int primary key, c2 int clustering unique, c3 int) engine=rocksdb;
create table t3(c1 int primary key, c2 int, c3 int, clustering key(c3)) engine=rocksdb;

修改cluster index

create clustering index idx1 on t1(c2);
alter table t1 add clustering key(c3);

一个表支持同时建多个cluster index

create table t1(c1 int primary key, c2 int clustering , c3 int, clustering key(c3)) engine=rocksdb;

cluster index的优势

二级聚集索引相对普通二级索引,查询可以走cover index,可以省去二级索引回主键查数据的代价。对于MyRocks读能力不强的引擎来说,cover index显得尤为重要。

那么问题来了,如果我把表的所有列都建成一个普通二级索引,那么和二级聚集索引可以达到一样的效果,一样也可以使用cover index. 然而,二级索引有一些限制

  • MySQL索引最多支持16列,否则报如下错误 1070: Too many key parts specified; max 16 parts allowed
  • MyRocks索引列总长度限制16K max_supported_key_length

另外,二级聚集索引性能更好

  • 全列普通二级索引key的长度较大,排序的开销更大
  • 全列普通二级索引在MyRocks中,数据都在key中,存储key时格式是memcomparable的,存取数据需encode/decode, 而二级聚集索引数据主要在value中,value中的数据不需要encode/decode

二级聚集索引更易维护

  • 对表的执行加减列操作后,全列普通二级索引需要重建,而二级聚集索引则不需要。

cluster index数据格式

  • 普通二级索引

MyRocks中普通二级索引对应的KV存储格式如下:

key: index_id,NULL-byte, 二级索引列, 主键列 value: unpack_info

key由index_id,二级索引键和主键组成, 其中NULL-byte表示索引列是否为空。 value只有unpack_info,表示二级索引键和主键列转换为memcomparable格式的信息,如果不需要额外转换信息则unpace_info为null

  • 二级聚集索引

MyRocks中二级聚集索引对应的KV存储格式如下:

key: index_id,NULL-byte, 二级索引列, 主键列 value: unpack_info, 表中其他所有列

相对普通二级索引,value中还包括索引其他所有列的数据

cluster index更新

由于二级聚集索引包含所有列信息,执行update语句更新非索引列时,二级聚集索引数据也需要更新。例如, t1表c2列为普通二级索引,c3列为二级聚集索引

   create table t1(c1 int primary, c2 int unique, c3 int clustering, c4 int) engine=rocksdb;
   insert into t1 values(1,1,1,1);

执行以下更新时,c2列为普通二级索引不需要更新,但二级聚集索引需要更新(delete+insert)。

   update  t1 set c4=2 where c1=1;

总结

二级聚集索引是MyRocks表数据的一个完整copy, 结合MyRocks高压缩特性,这种冗余数据的方式在MyRocks上非常合适。二级聚集索引是MyRocks的一个重要feature,它能够让查询尽量走cover index,避免回表操作,提升了MyRocks的读能力。

相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
3月前
|
存储 SQL 关系型数据库
MySQL相关(五)- 事务四大特性及隔离级别的详细介绍
MySQL相关(五)- 事务四大特性及隔离级别的详细介绍
43 0
|
3月前
|
存储 SQL 关系型数据库
MySQL 事务的 ACID 特性
MySQL事务是什么,**它就是一组数据库的操作,是访问数据库的程序单元,事务中可能包含一个或者多个 SQL 语句。这些SQL 语句要么都执行、要么都不执行。**我们知道,在MySQL 中,有不同的存储引擎,有的存储引擎比如MyISAM 是不支持事务的,所以说**MySQL 事务实际上是发生在 存储引擎部分**。
50 0
MySQL 事务的 ACID 特性
|
4月前
|
关系型数据库 MySQL 数据安全/隐私保护
MySQL8.1.0版本正式发布带来哪些新特性?
MySQL8.1.0版本正式发布带来哪些新特性?
225 0
MySQL8.1.0版本正式发布带来哪些新特性?
|
5月前
|
SQL 关系型数据库 MySQL
MySQL5.7 group by新特性报错1055的解决办法
MySQL5.7 group by新特性报错1055的解决办法
|
2月前
|
SQL 关系型数据库 MySQL
Mysql事务隔离级别和锁特性
Mysql事务隔离级别和锁特性
|
4月前
|
SQL 关系型数据库 MySQL
⑨【MySQL事务】事务开启、提交、回滚,事务特性ACID,脏读、幻读、不可重复读。
⑨【MySQL事务】事务开启、提交、回滚,事务特性ACID,脏读、幻读、不可重复读。
32 0
|
4月前
|
存储 SQL 关系型数据库
MySQL8.0新特性与旧特性移除总结
MySQL从5.7版本直接跳跃发布了8.0版本 ,可见这是一个令人兴奋的里程碑版本。MySQL 8版本在功能上做了显著的改进与增强,开发者对MySQL的源代码进行了重构,最突出的一点是对MySQL Optimizer优化器进行了改进。不仅在速度上得到了改善,还为用户带来了更好的性能和更棒的体验。
116 1
|
22天前
|
存储 缓存 关系型数据库
MySQL事务的四大特性是如何保证的
在MySQL数据库中还有一种二进制日志,其用来基于时间点的还原及主从复制。从表面上来看其和重做日志非常相似,都是记录了对于数据库操作的日志。但是,从本质上来看有着非常大的不同。
11 1
|
1月前
|
SQL 关系型数据库 MySQL
深入理解MySQL事务特性:保证数据完整性与一致性
深入理解MySQL事务特性:保证数据完整性与一致性
78 1
|
1月前
|
存储 安全 关系型数据库
MySQL 临时表的用法和特性
MySQL 临时表的用法和特性

相关产品

  • 云数据库 RDS MySQL 版