hbase二级索引secondary-index记录

简介: 一.已有可参考hbase二级索引方案:huawei:http://f.dataguru.cn/thread-202710-1-1.html;360:http://blog.csdn.net/dhtx_wzgl/article/details/49069081;Phoenix:https://phoenix.apache.org/secondary_indexing.html;xiaomi;Lily:第三方组件实现,不会给HBase带来入侵式的代码,而且不会影响写入性能;其他使用率比较小的方案。

一.已有可参考hbase二级索引方案:

huaweihttp://f.dataguru.cn/thread-202710-1-1.html
360http://blog.csdn.net/dhtx_wzgl/article/details/49069081
Phoenixhttps://phoenix.apache.org/secondary_indexing.html

xiaomi;

Lily:第三方组件实现,不会给HBase带来入侵式的代码,而且不会影响写入性能;

其他使用率比较小的方案。

二.基于coprocessor的参考性思路:

1.考虑是global全局索引or本地索引local还是两者都有或者其他索引类型实现;

2.修改hbase元数据表信息,增加索引表及索引相关信息;

3.修改对应coprocessor,实现数据对应的索引操作(mutate。。。);

4.映射及解析客户端索引语句(alter index 。。。);

5.索引批量操作,基于mapreduce实现;

6.客户端索引语句管理及语法的构建;

7.索引的动态管理及重建;

8.hbase的compact与split及balance策略的修改,来平衡index;

9.hbase的索引性能测试。

三:技能

掌握hadoop+zookeeper原理及实现

精通mapreduce

精通hbase架构

熟读hbase内核源码

目录
相关文章
|
XML 存储 分布式计算
hbase构建二级索引解决方案
HBase的一级索引就是rowkey,我们仅仅能通过rowkey进行检索。假设我们相对Hbase里面列族的列列进行一些组合查询,就只能全表扫描了。表如果较大的话,代价是不可接受的,所以要提出二级索引的方案。
1256 0
hbase构建二级索引解决方案
|
存储 NoSQL 分布式数据库
Hbase的三种索引_全局索引,覆盖索引,本地索引(七)
Hbase的三种索引_全局索引,覆盖索引,本地索引(七)
394 0
|
SQL 分布式数据库 HIVE
Hbase二级索引_Hive on Hbase 及phoenix详解
Hbase二级索引_Hive on Hbase 及phoenix详解
214 0
|
SQL 分布式数据库 Apache
Hbase的二级索引和RowKey的设计
Hbase的二级索引和RowKey的设计
568 1
|
分布式数据库 索引 Hbase
《HBase应用与发展之HBase RowKey与索引设计》电子版地址
HBase应用与发展之HBase RowKey与索引设计
167 0
《HBase应用与发展之HBase RowKey与索引设计》电子版地址
|
分布式计算 Hadoop Linux
云计算集群搭建记录[Hadoop|Zookeeper|Hbase|Spark | Docker]更新索引 |动态更新
为了能够更好的查看所更新的文章,讲该博文设为索引 小约定 为了解决在编辑文件等操作的过程中的权限问题,博主一律默认采用root账户登录 对于初次安装的用户可以采用如下命令行:
211 0
云计算集群搭建记录[Hadoop|Zookeeper|Hbase|Spark | Docker]更新索引 |动态更新
|
SQL 搜索推荐 Java
「从零单排HBase 12」HBase二级索引Phoenix使用与最佳实践
「从零单排HBase 12」HBase二级索引Phoenix使用与最佳实践
635 0
「从零单排HBase 12」HBase二级索引Phoenix使用与最佳实践
|
SQL 存储 分布式计算
「从零单排HBase 11」HBase二级索引解决方案
「从零单排HBase 11」HBase二级索引解决方案
263 0
|
SQL 消息中间件 自然语言处理
使用ElasticSearch赋能HBase二级索引 | 实践一年后总结
前言:还记得那是2018年的一个夏天,天气特别热,我一边擦汗一边听领导大刀阔斧的讲述自己未来的改革蓝图。会议开完了,核心思想就是:我们要搞一个数据大池子,要把公司能灌的数据都灌入这个大池子,然后让别人用 各种姿势 来捞这些数据。
1911 0
|
SQL 运维 Java
数据查询的玄铁剑:阿里云HBase二级索引功能解析
HBase原生提供了主键索引,用户可以根据rowkey进行高效的单行读、前缀匹配、范围查询操作。但若需要使用属性列进行查询时,则只能使用filter在查询范围内进行逐行过滤。在扫描范围较大时,会浪费大量的IO,请求RT也无法保证。为此,HBase增强版推出了原生二级索引来解决非rowkey查询的性能问题。
2519 0
数据查询的玄铁剑:阿里云HBase二级索引功能解析