HBASE+Solr实现详单查询

简介:

背景

某电信项目中采用HBase来存储用户终端明细数据,供前台页面即时查询。HBase无可置疑拥有其优势,但其本身只对rowkey支持毫秒级的快速检索,对于多字段的组合查询却无能为力。针对HBase的多条件查询也有多种方案,但是这些方案要么太复杂,要么效率太低,本文只对基于Solr的HBase多条件查询方案进行测试和验证。

原理

基于Solr的HBase多条件查询原理很简单,将HBase表中涉及条件过滤的字段和rowkey在Solr中建立索引,通过Solr的多条件查询快速获得符合过滤条件的rowkey值,拿到这些rowkey之后在HBASE中通过指定rowkey进行查询。

在HBASE中通过指定rowkey进行查询

HBase与Solr系统架构设计

使用HBase搭建结构数据存储云,用来存储海量数据;使用SolrCloud集群用来搭建搜索引擎,将要查找的结构化数据的ID查找出来,只配置它存储ID。

HBase与Solr系统架构设计

wd代表用户write data写数据,从用户提交写数据请求wd1开始,经历wd2,写入MySQL数据库,或写入结构数据存储云中,wd3,提交到Solr集群中,从而依据业务需求创建索引。

rd代表用户read data读数据,从用户提交读数据请求rd1开始,经历rd2,直接读取MySQL中数据,或向Solr集群请求搜索服务,rd3,向Solr集群请求得到的搜索结果为ID,再向结构数据存储云中通过ID取出数据,最后返回给用户结果。

实现方法有两种


  • 手工编码,直接用HBASE的API,可以参考下文:http://www.cnblogs.com/chenz/articles/3229997.html
  • 可以使用HBASE/Solr的LUNA接口,就不用自己管理两者。

  • 本文作者:朱洁

    来源:51CTO


    相关文章
    |
    存储 SQL 分布式计算
    |
    SQL 存储 分布式数据库
    【通过Hive清洗、处理和计算原始数据,Hive清洗处理后的结果,将存入Hbase,海量数据随机查询场景从HBase查询数据 】
    【通过Hive清洗、处理和计算原始数据,Hive清洗处理后的结果,将存入Hbase,海量数据随机查询场景从HBase查询数据 】
    989 0
    |
    存储 SQL 自然语言处理
    基于 HBase 的海量数据查询与检索解析|学习笔记
    快速学习基于 HBase 的海量数据查询与检索解析
    基于 HBase 的海量数据查询与检索解析|学习笔记
    |
    SQL 存储 分布式计算
    图解大数据 | Hive与HBase详解@海量数据库查询
    HBase是建立在Hadoop文件系统之上的、分布式面向列的数据库,包含Region Server、HBase Master、ZooKeeper等三个组件。Hive是基于Hadoop的一个数据仓库工具,用于结构化数据的查询、分析和汇总。
    1977 0
    图解大数据 | Hive与HBase详解@海量数据库查询
    |
    缓存 分布式数据库 API
    hbase查询速度很慢
    hbase查询速度很慢
    1164 1
    |
    分布式计算 分布式数据库 Scala
    Spark查询Hbase小案例
    写作目的 1)正好有些Spark连接HBase的需求,当个笔记本,到时候自己在写的时候,可以看 2)根据rowkey查询其实我还是查询了好久才找到,所以整理了一下 3)好久没发博客了,水一篇
    378 0
    Spark查询Hbase小案例
    |
    SQL 缓存 分布式计算
    HBase查询一张表的数据条数的方法
    HBase查询一张表的数据条数的方法
    1476 0
    HBase查询一张表的数据条数的方法
    |
    分布式数据库 Hbase
    《Solr增强HBase检索能力基础介绍及场景》电子版地址
    Solr增强HBase检索能力基础介绍及场景
    223 0
    《Solr增强HBase检索能力基础介绍及场景》电子版地址
    |
    分布式数据库 Hbase
    《基于HBase的海量数据查询与检索解析》电子版地址
    基于HBase的海量数据查询与检索解析_游骐_202105_v3
    203 0
    《基于HBase的海量数据查询与检索解析》电子版地址
    |
    SQL 分布式数据库 Hbase
    HBase高性能查询揭秘
    HBase高性能查询揭秘
    686 0
    HBase高性能查询揭秘