系统设计之ES和Hbase的结合使用设计

简介: 系统设计之ES和Hbase的结合使用设计

这里分享一种设计方案,也是用了好久慢慢优化过来的,可以针对大数据场景下非实时的数据挑战,将读写彻底分离开来,利用大数据组件读取,其他数据库集群当作写入,然后同步数据给我们的大数据相关集群,比如ES和Hbase,其中部分业务核心字段,我们可以先利用ES强大的搜索效率去查询出对应的根属性内容,在这里我们可以把根属性理解为基本表,也就是我们所谓的单表,在一对多的场景下,我们可以利用单表的某个业务字段去做rowkey反转,查询Hbase,在这里介绍一下Hbase是根据rowkey进行查询的数据库,可以理解为通过rowkey我们可以获取多条记录,也就是获取这一条数据对应的多表数据,然后对返回值进行一个组装,然后当其他微服务也有类似查询功能的适合,它们就可以给中台搜索层提相关的需求,中台搜索层再写完接口后跟上层的业务系统进行联调,上层业务系统无需关注底层实现以及学习ES或者Hbase的API,直接就可以进行高效的查询,并且这个架构的优势在于它把2个大数据组件的性能都最大化了,ES只存储少量数据,把搜索的效率发挥到最大,通过反转rowkey来定位到具体的Hbase多表数据,来让Hbase数据存储的性能发挥到最大化。

目录
相关文章
|
存储 NoSQL 分布式数据库
Hbase+ES和MongoDB存储大数据的选用
Hbase+ES和MongoDB存储大数据的选用
1029 0
|
Java Shell 分布式数据库
【大数据技术Hadoop+Spark】HBase数据模型、Shell操作、Java API示例程序讲解(附源码 超详细)
【大数据技术Hadoop+Spark】HBase数据模型、Shell操作、Java API示例程序讲解(附源码 超详细)
501 0
|
分布式计算 Java Hadoop
java使用hbase、hadoop报错举例
java使用hbase、hadoop报错举例
421 4
|
12月前
|
分布式计算 Ubuntu Hadoop
Ubuntu22.04下搭建Hadoop3.3.6+Hbase2.5.6+Phoenix5.1.3开发环境的指南
呈上,这些步骤如诗如画,但有效且动人。仿佛一个画家在画布上描绘出一幅完美的画面,这就是你的开发环境。接下来,尽情去创造吧,祝编程愉快!
941 19
|
分布式计算 Hadoop 关系型数据库
Hadoop任务scan Hbase 导出数据量变小分析
Hadoop任务scan Hbase 导出数据量变小分析
248 0
|
分布式计算 Hadoop Shell
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
400 4
|
SQL 分布式计算 Hadoop
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
267 3
|
分布式计算 Hadoop Shell
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
305 3
|
存储 分布式计算 Hadoop
Hadoop-33 HBase 初识简介 项目简介 整体架构 HMaster HRegionServer Region
Hadoop-33 HBase 初识简介 项目简介 整体架构 HMaster HRegionServer Region
257 2
|
SQL 分布式计算 Hadoop
Hadoop-34 HBase 安装部署 单节点配置 hbase-env hbase-site 超详细图文 附带配置文件
Hadoop-34 HBase 安装部署 单节点配置 hbase-env hbase-site 超详细图文 附带配置文件
713 2