java大数据组件HBase

简介: java大数据组件HBase

1.什么是HBase:



1.是一个非关系型数据库(稀疏矩阵)


(1)关系型数据库:有固定的列,每一列的数据类型明确


(2)非结构化数据,半结构化数据。


2.存储的目标数据


(1)数据量大


(2)结构简单


(3)基于key的快速查找能力


(4)可以面向列进行查询


3.为什么要有hbase,为什么不用hdfs:


(1)因为hdfs适用的场景是海量的数据批读写,不支持海量数据中的个别数据修改


(2)而Hbase支持在海量数据中,修改某一个数据。


(3)Hbase的快,是相对于hdfs来说的。


2.数据仓库的特点



1.面向主题:每一种数据分析的方向都有对应的主题,主题是一个抽象的概念,主题不是固定的。


2.数据集成:任何一个主题的数据,最好是可以轻易的集成在一起。


3.非易失:用于保存历史归档数据,同时也是增量数据。


4.反应历史变化:通常不会删,会一直保存下去


3.hbase的数据结构



1.逻辑结构


(1)列族:多个列的组合


①在数据底层当中,各个列族之间,数据是分开存储的。


(2)列:一个列族下有若干的列


①注意:hbase的列,没有数据类型,都是string


②不需要在建表时声明


(3)行:rowkey


①所有的列族,所有的列,都可以引用同一个行号,但是不强制要求各个行之间对应


②可以当做索引用


③按字典顺序排序的


④要在hbase当中查某一行,只能通过行号来查,因为hbase是基于列数据进行查询的。但是行号是可以过滤的,行号是可以随意设置的。可以把某个常用列的值作为key的一部分,方便过滤。


⑤Hbase是有分区的,同一行数据,只会出现在一个分区当中


⑥一个分区中有若干的Store,一个Store中保存一个列族


4.物理结构



1.物理存储结构,即在物理文件当中,hbase数据的存储格式。


2.是基于列进行查询的,任何一个字段单元格都是一个独立的数据。


(1)Rowkey


(2)列族名


(3)列名


(4)时间戳


(5)操作类型


(6)值


(7)版本号


3.hbase当中没有真正意义上的update,所谓的修改和删除,是追加了一条数据,已最新的时间戳来显示。如果是删除数据,会将该数据的类型改为delete,删除的数据不会永久保留,如果没有正在进行的读写,那么就会启动删除。牺牲了一部分读的性能,换取写的性能。


5.hbase的shell操作



1.建表:create ‘[命名空间:]表名’,’列族名1’,’列族名2’……


2.添加/修改记录:put ‘[命名空间:]表明’,’行名’,’列族名:列名’,’值’


3.获取一行记录:get ‘[命名空间:]表明’,’行名’


4.获取记录数:count ‘[命名空间:]表明’ ---- 行数!!!


5.删除记录:delete ‘[命名空间:]表明’,’行名’,’列族名:列名’


6.scan命令:


(1)属性


①查询指定列


②指定行数


③起始行


④结束行


⑤时间戳


⑥版本


(2)过滤器:


①对值过滤


②binary等值


③substring包含


④列前缀过滤


⑤列明包含过滤


⑥Rowkey前缀过滤


目录
相关文章
|
9月前
|
Java 数据安全/隐私保护 索引
(Java)Java里JFrame窗体的基本操作(组件篇-3)
回顾 说过了下拉框和下拉列表,本篇内容将了解滚动面板和各类输入框 什么是组件? 如果不熟悉组件,可以将组件看作是某个Form表单中的表单元素,组件可以完善JFrame窗口的布局,以及一些功能; 本篇内容中所有的组件所用到的类全都来自于javax.swing这个包中,记得引入; 另:在使用组件前,请先将窗体中的内容类给实例化出来进行操作,代码如下: Container c = getContentPane(); JScollPane JScollPane类,说的就是滚动面板。它不同于其他组件,它是一个容器,
200 2
|
9月前
|
Java 索引 容器
(Java)Java里JFrame窗体的基本操作(组件篇-2)
回顾 这算是JFrame窗体基本操作的组件第二篇了,上一篇说过了单选框,复选框,按钮。 在这一篇中,我会说明下拉框和列表框 什么是组件? 自行百度:java中JFrame窗体里的组件是什么? 名字都给你想好了 ( :I ) JComBox下拉框 JComBox类,就是下拉框,实例化出来后,要填写泛型<>,添加是什么数据类型的内容,泛型中就写上该数据类型; JComboBox<?> combox = new JComboBox<>(); 以下实例化下拉框的时候我泛型写的全
246 1
|
9月前
|
Java 容器
(Java)Java里JFrame窗体的基础操作(组件-1)
如果不熟悉组件,可以将组件看作是某个Form表单中的表单元素,当然这只是在不熟悉组件的前提下。如果深入了解了组件,那么它有着非常多的组件,这些组件可以完善JFrame窗口的布局,以及一些功能; 本篇内容中所有的组件所用到的类全都来自于javax.swing这个包中,记得引入
201 1
|
11月前
|
存储 供应链 数据可视化
Java 大视界 -- 基于 Java 的大数据可视化在企业供应链风险预警与决策支持中的应用(204)
本篇文章探讨了基于 Java 的大数据可视化技术在企业供应链风险预警与决策支持中的深度应用。文章系统介绍了从数据采集、存储、处理到可视化呈现的完整技术方案,结合供应链风险预警与决策支持的实际案例,展示了 Java 大数据技术如何助力企业实现高效、智能的供应链管理。
|
11月前
|
存储 SQL Java
Java 大视界 -- Java 大数据在智能医疗手术风险评估与术前方案制定中的应用探索(203)
本文探讨了Java大数据技术在智能医疗手术风险评估与术前方案制定中的创新应用。通过多源数据整合、智能分析模型构建及知识图谱技术,提升手术风险预测准确性与术前方案制定效率,助力医疗决策智能化,推动精准医疗发展。
|
11月前
|
消息中间件 Java Kafka
Java 事件驱动架构设计实战与 Kafka 生态系统组件实操全流程指南
本指南详解Java事件驱动架构与Kafka生态实操,涵盖环境搭建、事件模型定义、生产者与消费者实现、事件测试及高级特性,助你快速构建高可扩展分布式系统。
519 7
|
12月前
|
机器学习/深度学习 Java 大数据
Java 大视界 -- Java 大数据在智能政务公共资源交易数据分析与监管中的应用(202)
本篇文章深入探讨了 Java 大数据在智能政务公共资源交易监管中的创新应用。通过构建高效的数据采集、智能分析与可视化决策系统,Java 大数据技术成功破解了传统监管中的数据孤岛、效率低下和监管滞后等难题,为公共资源交易打造了“智慧卫士”,助力政务监管迈向智能化、精准化新时代。
|
12月前
|
数据采集 机器学习/深度学习 Java
Java 大视界 -- Java 大数据在智能体育赛事运动员体能监测与训练计划调整中的应用(200)
本篇文章聚焦 Java 大数据在智能体育赛事中对运动员体能监测与训练计划的智能化应用。通过构建实时数据采集与分析系统,结合机器学习模型,实现对运动员体能状态的精准评估与训练方案的动态优化,推动体育训练迈向科学化、个性化新高度。
|
机器学习/深度学习 分布式计算 Java
Java 大视界 -- Java 大数据机器学习模型在遥感图像土地利用分类中的优化与应用(199)
本文探讨了Java大数据与机器学习模型在遥感图像土地利用分类中的优化与应用。面对传统方法效率低、精度差的问题,结合Hadoop、Spark与深度学习框架,实现了高效、精准的分类。通过实际案例展示了Java在数据处理、模型融合与参数调优中的强大能力,推动遥感图像分类迈向新高度。
Java 大视界 -- Java 大数据在智能家居能源消耗模式分析与节能策略制定中的应用(198)
简介:本文探讨Java大数据技术在智能家居能源消耗分析与节能策略中的应用。通过数据采集、存储与智能分析,构建能耗模型,挖掘用电模式,制定设备调度策略,实现节能目标。结合实际案例,展示Java大数据在智能家居节能中的关键作用。