实战: 基于HBase的大数据在线分析

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 Tair(兼容Redis),内存型 2GB
简介: 作者:青道

背景介绍

(一)课程预览

image001.png

What?

基于HBase存储的应用数据,构建一套大数据处理框架, 使用不同方式对HBase数据进行分析。


Why?

HBase作为开源分布式数据库,具备高性能,高可用,海量无限扩展的特点。然而HBase查询接口较简单,无法满足数据分析的需求,但HBase具有丰富数据生态,可以结合大量开源的组件对HBase进行数据分析。


Who?

大数据开发,希望了解HBase数据分析及大数据生态的用户。


How?

本课程将从原理到代码编写,手把手教用户构建基于HBase的大数据分析系统。


(二)HBase数据访问概览

image002.png

下面介绍一下HBase的数据访问方式,上方为整体架构图。


HBase的访问方式主要有三种。第一种是通过API访问,主要是 Put/Get/Scan这三个接口。对数据过滤、聚合等稍微复杂一点的需求,可以用“filter+coprocessor”的方式结合API来处理。


第二种是通过HFile Reader/Writer。因为HBase是存储计算分离的架构,它的数据文件存在HDFS上,可以直接用HBase提供的HFile Reader/Writer来读写HBase上的数据文件,然后通过Bulkload到HBase表中。


第三种是通过MapReduce框架封装,它提供了几个常用的工具类,API封装是TableInputFormat和 TableOutputFormat。因为框架需要切分任务,它底层会按照HBase表的分区来自动为每个分区并发带来访问数据,HFile的封装也是一样的。


(三)准备工作


1. 购买HBase实例

·购买Lindorm单机版
·Lindorm控制台 -> 实例详情 -> 访问控制 -> 添加开发服务器IP到白名单


2. 配置客户端
·Lindorm控制台 -> 数据库连 接 -> 宽表引擎 -> Lindorm shell下载

·从控制台数据库链接页面,获取到hbase-site.xml配置


3. 配置开发环境
·下载安装IDE开发环境
·安装配置好Java环境


注:详细操作步骤和代码,请下载Demo工程。


在线交互式分析


下面进行HBase数据在线交互系统分析,这里的在线交互分析是指在移动HBase数据的场景下,直接对数据进行访问与分析。


(一)在线分析HBase数据 - Spark


1. Spark + HBase 架构

image003.png

首先可以用“Spark+HBase”架构。


Spark是一个专门为大规模数据处理而设计的快速通用计算引擎。如上图所示,它上面有Spark RDD与Spark SQL这些引擎可以使用。


Spark连接HBase的方式有两种,一种是通过HBaseClient直接访问HBase。第二种是Spark引入HBase Connector之后,通过Spark SQL/Spark RDD就可以直接操作这个数据。


2.流程概览


·准备Spark

下载安装Spark


·开发

1)配置开发环境

2)下载demo工程

3)开发Spark作业


·打包运行

1)打包项目

2)提交Spark作业


3. HadoopRDD – InputFormat

image004.png

首先看HadoopRDD的方式,上方为一个样例的代码。


依赖HBase客户端,底层用TableInputFormat,底层Spark作业会自动把任务切分成Region的并发,然后对每个Region计算,然后获取最终结果。


4. Spark Connector - SparkSQL


image005.png

第二种是用SparkSQL访问HBase。SparkSQL依赖Spark Hbase Connector,像这个代码里面会直接建一张Spark的 表,表建好之后,就可以执行一些SQL去访问HBase的数据。


5. 直接使用HBase客户端读写数据

image006.png

除了上述方式,也可以直接使用HBase客户端读写数据。


(二)在线分析HBase数据 - Hive


1. Hive + HBase 架构


image007.png

Hive是一个基于Hadoop的数据仓库工具,用来对大规模数据进行处理。它也提供了SQL的查询功能,底层是将对应的SQL转换成MapReduce的任务来执行,所以它会依赖于关系型数据库作为MetaStore。


把整个架构搭起来之后,就可以通过SQL来执行HBase的数据分析。


2.准备工作


·安装Hadoop

1)下载安装Hadoop

2)设置环境变量

3)配置Hadoop

4)启动hdfs和yarn

5)验证


·安装MySQL

1)安装MySql

2)准备好Hive使用MySql用户和数据


·安装配置Hive

1)下载安装Hive

2)配置Hive

3)添加和替换hbase依赖

4)添加Hbase配置

5)验证


3.操作过程


1)建HBase外表:

CREATE EXTERNAL TABLE hbase_hive_table (key int, value string) STORED BY ‘org.apache.hadoop.hive. hbase.HBaseStorageHandler’ WITH SERDEPROPERTIES (“hbase.columns.mapping” = “:key,cf1:val”) TBLPROPERTIES (“hbase.table.name” = “hbase_hive_table”, “hbase.mapred.output.outputtable” = “hbase_hive_table”);


2)SQL查询:
select count(*) from hbase_hive_table ;

image008.png

4.在线分析的弊端


弊端一:影响在线
占用HBase在线服务资源 影响应用对HBase的正常访问。

弊端二:存储格式 相对列存,HBase存储格式对分析不友好,分析性能差。 弊端三:数据变化
分析过程中,数据一直在变化。


离线及流式分析


除了在线分析,还有另外两种方式,分别是离线以及流式分析。

(一)HBase数据离线处理分析


1.完整步骤

image009.png

image010.png

首先使用LTS (Lindorm Tunnel Service)将Hbase数据全量导出到HDFS,存储为Parquet格式,接着开发Spark作业分析导出的Parquet文件数据。


2. 全量导出到HDFS - Parquet格式

image011.png

在HDFS页面上可以直接创建一个任务,然后从某一个集群把某一张表数据全量导出到一个目标的HDFS上面,格式默认为Parquet。


参考文档:https://help.aliyun.com/document_detail/156428.html#title-ofz-4ah-45z


3. 使用Spark分析Parquet文件

image012.png

当数据导完后,下一步就是写一个Spark作业来分析这个Parquet文件,上方是一个样例的代码。


4. 离线分析的弊端

弊端一:实时性差

全量导出代价大,数据量越大数据产出越困难。


弊端二:存储冗余

数据在离线重复存储。


弊端三:重复导出

识别增量较难,历史数据重复导出。


(二)HBase数据流式处理分析


1.完整步骤

image013.png

image014.png

首先使用LTS增量订阅HBase 数据,写入到Kakfa,接着使用Spark Streaming对接Kafka,进行流式计算。


2. 导出到Kafka

image015.png

同样,这里使用的也是阿里云的LTS产品。


LTS里有Lindorm Streams模块,它可以订阅某一张或者某些表的数据,然后写到对应的消息存储里面去。当这个任务建起来之后,HBase写入数据就会实时同步到Kafka里。底层实现原理是订阅HBase日志,同步延迟在秒级别。


3. 使用Spark对接Kafka进行实时计算

image016.png

数据增量同步到Kafka之后,使用Spark对接Kafka进行实时计算。


总结

image017.png

如上图所示,整个HBase的数据生态十分丰富,可以看到有很多开源产品,首先上游APP、日志、数据库等高并发写入到HBase之后,Spark、Flink等可以直接读取HBase数据做分析。同时它们的结果也可以批量写入/Bulkload到HBase。


然后通过同步工具,如LTS、Kettle等,可以把HBase的数据全量同步到离线分析系统。 也可以通过增量订阅工具,如LTS、Replication,订阅到消息队列,下游再对接实时计算的产品,如Flink、Spark。


以上就是HBase的大致生态环境。




相关文章
|
1月前
|
存储 机器学习/深度学习 SQL
大数据处理与分析技术
大数据处理与分析技术
102 2
|
1天前
|
机器学习/深度学习 数据可视化 大数据
机器学习与大数据分析的结合:智能决策的新引擎
机器学习与大数据分析的结合:智能决策的新引擎
31 15
|
7天前
|
SQL 分布式计算 DataWorks
DataWorks产品测评|基于DataWorks和MaxCompute产品组合实现用户画像分析
本文介绍了如何使用DataWorks和MaxCompute产品组合实现用户画像分析。首先,通过阿里云官网开通DataWorks服务并创建资源组,接着创建MaxCompute项目和数据源。随后,利用DataWorks的数据集成和数据开发模块,将业务数据同步至MaxCompute,并通过ODPS SQL完成用户画像的数据加工,最终将结果写入`ads_user_info_1d`表。文章详细记录了每一步的操作过程,包括任务开发、运行、运维操作和资源释放,帮助读者顺利完成用户画像分析。此外,还指出了文档中的一些不一致之处,并提供了相应的解决方法。
|
5天前
|
分布式计算 DataWorks 搜索推荐
用户画像分析(MaxCompute简化版)
通过本教程,您可以了解如何使用DataWorks和MaxCompute产品组合进行数仓开发与分析,并通过案例体验DataWorks数据集成、数据开发和运维中心模块的相关能力。
38 4
|
25天前
|
机器学习/深度学习 存储 大数据
在大数据时代,高维数据处理成为难题,主成分分析(PCA)作为一种有效的数据降维技术,通过线性变换将数据投影到新的坐标系
在大数据时代,高维数据处理成为难题,主成分分析(PCA)作为一种有效的数据降维技术,通过线性变换将数据投影到新的坐标系,保留最大方差信息,实现数据压缩、去噪及可视化。本文详解PCA原理、步骤及其Python实现,探讨其在图像压缩、特征提取等领域的应用,并指出使用时的注意事项,旨在帮助读者掌握这一强大工具。
62 4
|
26天前
|
关系型数据库 分布式数据库 数据库
PolarDB 以其出色的性能和可扩展性,成为大数据分析的重要工具
在数字化时代,企业面对海量数据的挑战,PolarDB 以其出色的性能和可扩展性,成为大数据分析的重要工具。它不仅支持高速数据读写,还通过数据分区、索引优化等策略提升分析效率,适用于电商、金融等多个行业,助力企业精准决策。
34 4
|
26天前
|
机器学习/深度学习 分布式计算 算法
【大数据分析&机器学习】分布式机器学习
本文主要介绍分布式机器学习基础知识,并介绍主流的分布式机器学习框架,结合实例介绍一些机器学习算法。
170 5
|
1月前
|
存储 监控 数据挖掘
【Clikhouse 探秘】ClickHouse 物化视图:加速大数据分析的新利器
ClickHouse 的物化视图是一种特殊表,通过预先计算并存储查询结果,显著提高查询性能,减少资源消耗,适用于实时报表、日志分析、用户行为分析、金融数据分析和物联网数据分析等场景。物化视图的创建、数据插入、更新和一致性保证通过事务机制实现。
141 14
|
1月前
|
消息中间件 分布式计算 大数据
数据为王:大数据处理与分析技术在企业决策中的力量
【10月更文挑战第29天】在信息爆炸的时代,大数据处理与分析技术为企业提供了前所未有的洞察力和决策支持。本文探讨了大数据技术在企业决策中的重要性和实际应用,包括数据的力量、实时分析、数据驱动的决策以及数据安全与隐私保护。通过这些技术,企业能够从海量数据中提取有价值的信息,预测市场趋势,优化业务流程,从而在竞争中占据优势。
112 2
|
1月前
|
并行计算 数据挖掘 大数据
Python数据分析实战:利用Pandas处理大数据集
Python数据分析实战:利用Pandas处理大数据集
下一篇
DataWorks