集成 Oozie 服务&集成 Hbase 服务 | 学习笔记

简介: 快速学习 集成 Oozie 服务&集成 Hbase 服务

开发者学堂课程【Hue 大数据可视化终端课程集成 Oozie 服务&集成 Hbase 服务学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/719/detail/12857


集成 Oozie 服务&集成 Hbase 服务


内容介绍

一、habase 的下载

二、Habase 的启动

三、课后强调

 

一、habase 的下载

1.安装前提

想要在 hue 访问 Hbase,需要开启 habase thrift 服务,通过这种服务,hue 才可访问 hbase。此服务需要二个参数控制,默认条件下是没有开启的。

hbase-site.xml 中需要添加 support.proxyuser,查看是否开启。以及 Regionserver. Thrift 设置为 true

这两个选项开启后,注意需要将配置文件拷贝至其他的 Hbase 安装包,实现数据同步,其次修改 hadoop 配置,以确保 HBase 被授权代理。在 core-site.xml 中需要开启两个参数。

1hadoop 允许 Hbase 代理的 hosts*表示任何主机。Groups 表示可以任何组。

<property>

<name>hadoop.proxyuser.hbse.hosts</name>

<value>*</value>

<property>

</property>

<name>hadoop.proxyuser.hbse.groups</name>

<value>*</value>

</property>

拷贝完成后,注意要拷贝到 hbase 的安装包下,因为在安装 hbase conf 路径下也会需要 core - site .xml

2)具体操作

打开服务器, 打开 hbase 的修改文件,cd/export/severs/hbase  中,应该配置在 conf 路径下。直接 vrm

image.png

注意符号格式规范。写好后之后进行拷贝 node-3,因为还需要运行服务器。

接下来进行 hadoop 配置拷贝,参数比较简答但要注意出来拷贝到 hadoop 外还要拷贝到 hbase 的安装包 conf 路径下 。例如位于 hbase pwd 路径下,发现需要 core-site..xml 以及 hdfs-site.xml,不要修改 hadoop 集群的配置。进行查看,重点为 hbase 代表的用户。都修改完成后,进行保存项目归类,保持项目集群参数一致。重启 hadoop 集群。

 

二、启动 hbase

启动 hbase,需要注意启动 hdfs hbase,然后再启动 thrift 的协议,分为三步。

启动开始前对 hue 进行整合,hue 中和 hbase 相关的选项非常简答,包括集群的 IP 地址 、配置文件与 thrift servers传输缓存。直接搜索后进行修改。打开配置文件,搜索 habase

image.png

首先 habse-clusters,是 thrift servers 地址列表,此为服务格式。改变 id node-1 ,下面为 habase 的安装路径,保持一致,根据自身进行修改.最后为 thrift -transport=buffererd,将其注释打开即可。

此时完成配置。进行重启 habase,需要启动 zookeeper,注意必须完成 zookeeper 的启动,不然 habase 的启动注定是失败的。

如果配置是单机版,使用自带的配置也可以搞定。

接下来启动 habaseStart-habase。此时并不会启动 thrift 服务需要使用 habase 脚本,单独的启动 thrift 。如果启动报错,到日志进行查找。启动是否成功,用命令进行验证,使用 hbase shell 命令,观察是否可以访问。可进行查找,比如说当前 user,则说明 habase 启动成功。

image.png

接下来,将 hue 进行重新启动 按下键盘 ctrl c  进行中断,中断完成后使用键盘上的上下箭头,执行上一个启动命令,即完成重启。

页面进行刷新,打开浏览器,重点观察 habase 的入口,刷新完成后浏览器界面展示了各种软件的入口。

image.png

第一个常见入口 sooure 各种数据库 第二个 oozie 访问分布式植入系统 第三个 collections 访问 sour 集群,最后一个即为 habase 的入口。点击就可以连接到集群。点击刷新,即可出现 user 表,显示表中信息。

如下此表显示两个 rk001rk002,表中有两个列主 info 以及 data,可点击对应的列主,将相关的各种列与信息进行展示。例如性别女、名字张三。

还可以针对数据进行相关的查询,如果存在其他集群,还可以进行切换。比如说查询 rk001即可查询,并进行数据的删除,编辑。

image.png

完成通过 hue 访问 hbase 集群,需要强调的是在 hue 集群时的 zookeep 服务和 thrift 服务是否正常。

相关文章
|
6月前
|
人工智能 API 开发工具
GitHub官方开源MCP服务!GitHub MCP Server:无缝集成GitHub API,实现Git流程完全自动化
GitHub MCP Server是基于Model Context Protocol的服务器工具,提供与GitHub API的无缝集成,支持自动化处理问题、Pull Request和仓库管理等功能。
1135 2
GitHub官方开源MCP服务!GitHub MCP Server:无缝集成GitHub API,实现Git流程完全自动化
|
10月前
|
机器学习/深度学习 人工智能 自然语言处理
Voice-Pro:开源AI音频处理工具,集成转录、翻译、TTS等一站式服务
Voice-Pro是一款开源的多功能音频处理工具,集成了语音转文字、文本转语音、实时翻译、YouTube视频下载和人声分离等多种功能。它支持超过100种语言,适用于教育、娱乐和商业等多个领域,为用户提供一站式的音频处理解决方案,极大地提高工作效率和音频处理的便捷性。
718 10
Voice-Pro:开源AI音频处理工具,集成转录、翻译、TTS等一站式服务
|
11月前
|
安全 测试技术 数据安全/隐私保护
原生鸿蒙应用市场开发者服务的技术解析:从集成到应用发布的完整体验
原生鸿蒙应用市场开发者服务的技术解析:从集成到应用发布的完整体验
|
12月前
|
开发框架 .NET API
Windows Forms应用程序中集成一个ASP.NET API服务
Windows Forms应用程序中集成一个ASP.NET API服务
203 9
|
12月前
|
安全 Java 测试技术
ToB项目身份认证AD集成(二):快速搞定window server 2003部署AD域服务并支持ssl
本文详细介绍了如何搭建本地AD域控测试环境,包括安装AD域服务、测试LDAP接口及配置LDAPS的过程。通过运行自签名证书生成脚本和手动部署证书,实现安全的SSL连接,适用于ToB项目的身份认证集成。文中还提供了相关系列文章链接,便于读者深入了解AD和LDAP的基础知识。
498 0
|
5月前
|
分布式计算 Ubuntu Hadoop
Ubuntu22.04下搭建Hadoop3.3.6+Hbase2.5.6+Phoenix5.1.3开发环境的指南
呈上,这些步骤如诗如画,但有效且动人。仿佛一个画家在画布上描绘出一幅完美的画面,这就是你的开发环境。接下来,尽情去创造吧,祝编程愉快!
240 19
|
分布式计算 Java Hadoop
java使用hbase、hadoop报错举例
java使用hbase、hadoop报错举例
253 4
|
12月前
|
分布式计算 Hadoop Shell
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
243 4
|
12月前
|
SQL 分布式计算 Hadoop
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
112 3
|
12月前
|
分布式计算 Hadoop Shell
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
150 3