开发者学堂课程【Hue 大数据可视化终端课程:集成 Oozie 服务&集成 Hbase 服务】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/719/detail/12857
集成 Oozie 服务&集成 Hbase 服务
内容介绍
一、habase 的下载
二、Habase 的启动
三、课后强调
一、habase 的下载
1.安装前提
想要在 hue 访问 Hbase,需要开启 habase thrift 服务,通过这种服务,hue 才可访问 hbase。此服务需要二个参数控制,默认条件下是没有开启的。
在 hbase-site.xml 中需要添加 support.proxyuser,查看是否开启。以及 Regionserver. Thrift 设置为 true
这两个选项开启后,注意需要将配置文件拷贝至其他的 Hbase 安装包,实现数据同步,其次修改 hadoop 配置,以确保 HBase 被授权代理。在 core-site.xml 中需要开启两个参数。
(1)hadoop 允许 Hbase 代理的 hosts。*表示任何主机。Groups 表示可以任何组。
<property>
<name>hadoop.proxyuser.hbse.hosts</name>
<value>*</value>
<property>
</property>
<name>hadoop.proxyuser.hbse.groups</name>
<value>*</value>
</property>
拷贝完成后,注意要拷贝到 hbase 的安装包下,因为在安装 hbase 时 conf 路径下也会需要 core - site .xml。
(2)具体操作
打开服务器, 打开 hbase 的修改文件,cd/export/severs/hbase 中,应该配置在 conf 路径下。直接 vrm 。
注意符号格式规范。写好后之后进行拷贝 node-3,因为还需要运行服务器。
接下来进行 hadoop 配置拷贝,参数比较简答但要注意出来拷贝到 hadoop 外还要拷贝到 hbase 的安装包 conf 路径下 。例如位于 hbase pwd 路径下,发现需要 core-site..xml 以及 hdfs-site.xml,不要修改 hadoop 集群的配置。进行查看,重点为 hbase 代表的用户。都修改完成后,进行保存项目归类,保持项目集群参数一致。重启 hadoop 集群。
二、启动 hbase
启动 hbase,需要注意启动 hdfs 和 hbase,然后再启动 thrift 的协议,分为三步。
启动开始前对 hue 进行整合,hue 中和 hbase 相关的选项非常简答,包括集群的 IP 地址 、配置文件与 thrift servers传输缓存。直接搜索后进行修改。打开配置文件,搜索 habase 。
首先 habse-clusters,是 thrift servers 地址列表,此为服务格式。改变 id 为 node-1 ,下面为 habase 的安装路径,保持一致,根据自身进行修改.最后为 thrift -transport=buffererd,将其注释打开即可。
此时完成配置。进行重启 habase,需要启动 zookeeper,注意必须完成 zookeeper 的启动,不然 habase 的启动注定是失败的。
如果配置是单机版,使用自带的配置也可以搞定。
接下来启动 habase,Start-habase。此时并不会启动 thrift 服务需要使用 habase 脚本,单独的启动 thrift 。如果启动报错,到日志进行查找。启动是否成功,用命令进行验证,使用 hbase 的 shell 命令,观察是否可以访问。可进行查找,比如说当前 user,则说明 habase 启动成功。
接下来,将 hue 进行重新启动 按下键盘 ctrl c 进行中断,中断完成后使用键盘上的上下箭头,执行上一个启动命令,即完成重启。
页面进行刷新,打开浏览器,重点观察 habase 的入口,刷新完成后浏览器界面展示了各种软件的入口。
第一个常见入口 sooure 各种数据库 第二个 oozie 访问分布式植入系统 第三个 collections 访问 sour 集群,最后一个即为 habase 的入口。点击就可以连接到集群。点击刷新,即可出现 user 表,显示表中信息。
如下此表显示两个 rk001、rk002,表中有两个列主 info 以及 data,可点击对应的列主,将相关的各种列与信息进行展示。例如性别女、名字张三。
还可以针对数据进行相关的查询,如果存在其他集群,还可以进行切换。比如说查询 rk001即可查询,并进行数据的删除,编辑。
完成通过 hue 访问 hbase 集群,需要强调的是在 hue 集群时的 zookeep 服务和 thrift 服务是否正常。