集成 Oozie 服务&集成 Hbase 服务 | 学习笔记

简介: 快速学习 集成 Oozie 服务&集成 Hbase 服务

开发者学堂课程【Hue 大数据可视化终端课程集成 Oozie 服务&集成 Hbase 服务学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/719/detail/12857


集成 Oozie 服务&集成 Hbase 服务


内容介绍

一、habase 的下载

二、Habase 的启动

三、课后强调

 

一、habase 的下载

1.安装前提

想要在 hue 访问 Hbase,需要开启 habase thrift 服务,通过这种服务,hue 才可访问 hbase。此服务需要二个参数控制,默认条件下是没有开启的。

hbase-site.xml 中需要添加 support.proxyuser,查看是否开启。以及 Regionserver. Thrift 设置为 true

这两个选项开启后,注意需要将配置文件拷贝至其他的 Hbase 安装包,实现数据同步,其次修改 hadoop 配置,以确保 HBase 被授权代理。在 core-site.xml 中需要开启两个参数。

1hadoop 允许 Hbase 代理的 hosts*表示任何主机。Groups 表示可以任何组。

<property>

<name>hadoop.proxyuser.hbse.hosts</name>

<value>*</value>

<property>

</property>

<name>hadoop.proxyuser.hbse.groups</name>

<value>*</value>

</property>

拷贝完成后,注意要拷贝到 hbase 的安装包下,因为在安装 hbase conf 路径下也会需要 core - site .xml

2)具体操作

打开服务器, 打开 hbase 的修改文件,cd/export/severs/hbase  中,应该配置在 conf 路径下。直接 vrm

image.png

注意符号格式规范。写好后之后进行拷贝 node-3,因为还需要运行服务器。

接下来进行 hadoop 配置拷贝,参数比较简答但要注意出来拷贝到 hadoop 外还要拷贝到 hbase 的安装包 conf 路径下 。例如位于 hbase pwd 路径下,发现需要 core-site..xml 以及 hdfs-site.xml,不要修改 hadoop 集群的配置。进行查看,重点为 hbase 代表的用户。都修改完成后,进行保存项目归类,保持项目集群参数一致。重启 hadoop 集群。

 

二、启动 hbase

启动 hbase,需要注意启动 hdfs hbase,然后再启动 thrift 的协议,分为三步。

启动开始前对 hue 进行整合,hue 中和 hbase 相关的选项非常简答,包括集群的 IP 地址 、配置文件与 thrift servers传输缓存。直接搜索后进行修改。打开配置文件,搜索 habase

image.png

首先 habse-clusters,是 thrift servers 地址列表,此为服务格式。改变 id node-1 ,下面为 habase 的安装路径,保持一致,根据自身进行修改.最后为 thrift -transport=buffererd,将其注释打开即可。

此时完成配置。进行重启 habase,需要启动 zookeeper,注意必须完成 zookeeper 的启动,不然 habase 的启动注定是失败的。

如果配置是单机版,使用自带的配置也可以搞定。

接下来启动 habaseStart-habase。此时并不会启动 thrift 服务需要使用 habase 脚本,单独的启动 thrift 。如果启动报错,到日志进行查找。启动是否成功,用命令进行验证,使用 hbase shell 命令,观察是否可以访问。可进行查找,比如说当前 user,则说明 habase 启动成功。

image.png

接下来,将 hue 进行重新启动 按下键盘 ctrl c  进行中断,中断完成后使用键盘上的上下箭头,执行上一个启动命令,即完成重启。

页面进行刷新,打开浏览器,重点观察 habase 的入口,刷新完成后浏览器界面展示了各种软件的入口。

image.png

第一个常见入口 sooure 各种数据库 第二个 oozie 访问分布式植入系统 第三个 collections 访问 sour 集群,最后一个即为 habase 的入口。点击就可以连接到集群。点击刷新,即可出现 user 表,显示表中信息。

如下此表显示两个 rk001rk002,表中有两个列主 info 以及 data,可点击对应的列主,将相关的各种列与信息进行展示。例如性别女、名字张三。

还可以针对数据进行相关的查询,如果存在其他集群,还可以进行切换。比如说查询 rk001即可查询,并进行数据的删除,编辑。

image.png

完成通过 hue 访问 hbase 集群,需要强调的是在 hue 集群时的 zookeep 服务和 thrift 服务是否正常。

相关实践学习
lindorm多模间数据无缝流转
展现了Lindorm多模融合能力——用kafka API写入,无缝流转在各引擎内进行数据存储和计算的实验。
云数据库HBase版使用教程
&nbsp; 相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情:&nbsp;https://cn.aliyun.com/product/hbase &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
2月前
|
存储 数据可视化 Java
基于MicrometerTracing门面和Zipkin实现集成springcloud2023的服务追踪
Sleuth将会停止维护,Sleuth最新版本也只支持springboot2。作为替代可以使用MicrometerTracing在微服务中作为服务追踪的工具。
143 1
|
20天前
|
机器学习/深度学习 人工智能 自然语言处理
Voice-Pro:开源AI音频处理工具,集成转录、翻译、TTS等一站式服务
Voice-Pro是一款开源的多功能音频处理工具,集成了语音转文字、文本转语音、实时翻译、YouTube视频下载和人声分离等多种功能。它支持超过100种语言,适用于教育、娱乐和商业等多个领域,为用户提供一站式的音频处理解决方案,极大地提高工作效率和音频处理的便捷性。
91 10
Voice-Pro:开源AI音频处理工具,集成转录、翻译、TTS等一站式服务
|
1月前
|
安全 测试技术 数据安全/隐私保护
原生鸿蒙应用市场开发者服务的技术解析:从集成到应用发布的完整体验
原生鸿蒙应用市场开发者服务的技术解析:从集成到应用发布的完整体验
|
2月前
|
存储 Java 开发工具
【三方服务集成】最新版 | 阿里云OSS对象存储服务使用教程(包含OSS工具类优化、自定义阿里云OSS服务starter)
阿里云OSS(Object Storage Service)是一种安全、可靠且成本低廉的云存储服务,支持海量数据存储。用户可通过网络轻松存储和访问各类文件,如文本、图片、音频和视频等。使用OSS后,项目中的文件上传业务无需在服务器本地磁盘存储文件,而是直接上传至OSS,由其管理和保障数据安全。此外,介绍了OSS服务的开通流程、Bucket创建、AccessKey配置及环境变量设置,并提供了Java SDK示例代码,帮助用户快速上手。最后,展示了如何通过自定义starter简化工具类集成,实现便捷的文件上传功能。
【三方服务集成】最新版 | 阿里云OSS对象存储服务使用教程(包含OSS工具类优化、自定义阿里云OSS服务starter)
|
2月前
|
开发框架 .NET API
Windows Forms应用程序中集成一个ASP.NET API服务
Windows Forms应用程序中集成一个ASP.NET API服务
109 9
|
2月前
|
安全 Java 测试技术
ToB项目身份认证AD集成(二):快速搞定window server 2003部署AD域服务并支持ssl
本文详细介绍了如何搭建本地AD域控测试环境,包括安装AD域服务、测试LDAP接口及配置LDAPS的过程。通过运行自签名证书生成脚本和手动部署证书,实现安全的SSL连接,适用于ToB项目的身份认证集成。文中还提供了相关系列文章链接,便于读者深入了解AD和LDAP的基础知识。
|
3月前
|
编解码 Linux 开发工具
Linux平台x86_64|aarch64架构RTMP推送|轻量级RTSP服务模块集成说明
支持x64_64架构、aarch64架构(需要glibc-2.21及以上版本的Linux系统, 需要libX11.so.6, 需要GLib–2.0, 需安装 libstdc++.so.6.0.21、GLIBCXX_3.4.21、 CXXABI_1.3.9)。
|
3月前
|
分布式计算 Java Hadoop
java使用hbase、hadoop报错举例
java使用hbase、hadoop报错举例
121 4
|
2月前
|
分布式计算 Hadoop Shell
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
80 4
|
2月前
|
SQL 分布式计算 Hadoop
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
38 3