集成 Oozie 服务&集成 Hbase 服务 | 学习笔记

简介: 快速学习 集成 Oozie 服务&集成 Hbase 服务

开发者学堂课程【Hue 大数据可视化终端课程集成 Oozie 服务&集成 Hbase 服务学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/719/detail/12857


集成 Oozie 服务&集成 Hbase 服务


内容介绍

一、habase 的下载

二、Habase 的启动

三、课后强调

 

一、habase 的下载

1.安装前提

想要在 hue 访问 Hbase,需要开启 habase thrift 服务,通过这种服务,hue 才可访问 hbase。此服务需要二个参数控制,默认条件下是没有开启的。

hbase-site.xml 中需要添加 support.proxyuser,查看是否开启。以及 Regionserver. Thrift 设置为 true

这两个选项开启后,注意需要将配置文件拷贝至其他的 Hbase 安装包,实现数据同步,其次修改 hadoop 配置,以确保 HBase 被授权代理。在 core-site.xml 中需要开启两个参数。

1hadoop 允许 Hbase 代理的 hosts*表示任何主机。Groups 表示可以任何组。

<property>

<name>hadoop.proxyuser.hbse.hosts</name>

<value>*</value>

<property>

</property>

<name>hadoop.proxyuser.hbse.groups</name>

<value>*</value>

</property>

拷贝完成后,注意要拷贝到 hbase 的安装包下,因为在安装 hbase conf 路径下也会需要 core - site .xml

2)具体操作

打开服务器, 打开 hbase 的修改文件,cd/export/severs/hbase  中,应该配置在 conf 路径下。直接 vrm

image.png

注意符号格式规范。写好后之后进行拷贝 node-3,因为还需要运行服务器。

接下来进行 hadoop 配置拷贝,参数比较简答但要注意出来拷贝到 hadoop 外还要拷贝到 hbase 的安装包 conf 路径下 。例如位于 hbase pwd 路径下,发现需要 core-site..xml 以及 hdfs-site.xml,不要修改 hadoop 集群的配置。进行查看,重点为 hbase 代表的用户。都修改完成后,进行保存项目归类,保持项目集群参数一致。重启 hadoop 集群。

 

二、启动 hbase

启动 hbase,需要注意启动 hdfs hbase,然后再启动 thrift 的协议,分为三步。

启动开始前对 hue 进行整合,hue 中和 hbase 相关的选项非常简答,包括集群的 IP 地址 、配置文件与 thrift servers传输缓存。直接搜索后进行修改。打开配置文件,搜索 habase

image.png

首先 habse-clusters,是 thrift servers 地址列表,此为服务格式。改变 id node-1 ,下面为 habase 的安装路径,保持一致,根据自身进行修改.最后为 thrift -transport=buffererd,将其注释打开即可。

此时完成配置。进行重启 habase,需要启动 zookeeper,注意必须完成 zookeeper 的启动,不然 habase 的启动注定是失败的。

如果配置是单机版,使用自带的配置也可以搞定。

接下来启动 habaseStart-habase。此时并不会启动 thrift 服务需要使用 habase 脚本,单独的启动 thrift 。如果启动报错,到日志进行查找。启动是否成功,用命令进行验证,使用 hbase shell 命令,观察是否可以访问。可进行查找,比如说当前 user,则说明 habase 启动成功。

image.png

接下来,将 hue 进行重新启动 按下键盘 ctrl c  进行中断,中断完成后使用键盘上的上下箭头,执行上一个启动命令,即完成重启。

页面进行刷新,打开浏览器,重点观察 habase 的入口,刷新完成后浏览器界面展示了各种软件的入口。

image.png

第一个常见入口 sooure 各种数据库 第二个 oozie 访问分布式植入系统 第三个 collections 访问 sour 集群,最后一个即为 habase 的入口。点击就可以连接到集群。点击刷新,即可出现 user 表,显示表中信息。

如下此表显示两个 rk001rk002,表中有两个列主 info 以及 data,可点击对应的列主,将相关的各种列与信息进行展示。例如性别女、名字张三。

还可以针对数据进行相关的查询,如果存在其他集群,还可以进行切换。比如说查询 rk001即可查询,并进行数据的删除,编辑。

image.png

完成通过 hue 访问 hbase 集群,需要强调的是在 hue 集群时的 zookeep 服务和 thrift 服务是否正常。

相关实践学习
lindorm多模间数据无缝流转
展现了Lindorm多模融合能力——用kafka API写入,无缝流转在各引擎内进行数据存储和计算的实验。
云数据库HBase版使用教程
&nbsp; 相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情:&nbsp;https://cn.aliyun.com/product/hbase &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
1月前
|
存储 数据可视化 Java
基于MicrometerTracing门面和Zipkin实现集成springcloud2023的服务追踪
Sleuth将会停止维护,Sleuth最新版本也只支持springboot2。作为替代可以使用MicrometerTracing在微服务中作为服务追踪的工具。
91 1
|
17天前
|
安全 测试技术 数据安全/隐私保护
原生鸿蒙应用市场开发者服务的技术解析:从集成到应用发布的完整体验
原生鸿蒙应用市场开发者服务的技术解析:从集成到应用发布的完整体验
|
1月前
|
存储 Java 开发工具
【三方服务集成】最新版 | 阿里云OSS对象存储服务使用教程(包含OSS工具类优化、自定义阿里云OSS服务starter)
阿里云OSS(Object Storage Service)是一种安全、可靠且成本低廉的云存储服务,支持海量数据存储。用户可通过网络轻松存储和访问各类文件,如文本、图片、音频和视频等。使用OSS后,项目中的文件上传业务无需在服务器本地磁盘存储文件,而是直接上传至OSS,由其管理和保障数据安全。此外,介绍了OSS服务的开通流程、Bucket创建、AccessKey配置及环境变量设置,并提供了Java SDK示例代码,帮助用户快速上手。最后,展示了如何通过自定义starter简化工具类集成,实现便捷的文件上传功能。
【三方服务集成】最新版 | 阿里云OSS对象存储服务使用教程(包含OSS工具类优化、自定义阿里云OSS服务starter)
|
1月前
|
开发框架 .NET API
Windows Forms应用程序中集成一个ASP.NET API服务
Windows Forms应用程序中集成一个ASP.NET API服务
90 9
|
28天前
|
安全 Java 测试技术
ToB项目身份认证AD集成(二):快速搞定window server 2003部署AD域服务并支持ssl
本文详细介绍了如何搭建本地AD域控测试环境,包括安装AD域服务、测试LDAP接口及配置LDAPS的过程。通过运行自签名证书生成脚本和手动部署证书,实现安全的SSL连接,适用于ToB项目的身份认证集成。文中还提供了相关系列文章链接,便于读者深入了解AD和LDAP的基础知识。
|
4月前
|
监控 druid Java
spring boot 集成配置阿里 Druid监控配置
spring boot 集成配置阿里 Druid监控配置
287 6
|
4月前
|
Java 关系型数据库 MySQL
如何实现Springboot+camunda+mysql的集成
【7月更文挑战第2天】集成Spring Boot、Camunda和MySQL的简要步骤: 1. 初始化Spring Boot项目,添加Camunda和MySQL驱动依赖。 2. 配置`application.properties`,包括数据库URL、用户名和密码。 3. 设置Camunda引擎属性,指定数据源。 4. 引入流程定义文件(如`.bpmn`)。 5. 创建服务处理流程操作,创建控制器接收请求。 6. Camunda自动在数据库创建表结构。 7. 启动应用,测试流程启动,如通过服务和控制器开始流程实例。 示例代码包括服务类启动流程实例及控制器接口。实际集成需按业务需求调整。
363 4
|
4月前
|
消息中间件 Java 测试技术
【RocketMQ系列八】SpringBoot集成RocketMQ-实现普通消息和事务消息
【RocketMQ系列八】SpringBoot集成RocketMQ-实现普通消息和事务消息
317 1
|
5月前
|
消息中间件 Java Kafka
springboot集成kafka
springboot集成kafka
168 2
|
4月前
|
消息中间件 Java Kafka
Spring Boot与Apache Kafka Streams的集成
Spring Boot与Apache Kafka Streams的集成