开发者社区> 技术小牛人> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

kettle spoon连接hbase

简介:
+关注继续查看

spoon下载安装地址:http://www.pentaho.com/download

选择  Download Windows ,只有windows 版的才是spoon,下载解压后即可使用,无需安装。

spoon是纯java编写的,所以使用前必需安装java的jdk包

下载地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html

连接HBase需要配置(实际连接HBase是通过zookeeper服务)

进入spoon解压目录,打开 plugins\pentaho-big-data-plugin\plugin.properties 文件

wKiom1V6T1zhI5tvAANfk5HrmEA064.jpg

修改  active.hadoop.configuration 配置项(配置驱动集目录名),默认这里为空。当前已经修改好。

进入目录 plugins\pentaho-big-data-plugin\hadoop-configurations 查看当前可用驱动集目录

wKioL1V6Uw6Bn4SVAAHNZD0BLoo146.jpg

里面的4个目录均为 hadoop-configurations 驱动集,链接HBase 需要 zookeeper-*.jar 文件

如在cdh52目录 lib 下:

wKioL1V6VAaSbHIBAANfL7yknK0523.jpg

那么 cdh52 就驱动集可以使用。



HBase启动时会绑定服务器的hostname值,所以在spoon机器中需要绑定相同的host否则无法连接。

在HBase机器上输入命令:

1
hostname

如:

1
2
root@ubuntu:~# hostname
ubuntu

然后修改spoon机器上的hosts

打开 C:\Windows\System32\drivers\etc\hosts 文件

如HBase服务器的IP是 192.168.0.10

则在 hosts 文件中新加一行,并保存。

1
192.168.0.10 ubuntu


打开spoon,进入spoon解压目录双击 Spoon.bat 文件

注:其实在linux下也可以运行(远程连接不行)只要打开spoon.sh脚本即可

新建转换,并且点击 Big Data > HBase Input

wKiom1V6WRmgKrRxAAKWkYZubnc066.jpg


双击 HBase Input 图标 >  点击New 弹出编辑 Hadoop cluster窗口

wKioL1V6amHBCVRlAAFtH6esi2I084.jpg

修改Cluster Name 值(即这个HBase 连接别名),修改ZooKeeper 如HBase所在服务器IP为192.168.0.10 默认HBase 端口号为 2182

wKiom1V6aYegtVpfAAFta83RSCU163.jpg

确定,然后在 Hadoop Cluster 选中 hbase-test

wKiom1V6bBOzHgaiAAHheCcZuRc636.jpg


进入Create/Edit mappings选择卡,按以下步骤操作

wKioL1V6cuODaaDpAAOHv_6i7Q0379.jpg

然后返回 Configure query 选项卡,按步骤操作

wKioL1V6fbvzD5a6AASY4jt-GQI436.jpg


然后鼠标右键HBase Input > 选择Preview  > 快速启动

即可查看数据。


spoon下载安装地址:http://www.pentaho.com/download

选择  Download Windows ,只有windows 版的才是spoon,下载解压后即可使用,无需安装。

spoon是纯java编写的,所以使用前必需安装java的jdk包

下载地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html

连接HBase需要配置(实际连接HBase是通过zookeeper服务)

进入spoon解压目录,打开 plugins\pentaho-big-data-plugin\plugin.properties 文件

wKiom1V6T1zhI5tvAANfk5HrmEA064.jpg

修改  active.hadoop.configuration 配置项(配置驱动集目录名),默认这里为空。当前已经修改好。

进入目录 plugins\pentaho-big-data-plugin\hadoop-configurations 查看当前可用驱动集目录

wKioL1V6Uw6Bn4SVAAHNZD0BLoo146.jpg

里面的4个目录均为 hadoop-configurations 驱动集,链接HBase 需要 zookeeper-*.jar 文件

如在cdh52目录 lib 下:

wKioL1V6VAaSbHIBAANfL7yknK0523.jpg

那么 cdh52 就驱动集可以使用。



HBase启动时会绑定服务器的hostname值,所以在spoon机器中需要绑定相同的host否则无法连接。

在HBase机器上输入命令:

1
hostname

如:

1
2
root@ubuntu:~# hostname
ubuntu

然后修改spoon机器上的hosts

打开 C:\Windows\System32\drivers\etc\hosts 文件

如HBase服务器的IP是 192.168.0.10

则在 hosts 文件中新加一行,并保存。

1
192.168.0.10 ubuntu


打开spoon,进入spoon解压目录双击 Spoon.bat 文件

注:其实在linux下也可以运行(远程连接不行)只要打开spoon.sh脚本即可

新建转换,并且点击 Big Data > HBase Input

wKiom1V6WRmgKrRxAAKWkYZubnc066.jpg


双击 HBase Input 图标 >  点击New 弹出编辑 Hadoop cluster窗口

wKioL1V6amHBCVRlAAFtH6esi2I084.jpg

修改Cluster Name 值(即这个HBase 连接别名),修改ZooKeeper 如HBase所在服务器IP为192.168.0.10 默认HBase 端口号为 2182

wKiom1V6aYegtVpfAAFta83RSCU163.jpg

确定,然后在 Hadoop Cluster 选中 hbase-test

wKiom1V6bBOzHgaiAAHheCcZuRc636.jpg


进入Create/Edit mappings选择卡,按以下步骤操作

wKioL1V6cuODaaDpAAOHv_6i7Q0379.jpg

然后返回 Configure query 选项卡,按步骤操作

wKioL1V6fbvzD5a6AASY4jt-GQI436.jpg


然后鼠标右键HBase Input > 选择Preview  > 快速启动

即可查看数据。

本文转自  ttlxihuan    51CTO博客,原文链接:http://blog.51cto.com/php2012web/1661247

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
spring-data-redis 连接泄漏(下)
spring-data-redis 连接泄漏(下)
70 0
Spark与HBase的整合
之前因为仅仅是把HBase当成一个可横向扩展并且具有持久化能力的KV数据库,所以只用在了指标存储上,参看很早之前的一篇文章基于HBase做Storm 实时计算指标存储。这次将HBase用在了用户行为存储上,因为Rowkey的过滤功能也很不错,可以很方便的把按人或者内容的维度过滤出所有的行为。
3077 0
MapReduce on Hbase
org.apache.hadoop.hbase.mapreduce TableMapper  TableReducer 一个region对应一个map import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfigura
1236 0
spark访问hbase
import org.apache.hadoop.hbase.{HBaseConfiguration, HTableDescriptor} import org.apache.hadoop.hbase.mapreduce.TableInputFormat import org.apache.spark.rdd.NewHadoopRDD val conf = HBaseConfigurat
1553 0
Failed setting up proxy interface org.apache.hadoop.hbase.ipc.HRegionInterface
搭建hbase的时候遇到这个问题org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed setting up proxy interface org.
665 0
5723
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载