开发者社区> 游客eg5u7qfbtj5pk> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

06-PDI(Kettle)读取Hive写入HDFS,读取HDFS写入HBase中(下)

简介: 文章目录 06-PDI(Kettle)读取Hive写入HDFS,读取HDFS写入HBase中 环境准备 1.安装MySQL 1.1mysql安装参考: 1.2安装过程
+关注继续查看

2.读取hive写入HDFS

2.1工作流设计

工作流设计:

image



2.2 具体转换设计

具体步骤项如下:

1)table input 步骤项设置

本步骤用于链接hive中的emp表,hive数据库链接如下:


image



数据库操作sql语句如下:

image



2)emp sorts 步骤项设置

本步骤用于对hive中的数据进行排序:

image


3)table input 2 步骤项设置

本步骤用于链接hive中的dept表,hive数据库链接如下:

image


4)dept sorts 步骤项设置

本步骤用于对hive中的dept数据进行排序:

image



5)Merge join操作

本步骤用于将经过排序的两张表中的数据执行join操作,join选择内链接

image


6)select values步骤项设置

选择字段,本步骤主要用于移除部分字段

image


7)text file output步骤项设置

在open file中选择hdfs文件系统,并进行相关配置。


image


配置完毕后,进行测试,测试结果如下:


image


从测试结果可以看出,zk没有开,开启了hdfs,和yarn

测试通过后,点击ok,选择hdfs上的路径。image



8)运行转换,并查看结果

运行示意图:

image


进入到hdfs所在的机器上,查看输出结果如下:


image


3 读取HDFS写入HBase

需求:将hdfs中sal小于110000的数据保存在hbase中

3.1工作流设计


image



3.2启动HBase

#开启hbase
start-hbase.sh
#进入hbase shell
#建表
create 'emp','info'

3.3具体转换设计

1)转换设计为:

image


2)text file input步骤设计

这一步骤与上一案例中的基本类似

image


选择hdfs的.txt文件

image


.txt中的数据就是emp表的数据,如下


image


2)filter rows步骤设计

通过filter rows过滤出工作小于100000的员工


image


3)HBase output

image


创建映射:选择字符串在hbase shell端不乱码


image


再次配置hbase链接

如果出现:


image


NoSuchColumnFamilyException: Column family table does not exist in region hbase:meta,,1.1588230740 in table 'hbase:meta'


原因:是因为hbase服务端版本过低,客户端版本不能高于服务端版本

解决办法:选择hdp26

查看hbase,并解决命令行查看中文乱码问题

scan 'emp', {FORMATTER => 'toString'}
scan 'emp', {FORMATTER_CLASS => 'org.apache.hadoop.hbase.util.Bytes', FORMATTER => 'toString'}

总结

本文主要描述了基于kettle实现从hive读取数据写入到hdfs,同时实现从HDFS读取数据写入HBase中的完整流程,同时为便于读者能根据本博客实现完整的实验,还参考了部分博客,增加了mysql和hive的安装过程,并针对自己安装过程中遇到的问题,进行了记录。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
06-PDI(Kettle)读取Hive写入HDFS,读取HDFS写入HBase中(上)
文章目录 06-PDI(Kettle)读取Hive写入HDFS,读取HDFS写入HBase中 环境准备 1.安装MySQL 1.1mysql安装参考: 1.2安装过程
0 0
HBase与HDFS之间的WAL(HLog)存储机制答疑解惑
HBase与HDFS之间的WAL(HLog)存储机制答疑解惑
0 0
HDFS/HBase技术报告·分布式数据库设计架构的全面解析
HDFS/HBase技术报告·分布式数据库设计架构的全面解析
0 0
BigData:大数据开发的简介、核心知识(linux基础+Java/Python编程语言+Hadoop{HDFS、HBase、Hive}+Docker)、经典场景应用之详细攻略
BigData:大数据开发的简介、核心知识(linux基础+Java/Python编程语言+Hadoop{HDFS、HBase、Hive}+Docker)、经典场景应用之详细攻略
0 0
在HDFS的HA模式下配置HBase
在HDFS的HA模式下配置HBase
0 0
BigData:大数据开发的简介、核心知识(linux基础+Java/Python编程语言+Hadoop{HDFS、HBase、Hive}+Docker)、经典场景应用之详细攻略
BigData:大数据开发的简介、核心知识(linux基础+Java/Python编程语言+Hadoop{HDFS、HBase、Hive}+Docker)、经典场景应用之详细攻略
0 0
通过Sqoop实现Mysql / Oracle 与HDFS / Hbase互导数据
下文将重点说明通过Sqoop实现Mysql与HDFS互导数据,Mysql与Hbase,Oracle与Hbase的互导最后给出命令。 一、Mysql与HDFS互导数据 环境: 宿主机器操作系统为Win7,Mysql安装在宿主机上,宿主机地址为192.168.66.96 3台虚拟机操作系统为Ubuntu-12.04.1-32位 三台虚拟机已成功安装hadoop,并实现免密钥互访,配hosts为: 192.168.66.91 masternode 192.168.66.92 slavenode1 192.168.66.93 slavenode2 /etc/profile已配置好必备环境变量HADOO
0 0
大数据平台解决方案,Hadoop + HDFS+Hive+Hbase大数据开发整体架构设计
HDFS:分布式、高度容错性文件系统,能提供高吞吐量的数据访问,非常适合大规模数据集上的应用,大规模的波若大数据平台(BR-odp)用户部署上1000台的HDFS集群。
2392 0
文章
问答
文章排行榜
最热
最新
相关电子书
更多
海量数据分布式存储——Apache HDFS之最新进展
立即下载
HBase在时间序列数据库中的应用
立即下载
HBase Coprocessor的实现与应用
立即下载