开发者社区> 游客eg5u7qfbtj5pk> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

06-PDI(Kettle)读取Hive写入HDFS,读取HDFS写入HBase中(上)

简介: 文章目录 06-PDI(Kettle)读取Hive写入HDFS,读取HDFS写入HBase中 环境准备 1.安装MySQL 1.1mysql安装参考: 1.2安装过程
+关注继续查看

06-PDI(Kettle)读取Hive写入HDFS,读取HDFS写入HBase中

本文主要通过Kettle完成对Hive和HBase中数据的读写工作,为了便于按照文档即可实现Kettle的读写Hive和HBase,文本前面也介绍下Hive的安装过程,如何Hive已经完成安装,可跳过前面即可。

实验环境:

cetnos7.4

环境准备

1.安装MySQL

1.1mysql安装参考:

centos7下使用mysql安装包安装mysql5.7

https://www.cnblogs.com/wpnr/p/14072634.html


CentOS7安装MySQL

https://www.cnblogs.com/bigbrotherer/p/7241845.html


1.2安装过程

在CentOS中默认安装有MariaDB,这个是MySQL的分支,但为了需要,还是要在系统中安装MySQL,而且安装完成之后可以直接覆盖掉MariaDB。

1) 下载并安装MySQL

安装官方的 Yum Repository

[root@localhost ~]# wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm

使用上面的命令就直接下载了安装用的Yum Repository,大概25KB的样子,然后就可以直接yum安装了。

[root@localhost ~]# yum -y install mysql57-community-release-el7-10.noarch.rpm

之后就开始安装MySQL服务器。

[root@localhost ~]# yum -y install mysql-community-server

这步可能会花些时间,安装完成后就会覆盖掉之前的mariadb。


image


2) MySQL数据库设置

首先启动MySQL

[root@localhost ~]# systemctl start  mysqld.service

查看MySQL运行状态,运行状态如图:

[root@localhost ~]# systemctl status mysqld.service
• 1

image



此时MySQL已经开始正常运行,不过要想进入MySQL还得先找出此时root用户的密码,通过如下命令可以在日志文件中找出密码:

[root@localhost ~]# grep "password" /var/log/mysqld.log

image


如下命令进入数据库:

[root@localhost ~]# mysql -uroot -p

输入初始密码,此时不能做任何事情,因为MySQL默认必须修改密码之后才能操作数据库:

mysql> ALTER USER 'root'@'localhost' IDENTIFIED BY 'new password';

这里有个问题,新密码设置的时候如果设置的过于简单会报错:


image


 原因是因为MySQL有密码设置的规范,具体是与validate_password_policy的值有关:


image


 MySQL完整的初始密码规则可以通过如下命令查看:

mysql> SHOW VARIABLES LIKE 'validate_password%';
+--------------------------------------+-------+
| Variable_name                        | Value |
+--------------------------------------+-------+
| validate_password_check_user_name    | OFF   |
| validate_password_dictionary_file    |       |
| validate_password_length             | 4     |
| validate_password_mixed_case_count   | 1     |
| validate_password_number_count       | 1     |
| validate_password_policy             | LOW   |
| validate_password_special_char_count | 1     |
+--------------------------------------+-------+
7 rows in set (0.01 sec)

密码的长度是由validate_password_length决定的,而validate_password_length的计算公式是:


validate_password_length = validate_password_number_count + validate_password_special_char_count + (2 * validate_password_mixed_case_count)


我的是已经修改过的,初始情况下第一个的值是ON,validate_password_length是8。可以通过如下命令修改:


mysql> set global validate_password_policy=0;
mysql> set global validate_password_length=1;

设置之后就是我上面查出来的那几个值了,此时密码就可以设置的很简单,例如1234之类的。到此数据库的密码设置就完成了。


但此时还有一个问题,就是因为安装了Yum Repository,以后每次yum操作都会自动更新,需要把这个卸载掉:


[root@localhost ~]# yum -y remove mysql57-community-release-el7-10.noarch

此时才算真的完成了。

2.安装HIVE

2.1参考:

https://blog.csdn.net/qq_44870331/article/details/116733919

2.2hadoop配置:

mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

yarn-site.xml

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>cm-cdh20</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

2.3hive安装过程

1)下载hive:

1.下载HIVE:

yum -y install wget
wget https://dlcdn.apache.org/hive/stable-2/apache-hive-2.3.9-bin.tar.gz 

2.解压安装hive:

tar -zxvf apache-hive-2.3.9-bin.tar.gz

3 重命名hive

mv apache-hive-2.3.9-bin /opt/apps/hive

4 配置hive环境变量

vi ~/.bash_profile 
or
vi /etc/profile

vi用法:

输入v+ j/k/h/l   进行文本选中
 对于选中的文本进行如下按键:
  (1.1)d   ------ 剪切操作
  (1.2)y   -------复制操作
  (1.3)p   -------粘贴操作
  (1.4)^  --------选中当前行,光标位置到行首(或者使用键盘的HOME键)
  (1.5)$  --------选中当前行,光标位置到行尾(或者使用键盘的END键)
(2)Visual Line模式  按键V可以进入
    按键V之后,进入Visual Line模式,使用 j/k键可以选中一行或者多行
(3)Visual Block模式,按键Ctrl + V可以进入
    按键Ctrl+V之后,进入Visual Block模式,使用 j/k/h/l键可以选中一块

5 添加

export HIVE_HOME=/opt/apps/hive
export PATH=$HIVE_HOME/bin:$PATH

6 刷新配置文件

source ~/.bash_profile
or
source /etc/profile

7 文件移动到 hive的lib

将mysql-connector-java-5.1.49.jar 文件移动到 hive的lib文件夹下

find / -name mysql-connectors-java*
cp mysql-connector-java-5.1.49.jar $HIVE_HOME/lib

8 创建数据库,配置用户和权限

(1)创建数据库

mysql>create database metastore;

(2)创建MySQL的 用户hive,密码new_passwd 并赋予权限*

mysql>grant all on metastore.* to hive@'%' identified by 'new_passwd';
mysql>grant all on metastore.* to hive@'localhost' identified by 'new_passwd';
mysql>grant all on *.* to root@'%' identified by 'new_passwd';

(3)刷新MySQL权限

mysql>flush privileges;

用命令创建:hive数据库

[root@master ~]# mysql -u root -p
mysql>create database hive;

2)hive配置文件

1 进入Hive的配置文件所在路径

cd $HIVE_HOME/conf
cp hive-env.sh.template hive-env.sh
cp hive-default.xml.template hive-site.xml
cp hive-log4j2.properties.template hive-log4j2.properties
cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties  

2.修改hive-env.sh


vi hive-env.sh


如果没有配置以下环境变量/或是系统有jdk,hadoop多个环境, 可以手动指定想要版本的地址


export JAVA_HOME=/opt/apps/jdk
export HADOOP_HOME=/opt/apps/hadoop

3.增加hive-site.xml

vi hive-site.xml

用于配置MySQL的关联

注意:下面xml里的ConnectionUserName和ConnectionPassword配置的是mysql的用户名密码,

上文已经设置过都是hive,如果上文自己设置别的用户名密码,请自行修改.

 <?xml version="1.0" encoding="UTF-8" standalone="no"?>
    <configuration>
    <property>
      <name>hive.exec.scratchdir</name>
      <value>/opt/apps/hive/tmp</value>
    </property>
    <!--默认的存储地址-->
    <property>
      <name>hive.metastore.warehouse.dir</name>
      <value>hdfs://cm-cdh20:9000/user/hive/warehouse</value>
      <!--
      <value>/opt/apps/hive/warehouse</value>
      -->
    </property>
    
    <property>
      <name>hive.querylog.location</name>
      <value>/opt/hive/log</value>
    </property>
    <!-- 配置 MySQL 数据库连接信息 -->
    <property>
      <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://192.168.33.200:3306/hive?createDatabaseIfNotExist=true&amp;characterEncoding=UTF-8&amp;useSSL=false</value>
     </property>
     
     <property>
      <name>javax.jdo.option
      .ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value><!-- jdbc驱动 -->
     </property>
     
     <property>
      <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value><!-- mysql账号 --> 
     </property>
    
     <property>
      <name>javax.jdo.option.ConnectionPassword</name>
        <value>111111</value><!-- mysql密码 -->  
     </property>
    
    
     <property>  
      <name>hive.server2.authentication</name>  
      <value>NONE</value>
     </property>
     <property>
        <name>hive.server2.thrift.client.user</name>
        <value>root</value>
        <description>Username to use against thrift client</description>
     </property>
     <property>
        <name>hive.server2.thrift.client.password</name>
        <value>111111</value>
     <description>Password to use against thrift client</description>
      </property>
     
     <property>  
      <name>hive.server2.enable.doAs</name>  
      <value>false</value>
     </property>
     <property>
      <name>hive.server2.logging.operation.log.location</name>
      <value>/opt/apps/hive/logs/hive/hiveserver2</value>
     </property>
     <!-- 这是hiveserver2 -->
     <property>
       <name>hive.server2.thrift.port</name>
       <value>10000</value>
     </property>
     <property>
       <name>hive.server2.thrift.bind.host</name>
      <value>192.168.33.200</value>
     </property>
    </configuration>

4.创建hive的hdfs工作目录

 $HADOOP_HOME/bin/hadoop fs -mkdir -p   /tmp
 $HADOOP_HOME/bin/hadoop fs -mkdir -p   /user/hive/warehouse
 $HADOOP_HOME/bin/hadoop fs -chmod g+w  /tmp
 $HADOOP_HOME/bin/hadoop fs -chmod g+w  /user/hive/warehouse

3)初始化hive

同上,下面 命令最后结尾是 是MySQL的用户名 hive和密码hive

cd $HIVE_HOME/bin
./schematool -dbType mysql -initSchema root new_passwd

提示如下成功

[root@cm-cdh20 bin]# ./schematool -dbType mysql -initSchema root 111111 --verbose

...

0: jdbc:mysql://192.168.33.200:3306/hive> /*!40111 SET SQL_NOTES=@OLD_SQL_NOTES */
No rows affected (0.001 seconds)
0: jdbc:mysql://192.168.33.200:3306/hive> !closeall
Closing: 0: jdbc:mysql://192.168.33.200:3306/hive?createDatabaseIfNotExist=true&characterEncoding=UTF-8&useSSL=fal                                             se
beeline>
beeline> Initialization script completed
schemaTool completed

3.启动hive

先启动hadoop

start-dfs.sh
start-yarn.sh
mr-jobhistory-daemon.sh start historyserver
192.168.33.200:19888
# 启动元数据服务
hive --service metastore &
# 启动hiveserver2 hive --service hiveserver2 & 指定配置文件

hive --service hiveserver2 --hiveconf hive.server2.thrift.port 10001

通过thrift连接hiveserver2

beeline
!connect jdbc:hive2://192.168.33.200:10000
!quit

设计Kettle转换

1.开启hive

1.1配置hive依赖

Kettle关于Hadoop生态圈组件连接配置基本都在data-integration\plugins\pentaho-big-data-plugin目录下,如图:


image


(1)active.hadoop.configuration

The Hadoop Configuration to use when communicating with a Hadoop cluster. This is used for all Hadoop client tools

including HDFS, Hive, HBase, and Sqoop.

For more configuration options specific to the Hadoop configuration choosen

here see the config.properties file in that configuration’s directory.

active.hadoop.configuration=hdp30


(2)hadoop.configurations.path

Path to the directory that contains the available Hadoop configurations

hadoop.configurations.path=hadoop-configurations


两个参数主要配置Hadoop集群的版本,在hadoop-configurations目录下,提供了如下几个Hadoop集群版本:

image 


其中cdh和hdp是目前用的比较多的两个版本。它们整合了Hadoop集群的各个组件,可以快速配置和部署。本文选中选择hdp26,在选择hdp30的时候,出现一些依赖的冲突。

我们这里连接Hive2,需要Hadoop集群支持,所以将Hadoop的配置文件core-site.xml,hdfs-site.xml和Hive的配置文件hive-site.xml拷贝过来(事先需要搭建好Hadoop和Hive集群)。

1.2hive建表

分别开启 hdfs/yarn/hbase/hive服务

# 开启hdfs
start-dfs.sh
# 开启yarn
start-yarn.sh
# 开启yarn历史记录服务器 192.168.33.200:19888
mr-jobhistory-daemon.sh start historyserver

# 开启hive元数据服务
hive --service metastore &
# 开启hive 远程服务 ,也可在开启的时候指定thrift的端口号
hive --service hiveserver2 &
# hive --service hiveserver2 --hiveconf hive.server2.thrift.port 10001
# 通过beeline链接thrift,访问hive的server2
beeline
# 在beeline终端下,访问hive2
!connect jdbc:hive2://192.168.33.200:10000
# 退出beeline
!quit


# 开启hbase
start-hbase.sh

进入hive,建立相关表

drop database if exists kettle cascade;
create database if not exists kettle;
use kettle;

create table if not exists kettle.dept(
deptno int,
dname string,
loc string
)
row format delimited
fields terminated by '\t'
;
insert into kettle.dept values(10,'Java','Beijing'),(20,'Bigdata','hangzhou'),(30,'Html5','Shanghai'),(40,'UI','Chongqing');

create table if not exists kettle.emp(
empno int,
ename string,
job string,
mgr int,
hiredata string,
sal double,
comm int,
deptno int
)
row format delimited
fields terminated by '\t'
;

insert into kettle.emp values(1111,'liyi','Bigdata Programer',1000,'2020-02-02',1,100000,20),(1000,'laoma','Bigdata Mananger',0,'1990-01-01',1000000,2000000,20),(1112,'laoxue','Java Programer',1000,'1996-02-02',100000,20000,10),(1113,'wangdan','UI Desgner',1000,'1997-02-02',10000,2000,40);


版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
06-PDI(Kettle)读取Hive写入HDFS,读取HDFS写入HBase中(下)
文章目录 06-PDI(Kettle)读取Hive写入HDFS,读取HDFS写入HBase中 环境准备 1.安装MySQL 1.1mysql安装参考: 1.2安装过程
0 0
HBase与HDFS之间的WAL(HLog)存储机制答疑解惑
HBase与HDFS之间的WAL(HLog)存储机制答疑解惑
0 0
HDFS/HBase技术报告·分布式数据库设计架构的全面解析
HDFS/HBase技术报告·分布式数据库设计架构的全面解析
0 0
BigData:大数据开发的简介、核心知识(linux基础+Java/Python编程语言+Hadoop{HDFS、HBase、Hive}+Docker)、经典场景应用之详细攻略
BigData:大数据开发的简介、核心知识(linux基础+Java/Python编程语言+Hadoop{HDFS、HBase、Hive}+Docker)、经典场景应用之详细攻略
0 0
在HDFS的HA模式下配置HBase
在HDFS的HA模式下配置HBase
0 0
BigData:大数据开发的简介、核心知识(linux基础+Java/Python编程语言+Hadoop{HDFS、HBase、Hive}+Docker)、经典场景应用之详细攻略
BigData:大数据开发的简介、核心知识(linux基础+Java/Python编程语言+Hadoop{HDFS、HBase、Hive}+Docker)、经典场景应用之详细攻略
0 0
通过Sqoop实现Mysql / Oracle 与HDFS / Hbase互导数据
下文将重点说明通过Sqoop实现Mysql与HDFS互导数据,Mysql与Hbase,Oracle与Hbase的互导最后给出命令。 一、Mysql与HDFS互导数据 环境: 宿主机器操作系统为Win7,Mysql安装在宿主机上,宿主机地址为192.168.66.96 3台虚拟机操作系统为Ubuntu-12.04.1-32位 三台虚拟机已成功安装hadoop,并实现免密钥互访,配hosts为: 192.168.66.91 masternode 192.168.66.92 slavenode1 192.168.66.93 slavenode2 /etc/profile已配置好必备环境变量HADOO
0 0
大数据平台解决方案,Hadoop + HDFS+Hive+Hbase大数据开发整体架构设计
HDFS:分布式、高度容错性文件系统,能提供高吞吐量的数据访问,非常适合大规模数据集上的应用,大规模的波若大数据平台(BR-odp)用户部署上1000台的HDFS集群。
2392 0
文章
问答
文章排行榜
最热
最新
相关电子书
更多
海量数据分布式存储——Apache HDFS之最新进展
立即下载
HBase在时间序列数据库中的应用
立即下载
HBase Coprocessor的实现与应用
立即下载