hadoop搭建、mysql、hive部署（三）

三、 hive安装，数据筛选

3.1 解压数据包，配置环境变量

tar -xzvf hive-1.1.0-cdh5.4.5.tar.gz -C /opt/ #解压文件
mv hive-1.1.0-cdh5.4.5.tar.gz hive #修改名称
 vi /etc/profile #修改环境变量

将hive的bin目录，添加到环境变量PATH中，保存退出。

export HIVE_HOME=/opt/hive  
export PATH=$HIVE_HOME/bin:$PATH 

执行source命令，使Hive环境变量生效。

source /etc/profile 

3.2 由于hive 需要将元数据，存储到MySQL中。所以需要拷贝/opt/software目录下的 mysql-connector-java-5.1.26-bin.jar 到 hive 的 lib 目录下。

3.3 下面配置Hive，切换到/opt/hive/conf目录下，创建hive的配置文件hive-site.xml。

cd /software/hive/conf

touch hive-site.xml

使用 vi 打开 hive-site.xml 文件。

vi hive-site.xml

将下列配置添加到 hive-site.xml 中。

<configuration>  
   <property>  
       <name>javax.jdo.option.ConnectionURL</name>  
<value>jdbc:mysql://hadoop:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>  
    </property>  
    <property>  
       <name>javax.jdo.option.ConnectionDriverName</name>
       <value>com.mysql.jdbc.Driver</value>  
    </property>  
    <property>  
                <name>javax.jdo.option.ConnectionUserName</name>
                <value>root</value>  
    </property>  
    <property>  
                <name>javax.jdo.option.ConnectionPassword</name>
       <value>123456</value>  
    </property>  </configuration> 

由于Hive的元数据会存储在Mysql数据库中，所以需要在Hive的配置文件中，指定mysql的相关信息。

javax.jdo.option.ConnectionURL：数据库链接字符串。

此处的主机名，需要设置为自身系统的主机名。这里的主机名为：hadoop

javax.jdo.option.ConnectionDriverName：连接数据库的驱动包。

javax.jdo.option.ConnectionUserName：数据库用户名。

javax.jdo.option.ConnectionPassword：连接数据库的密码。

此处的数据库的用户名及密码，需要设置为自身系统的数据库用户名及密码。

3.4 另外，还需要告诉Hive，Hadoop的环境配置。所以我们需要修改 hive-env.sh 文件。

首先我们将 hive-env.sh.template 重命名为 hive-env.sh。

mv /opt/hive/conf/hive-env.sh.template  /opt/hive/conf/hive-env.sh 

使用 vi 打开hive-env.sh文件。

vi hive-env.sh 

追加 Hadoop的路径，以及 Hive配置文件的路径到文件中。

# Set HADOOP_HOME to point to a specific hadoop install directory # HADOOP_HOME=${bin}/../../hadoop 
HADOOP_HOME=/opt/hadoop  # Hive Configuration Directory can be controlled by: # export HIVE_CONF_DIR=
export HIVE_CONF_DIR=/opt/hive/conf 

3.5 下一步是配置MySQL，用于存储Hive的元数据。

schematool -initSchema -dbType mysql

如果出现1045错误或者视频里最后的错误，多半删除数据库再创建就行

首先，需要保证 MySQL 已经启动。执行以下命令，查看MySQL的运行状态。

service mysqld status 

若没有启动，执行启动命令。

service mysqld start 
或者systemctl restart mysqld

3.6 开启MySQL数据库。

mysql -u root -p 

输入密码进入数据库

创建名为 hive 的数据库，编码格式为 latin1，用于存储元数据。

mysql> create database hive CHARACTER SET latin1; 

查看数据库 hive是否创建成功。

mysql> show databases; 

输入exit 退出 MySQL

mysql> exit; 

3.7 执行测试。由于Hive对数据的处理，依赖MapReduce计算模型，所以需要保证Hadoop相关进程已经启动。( /opt/hadoop/sbin/start-all.sh )

启动Hadoop后，在终端命令行界面，直接输入hive便可启动Hive命令行模式。

输入HQL语句查询数据库，测试Hive是否可以正常使用。

hive> show databases; 

最后全部搭建成功，是左栏的hive库里有如下数据表才可，否则在mysql安装成功和hive失败的情况下，下面左栏是没有数据的。