大数据组件-Hive部署基于MySQL作为元数据存储

👨🏻‍🎓博主介绍：大家好，我是芝士味的椒盐，一名在校大学生，热爱分享知识，很高兴在这里认识大家🌟
🌈擅长领域：Java、大数据、运维、电子
🙏🏻如果本文章各位小伙伴们有帮助的话，🍭关注+👍🏻点赞+🗣评论+📦收藏，相应的有空了我也会回访，互助！！！
🤝另本人水平有限，旨在创作简单易懂的文章，在文章描述时如有错，恳请各位大佬指正，在此感谢！！！

@[TOC]

MySQL安装

• 准备如下安装包

  1. MySQL-client-5.6.24-1.el6.x86_64.rpm
  2. mysql-connector-java-5.1.27.tar.gz
  3. MySQL-server-5.6.24-1.el6.x86_64.rpm

操作步骤：

1. 使用rpm指令查询是否安装有mariadb或postfix，有就卸载

   rpm -qa |grep mariadb
   rpm -qa |grep postfix
   #卸载发现的，否则mysql将安装不上
   sudo rpm -e --nodeps mariadb-libs-5.5.64-1.el7.x86_64
   
           
   
             
           
           
           
   
             
   
             AI 代码解读
           
         
         

2. 安装MySQL-server-5.6.24-1.el6.x86_64.rpm

   rpm -ivh MySQL-server-5.6.24-1.el6.x86_64.rpm
   rpm -ivh MySQL-client-5.6.24-1.el6.x86_64.rpm
   
           
   
             
           
           
           
   
             
   
             AI 代码解读
           
         
         

3. 启动mysql服务

   seriver mysql start
   
           
   
             
           
           
           
   
             
   
             AI 代码解读
           
         
         

4. 在 /root/.mysql_secret 中查看随机密码，并记录随机密码

   sudo cat /root/.mysql_secret
   
           
   
             
           
           
           
   
             
   
             AI 代码解读
           
         
         

5. 登录mysql

   mysql -uroot -p[随机密码]
   
           
   
             
           
           
           
   
             
   
             AI 代码解读
           
         
         

6. 设置新的密码以及远程登录,并且刷新

   mysql>set password=password('root');
   #配置任何主机可以远程登录
   mysql>use mysql
   mysql>update user set host='%' where user='root;
   #刷新sql配置
   mysql>flush privileges;
   
           
   
             
           
           
           
   
             
   
             AI 代码解读
           
         
         

安装Hive配置元数据到MySQL

1. 将mysql-connector-java-5.1.27.tar.gz 进行解压

   tar -zxvf mysql-connector-java-5.1.27.tar.gz
   
           
   
             
           
           
           
   
             
   
             AI 代码解读
           
         
         

2. 将解压出来中的mysql-connector-java-5.1.27-bin.jar复制到/usr/local/src/hive/lib下

   cp mysql-connector-java-5.1.27-bin.jar /usr/local/src/hive/lib/
   
           
   
             
           
           
           
   
             
   
             AI 代码解读
           
         
         

3. 配置Metastore到MySQL

   1. 在/hive/conf下创建一个hive-site.xml

      touch hive-site.xml
      
              
      
                
              
              
              
      
                
      
                AI 代码解读
              
            
            

   2. 并配置hive-site.xml中的参数

      

      • 若启动hive异常需要重新启动机器

   3. 多窗口启动hive测试

      1. 先启动mysql，并查看有几个数据库

         ------mysql -uroot -proot
         mysql>show databases;
         
                 
         
                   
                 
                 
                 
         
                   
         
                   AI 代码解读
                 
               
               

      2. 再次打开多个窗口，分别启动hive

         hive
         
                 
         
                   
                 
                 
                 
         
                   
         
                   AI 代码解读
                 
               
               

      3. 启动hive之后，返回mysql窗口查看数据库数量，会显示增加了metastore数据库

HiveJDBC访问

1. 因为hadoop不允许直接用户操纵hadoo层，会有一个伪装机制，而是使用将控制权交由超级代理，需要在hadoop的core-site.xml中配置

   

2. 先开启 Metastore，再开启hiveserver2

   nohup hive --service metastore  >>  log.out 2>&1 &
   
   nohup hive --service hiveserver2  >> log.out 2>&1 &
   
           
   
             
           
           
           
   
             
   
             AI 代码解读
           
         
         

3. 连接hiveserver2

   beeline> !connect jdbc:hive2://本机的hive的ip或域名:10000（回车）
   Connecting to jdbc:hive2://本机的hive的ip或域名:10000
   Enter username for jdbc:hive2://本机的hive的ip或域名:10000: hadoop（回车）
   Enter password for jdbc:hive2://本机的hive的ip或域名:10000: （直接回车）
   Connected to: Apache Hive (version 1.2.1)
   Driver: Hive JDBC (version 1.2.1)
   Transaction isolation: TRANSACTION_REPEATABLE_READ
   0: jdbc:hive2://本机的hive的ip或域名:10000> show databases;
   +----------------+--+
   | database_name  |
   +----------------+--+
   | default        |
   | hive_db2       |
   +----------------+--+
   
           
   
             
           
           
           
   
             
   
             AI 代码解读