一、安装：（注意版本兼容）

hadoop2.7.2，hive1.3，spark1.6

二、相关配置：

1. hive配置hive-site.xml
2. 把hive-site.xml拷贝至spark的conf目录下并添加：【如果不能运行，这配置去掉重试】

<property>
<name>hive.metastore.uris</name>
<value>thrift://192.168.234.128:9083</value>
</property>

        

          
        
        
        

          

          AI 代码解读
        
      
      

注：192.168.234.128是hive的主机

1. 把hadoop目录/hadoop2.7.2/etc/hadoop/的core-site.xml与hdfs-site.xml拷贝至spark下的conf目录下（分发）
2. 把hive的lib目录下的mysql-connector-java-5.1.31.jar拷贝至spark的jar目录下

三、运行：

1. 在hive上执行：

nohup hive --service metastore > metastore.log 2>&1 &
hive --service hiveserver2 --hiveconf hive.server2.thrift.port=10000 &

        

          
        
        
        

          

          AI 代码解读
        
      
      

1. 在spark上执行：

/home/hadoop/apps/spark/bin/spark-sql \
--master spark://hadoop01:7077 \
--executor-memory 512m \
--total-executor-cores 2 \
--driver-class-path /home/hadoop/apps/hive/lib/mysql-connector-java-5.0.8-bin.jar 

        

          
        
        
        

          

          AI 代码解读
        
      
      

或者，建议不加参数

bin/spark-sql 

        

          
        
        
        

          

          AI 代码解读
        
      
      

四、执行sql语句：

Show databases;
Show tables;

        

          
        
        
        

          

          AI 代码解读
        
      
      

注：此操作是直接操作hive上的表